Л. Л.

БОРОВКОВ
519Л
5-23

МАТЕМАТИЧЕСКАЯ
СТАТИСТИКА
©
С Ш Ц к
ОЦЕНКА П А РА М ЕТРО В

П РО ВЕРКА ГИПОТЕЗ

Д опущ ено Министерством высш его

и среднего специального образования СССР
в качестве учебного пособия для студентов
математических и физических специальностей вузов

Л
%

МОСКВА «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
■19 8 4
ФУНДАМЕНТАЛЬНАЯ
£И Б Л И © Т Е К А
МИ И Т а
22.172
Б 82
УДК 519.31

Б о р о в к о в Л. Л. Математическая статистика.— Учебник.— М.: Н аука.

Главная редакция физико-математической литературы, 1984.— 472 с.
Книга написана на основании лекций, которые читались автором в те­
чение многих лет на 3-м курсе математического факультета Новосибирского
университета.
Книга охватывает широкий круг вопросов, включающий в себя осно­
вания современной математической статистики, предельные теоремы для
ямпирических распределений и основных типов статистик, основы теории
оценок и теории проверки гипотез. Излагаются, в частности, методы оты­
скания оптимальных и асимптотически оптимальных процедур.
Книга рассчитана на аспирантов и студентов математических и физи­
ческих специальностей высших учебных заведений.
Илл. 5. Библ. 80 назв. ■

Александр Алексеевич Боровков

О
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

Редакторы Л . Л . Новиков, М. М. Горячая

Технический редактор Е. В. М орозова
Корректор 11. Б. Рум янцева

ИВ М 2239

Сдано в набор 20.04.83. П одписано к печати 03.01.84.

Формат 60x90'/ie- Бумага тип. Л»3. Обыкновенная гар­
нитура. Высокая печать. Условн. печ. л. 29,5. Условн.
кр.-отт. 29,75. Уч.-изд. л. 31,17. Тираж 23 ООО экз. Заказ
594. Цена 1 р. 30 к.

И здательство «Наука»
Главная редакция физико-математической литературы
117071, Москва, В-71, Ленинский проспект, 15

4 типография издательства «Наука».

630077, Новосибирск 77, Станиславского, 25

© Издательство «Наука»!
Главная редакция
физико-математической литературы,
1S84
 ОГЛАВЛЕНИЕ

П р ед и сл ови е................................................................................................................
В ведение.......................................................................................................................
Глава 1
Выборка. Эмпирическое распределение.
Асимптотические свойства статистик
| 1. Понятие в ы б о р к и ....................................................................................
§ 2. Эмпирическое распределение (одномерный случай) - .
§ 3. Выборочные характеристики. Два типа статистик . . . .
1. Примеры выборочных характеристик (25). 2. Два типа ста­
тистик (26).
§ 4. Многомерные в ы б о р к и ............................................................................
1. Эмпирические распределения (28). 2*. Более общие варианты
теоремы Гливенко — Кантелли. Закон повторного логарифма (29)ч
3. Выборочные характеристики (30).
§ 5. Теоремы н е п р е р ы в н о с т и ...............................................................
§ 6*. Эмпирическая функция распределения как случайный процесс.
Сходимость к броуновскому м о с т у ............................ .-
*
1. Расйределение процесса nFn(t) (35). 2. Предельное поведение про­
цесса w n ( t ) (39).
§ 7. Предельное распределение для статистик первого типа .
§ 8*. Предельное распределение для статистик второго типа .
§ 9*. Замечания о непараметрических с т а т и с т и к а х ............................
_§ 10*. Сглаженпые эмпирические распределения. Эмпирические плот­
ности .............................................................................................................
Глава 2

Теория оценивания неизвестных параметров

^ 1. Предварительные замечания ........................................................
| 2. Некоторые параметрические семейства распределений и их
свойства ..........................................................................................................
1. Нормальное распределение на прямой (63). 2. Многомерное нор­
мальное распределение (64). 3. Гамма-распределение (64). 4. Рас­
пределение «хи-квадрат» II/t с к степенями свободы (65). 5. • Эечспо-
ненциальное распределение (66). 6. Распределение Фишера Fku k2 с
числом степеней свободы й,. к2 (66). 7. Распределение Стьюдента
T/j с S степенями свободы (67). 8. Бэта-распределение (В-распределе-
ние) (69). 9. Равномерное распределение (69). 10. Распределение
Ноши К а 0 с параметрами (а, о) (72). И . Логнормальное распре­
деление L a a* П 2 ). 12. Вы рожденное распределение (72). 13. Рас­
пределение Бернулли В р (73). 14. Распределение П уассона П*, (73).
15. Полиномиальное распределение (73).
§ 3. ' Точечное оценивание. Основной м етод'получения оценок. Сос­
тоятельность, асимптотическая норм альность...................................
1. Метод подстановки. Состоятельность (74). 2. Асимптотическая
нормальность. Одномерный случай (78). 3. Асимптотическая нор­
мальность. Случай многомерного параметра (78).
§ 4. Реализация метода подстановки в параметрическом случае. Мо-
тод м о м е н т о в ................................................................................................
1. Метод моментов. Одномерный случай (79). 2. Метод моментов.
Многомерный случай (81), 3, Обобщенный метод моментов (82),
1*
4 ОГЛАВЛЕНИЕ

§ 5*. Метод минимального р а с с т о я н и я ......................................................... 83

§ 6. Метод максимального правдоподобия ................................................. 85
§ 7. О сравнении оценок ............................................................................. 93
1. Среднеквадратический подход. Одномерный случай (93). 2. Асим­
птотический подход. Одномерный случай (96). 3. Среднеквадратич­
ный и асимптотический подходы в многомерном случае (99).
§ 8. Сравнение оценок в параметрическом случае. Эффективные
оцепки ..................................................................................................... , 103
1. Одномерный случай (103). 2. Многомерный случай (109).
§ 9. Условные математические о ж и д а н и я ................................................. 110
1 Определение у. м. о. (110). 2. Свойства у. м. о. (114).
§ 10. Условные распределения . ........................................................ 116
§ 1 1 . Байесовский и минимаксный подходы к оцениванию пара­
метров . .................................................................................................. 120
§ 12. Достаточные с т а т и с т и к и ...................................................................... 127
§ 13*. Минимальные достаточные с т а т и с т и к и .......................................... 133
§ 14. Построение эффективных оцеиок с помощью достаточных ста­
тистик. Полные с т а т и с т и к и ........................................................ 140
1. Одномерный случай (140). 2. Многомерный случай (142). 3. Пол­
ные статистики и эффективные оценки (142).
§ 15. Экспоненциальное с е м е й с т в о .............................................................. * 146
§ 16. Неравенство Рао — Крамера и /(-эффективные оцепки . 149
1. Неравенство Рао — Крамера и его следствия (149). 2. й-эфф ек-
тивные и асимптотически R-эффективные оценки (154). 3. Неравен­
ство Рао — Крамера в многомерном случае (157). 4. Некоторые вы­
воды (163).
§ 17*. Свойства информации Ф и ш е р а ......................................................... 164
1. Одномерный случай (164). 2. Многомерный случай (167). 3. Матри­
ца Фишера и замена параметра (170)..
§ 18*. Оценки параметра сдвига и масштаба. Эффективные эквива-
риантные оценки .................................................................................... 170
1. Оценки параметров сдвига и масштаба (171). 2. Эффективная
оценка параметра сдвига в классе эквивармантных оценок (172).
3. Минимаксность оценки Питмена (175). 4. Об оптимальных оцен­
ках параметра масштаба (177).
§ 19*. Общая задача об эквивариантцом о ц е п и в а ш ш ............................ 180
§ 20. Интегральное неравенство типа Рао — Крамера. Критерии
асимптотической бапесовости и минимаксности оценок 1,83
1. Эффективные и сверхэффектмвные оценки (183). 2. Основные не­
равенства (185). 3. Неравенства в случае, когда функция д (0 )Д (0 ) не
дифференцируема (189). 4. Некоторые следствия. Критерии асим­
птотической бапесовости и минимаксности (191). 5. Многомерный
случай (193).
§ 21. Расстояния Кульбака — Лейблера, Хеллннгера и %2. Их свойства 194
1. Определения и основные свойства расстояний (194). 2. Связь
расстояний Хеллннгера и других с информацией Фишера (197).
3. Существование равномерных границ для г(Д )/Д 2 (199). 4 Мно­
гомерный случай (199). 5*. Связь рассматриваемых расстояний с
оценками (202).
§ 22*. Разностное неравенство типа Рао — К р а м е р а ............................. 203
§ 23. Вспомогательные неравенства для отношения правдоподобия.
Состоятельность оценок максимального правдоподобия . 208
1. ©сновные неравенства (209). 2. Оценки для распределения и мо­
ментов о. м. п. Состоятельность о. м. п. (211).
§ 24. Асимптотические свойства отношения правдоподобия . 212 .
§ 25. С в ой ств а о ц е н о к м а к си м а л ь н о г о п р а в д о п о д о б и я . А си м п т о т и ч е­
ск а я н о р м а л ь н о ст ь . А си м п т о т и ч е с к а я о п т и м а л ь й о ст ь 221
1. Асимптотическая нормальность о. м. п. (221). 2. Асимптотическая
эффективность (222). 3. Асимптотическая байесовость о. м. п. (223).
4. Асимптотическая минимаксность о. м. п. (225).
§ 26*. Приближенное вычисление оценок максимального правдопо­
добия ............................... . 225-
§ 27*. Свойства оценок максимального правдоподобия при отсутствии
условии регулярности. С о с т о я т е л ь н о с т ь .......................................... 231
 ОГЛАВЛЕНИЕ

§ 28. Результаты §§ 23—27 для случая многомсрпого параметра . . 237

1. Неравенства для отношения правдоподобия (результаты § 23)
(297). 2. Асимптотические свойства отношения правдоподобия (ре­
зультаты § 24). (238). 3. Свойства о. м. п. (результаты § 25) (243).
4. П риближенное вычисление о. м. п. (246). 5. Свойства о. м. п. при
отсутствии условий регулярности (результаты § 27). (246).
§ 29. Равномерность по 0 асимптотических свойств отношения прав­
доподобия и оценок максимального правдоподобия . . . . 246
1. Равномерные закон больших чисел и центральная предельная
теорема (246). 2. Равномерные варианты теорем об асимптотических
свойствах отношения правдоподобия и оценок максимального правдо­
подобия (248). 3. Некоторые следствия (252).
§ 30*. О статистических задачах, связаппых с выборками случайно­
го объема. Последовательное оц ен и в ан и е......................................... 253
§ 31. Интервальпое о ц е н и в а н и е .......................................................................... 254
1. Определения (254). 2. Построение доверительных интервалов в бай­
есовском случае (255). 3. Построение доверительных интервалов в
общем случае. Асимптотические доверительные интервалы (256).
4. Построение точного доверительного интервала с помощью задан­
ной статистики (259). 5. Другие методы построения доверительных
интервалов (262). 6. Многомерный случай (264).
§ 32. Точные выборочные распределения и доверительные интерва­
лы для пормальных с о в о к у п н о с т е й ....................................................... 265
1. Точные распределения статистик х, (265). 2. Построение точ­
ных доверительных интервалов для параметров нормального рас- -
пределения (268).

Глава 3

Теория проверки гипотез

§ 1. Проверка конечного числа простых г и п о т е з ............................270
1. Постановка задачи. Понятие статистического критерия. Наиболее
мощный критерии (270). 2. Байесовский подход (272). 3. Минимакс­
ный подход (278"). 4. Наиболее мощные критерии (279).
§ 2. Проверка двух простых г и п о т е з ..................................................... 280
§ 3*. Два асимптотических подхода к расчету критериев. Числен­
ное с р а в п с л и е ........................................................................................284
1. Предварительные замечания (284). 2. Фиксированные гипотезы
(285). 3. Близкие гипотезы (290). 4. Сравнение асимптотических под­
ходов. Числовой' пример (293). 5. Связь и. м. к. с асимптотической
эффективностью о. м. п. (298).
§ 4. Проверка сложных гипотез. Классы оптимальных критериев 299
1. Постановка задачи и основные понятия (299). 2. Равномерно наи­
более мощные критерии (302). 3. Байесовские критерии (303). 4. Ми­
нимаксные критерии (304).
§ 5. Равномерно наиболее мощные критерии . . . . • . . . 304
1. Односторонние альтернативы. Монотонное отношение правдоподо­
бия (304). 2. Двусторонняя основная гипотеза. Экспоненциальное с е ­
мейство (307). 3. Другой подход к рассматриваемым задачам (312),
4. Байесовский подход и наименее благоприятные априорные рас­
пределения при построении и. м. к. и р. н. м. к. (313).
§ 6*. Несмещенные к р и т е р и и .......................................................................... 316
1. Определения. Несмещенные р. н. м. к. (316). 2. Двусторонние аль­
тернативы. Экспоненциальное семейство (318).
§ 7*. Инвариантные к р и т е р и и .................................................................... 321
§ 8*. Связь с доверительными м н о ж е с т в а м и ........................................326
1. Связь статистических критериев и доверительных множеств. Связь
свойств оп имальиости (326). 2. Наиболее точные доверительные ин­
тервалы (328). 3. Несмещенные доверительные множества (332),
4. Инвариантные доверительные множ ества (333).
§ П. Байесовский и минимаксный подходы к проверке сложных ги­
потез 336
1. Байесовские и минимаксные критерии (336). 2. Минимаксные кри­
терии для параметра а нормальных распределений (340). 3. Вырож­
денные наименее благоприятные распределения для односторонних
гипотез (347),
с ОГЛАВЛЕНИЕ

§ 10. Критерий отношения п р ав д о п о д о б и я ................................................. 349

§ 11*. Последовательный анализ .- ......................................................... 352
1. Вводные замечания (352). 2. Байесовский последовательный кри­
терий (353). 3. Последовательный критерий, минимизирующий сред­
нее число испытаний (358). 4. Вычисление параметров наилучшего
последовательного критерия (360).
§12. Проверка сложных гипотез в общем случае . . . . . 363
§ 13. Асимптотически оптимальные критерии. Критерий отношения
правдоподобия как асимптотически байесовский критерий для
проверки простой гипотезы против с л о ж н о й ............................ 373
1. Асимптотические свойства к о. п. и байесовского критерия (373).
2. Асимптотическая байесовость к. о. п. (375). 3. Асимптотическая не­
смещенность к. о. н. (379).
§ 14. Асимптотически оптимальные критерии для проверки близ­
ких сложных г и п о т е з .............................................................................. 380
1. Постановка задачи и определения (380). 2. Основные утверж дения
(384).
§ 15. Свойства асимптотической оптимальности критерия отношения
правдоподобия, вытекающие из предельного признака опти­
мальности ........................................................................................................ 388
1. А. р.ои. м. к. для близких гипотез с односторонними альтернати­
вами (388). 2. А. р. н. м. к. для двусторонних альтернатив (390).
3. Асимптотически минимаксный критерий для близких гипотез, ка­
саю щ ихся многомерного параметра (391). 4. Асимптотически мини­
максный критерий о принадлежности выборки параметрическому под­
семейству (394).
§ 16. Критерий %2. Проверка гипотез по сгруппированным данным. 400
1. Критерий Свойства асимптотической оптимальности (400). 2.
Применения критерия х2- Проверка гипотез по сгруппированным дан­
ным (404).
§ 17. Проверка гипотез о принадлежности выборки параметрическо­
му с е м е й с т в у ............................................................................ ....... 408
1. Проверка гипотезы {-Х ^= в в(<Х)}. Группировка данных (408).
2. Общий случай (412).
§ 18. Устойчивость статистических р е ш е н и й .......................................... 415
1. Оценка среднего для симметричных распределений (417). 2. Ста­
тистики Стыодента и S 02 (418). 3. Критерий отношения правдоподо­
бия (419).
И р и л о ж е и и е I. Теоремы типа Гливенко — Кантелли . . . . 421
П р и л о ж е н и е II. Функциональная предельная теорема для эмпи­
рических процессов .................................................................................. 423
П р и л о ж е и и е III. Свойства условных математических ожиданий 428
П р и л о ж е н и е IV. Факторизационная теорема Неймана — Фишера 431
] I р и л о ж е п и е V. Закон больших чисел и центральная предель­
ная теорема. Равпомерныс в а р и а н т ы ................................................. 434
П р и л о ж е н и е VI. Некоторые утверждения, относящиеся к интег­
ралам, зависящим от параметра .......................................... 438
И р и л о ж е н и е VII. Неравенства для распределения отношения.
правдоподобия в многомерпом с л у ч а е ................................................. 443
Таблица I. Нормальное распределение Ф о л ................................... 448
Т а б л и ц а II. Квантилп нормального р асп ред ел ен и я............................ 449
Т а б л и ц а III. Распределение хи-квадрат Н ь .................................................. 450
Т а б л и ц а IV. Распределение Стыодента Т д .......................................... 454

Библиографические за м е ч а н и я ............................................................................ 457

Л и т е р а т у р а ................................................................................................................ 462
Список основных о б о з н а ч е н и й ...................................................................... 466
Предметный указатель .......................................... .................................. 470
 ПРЕДИСЛОВИЕ

В основу этой книги положены лекции по математической

статистике, которые автор в течение многих лег читал на 3-м
курсе математического факультета Новосибирского университета.
Со временем курс лекций неоднократно менялся в поисках ва­
рианта, который был бы по возможности более стройным, доступ­
ным и в то же время соответствовал бы современному состоянию
этой науки. Были испробованы варианты, начиная с курса
преимущественно рецептурного характера с изложением основ­
ных типов задач (построение оценок, критериев и изучение их
свойств) и кончая курсом общего теоретико-игрового характера,
в котором теория оценок и проверка гипотез представлялись как
частные случаи единого подхода. Ограничения во__временн (один
семестр) не позволяли объедипить эти дополняющие друг друга
варианты, каждый из которых в отдельности обладал очевидными
недостатками. В первом случае набор конкретных фактов мешал
развитию общего взгляда на предмет. Второй вариант испытывал
недостаток в простых конкретных результатах и оказывался
загруженным многими новыми непростыми понятиями, трудными
для усвоения. По-видимому, наиболее приемлемым является ва­
риант, в котором изложение элементов теории оценок и теории
проверки гипотез сочетается с последовательным проведением
линии на отыскапие оптимальных процедур.
Основу книги составляет объединение материала, читавшего­
ся в разное время в лекциях, расширенное за счет разделов,
присутствие которых диктуется самой логикой изложения. Глав-
пой целью являлось изложение современного состояния предмета
в сочетании с максимально возможпой доступностью п математи­
ческой цельностью н стройностью.
Содержание книги распадается на 3 главы п Приложения.
В главе 1 изучаются свойства (в основном асимптотические)
эмпирических распределений, лежащие в основе математической
статистики.
В главах 2, 3 излагаются соответственно теория оценок п
теория проверки статистических гипотез. Первые части каждой
из этих глав посвящепы описанию возможных подходов к реше­
нию поставленных задач и отысканию оптимальных процедур.
Вторые части посвящены построению асимптотически оптималь­
ных процедур.
8 ПРЕДИСЛОВИЕ

Книга содержит также 7 Приложений. Они связаны с теми

утверждениями в основном тексте, доказательство которых выхо­
дит за рамки основного изложения либо по своему характеру,
либо по трудности.
Имеются еще библиографические замечания, не претендующие
на полноту, но позволяющие проследить возникновение и разви­
тие основных направлений математической статистики. При этом
везде, где это возможно, оказывалось предпочтение ссылкам на
монографии (как на более доступный вид литературы), а не на
оригинальные статьи.
13 настоящее время существует довольно много книг по мате­
матической статистике. Выделим из них следующие четыре,
в которых представлено большое количество материала, отра­
жающее современное состояние предмета,— это книги Г. Краме­
ра [37J, Э. Лемана [40], III. Закса [30] и И. А. Ибрагимова и
Р. 3. Хасьминского [31]. Из них наибольшее влияние на изло­
жение настоящей книги оказали монографии [31] (некоторые
идей этой книги использовались в §§ 23—25, 27—29 гл. 2) и
[40] (изложение §§ 5 —8 гл. 3 близко по содержанию к соответ­
ствующим разделам [401). Остальное изложение мало связано по
строю с имеющимися книгами.
Наряду с известными результатами и подходами в настоящую
книгу включены некоторые новые разделы, упрощающие изложе­
ние, ряд методологических улучшений, а также некоторые повые
результаты и результаты, впервые публикуемые в монографи­
ческой литературе.
Ниже приводится краткое описание методологической струк­
туры книги (см. также оглавление и краткие предисловия к
каждой из глав).
В §§ 1, 2 главы 1 вводятся понятия выборки, эмпирического
распределения и устанавливается теорема Гливенко — Кантелли,
которую можно рассматривать как фундаментальный факт, со­
ставляющий основу статистических выводов.
В § 3 вводится два типа статистик (статистики I и II типов),
включающие в себя подавляющее большинство практически ин­
тересных статистик. Эти статистики определяются как значения
G (Р*) функционалов G (удовлетворяющих некоторым условиям)
от эмпирического распределения Р п. Позже, в § § 7 , 8 , уста­
навливаются предельные теоремы о распределении этих стати­
стик. Это разгружает последующее изложение и освобождает от
необходимости для каждой конкретной статистики проводить
практически одни и те же рассуждения, не относящиеся при том
к существу дела.
В § о собраны вспомогательные теоремы (названные в книге
«теоремами непрерывности») о сходимости распределений и о
сходимости их моментов. Это также разгружает последующее'
изложение.
 ПРЕДИСЛОВИЕ 9

В § 6 (он не обязателен при первом чтении) устанавливается,

что эмпирическая фупкция распределения Fn (/) есть условный
пуассоновский процесс, и приводится формулировка теоремы (до­
казанной в приложении I) о сходимости процесса ]Аг(/'\* (/) —
— F (f)) к броуновскому мосту.
В § 10 вводятся сглаженные эмпирические распределения,
позволяющие приближать не только само распределение, но и его
плотпость.
В § 3 главы 2, посвящетшой оценкам неизвестных парамет­
ров, вводится единый подход к построению оценок, названный
«методом подстановки». Он состоит в том, что оценку 0* для
параметра 0, представимого в виде функционала 0 = G ( P ) от
распределения Р выборки, следует искать в виде 0 * = G ( Р*),
где Р* — эмпирическое распределение. Все «разумные» оценки,
используемые на практике, являются оценками подстановки.
Оптимальность оценки достигается путем выбора подходящего
функционала G. Если статистика 0* — G ( P ti) является стати­
стической I или II типов, то теоремы главы 1 позволяют не­
медленно установить состоятельность этих оценок и их асимпто­
тическую нормальность. В § § 4 , 5 этот подход иллюстрируется
на оценках, полученных с помощью метода моментов и метода
минимального расстояния. С тех же позиций можно было бы
рассматривать и оценки максимального правдоподобия (§ G), по
непосредственное их изучение позволяет получить более глубо­
кие результаты, необходимые в дальнейшем.
Сравнение оценок в главе 2 происходит на основе двух под­
ходов: среднеквадратического (сравниваются Ме( 0* — 0)-) и
асимптотического (сравниваются дисперсии предельного распре­
деления V п (0* •— 0) в классе асимптотически нормальных оце­
нок). В параметрическом случае это позволяет выделить 3 типа
оптимальных оценок: эффективные оценки в классах К ь с фик­
сированным смещением 6, байесовские и минимаксные оценки.
На основе тех же принципов выделяются классы асимптотически
оптимальных оценок нри асимптотическом подходе. Для построе­
ния эффективных оценок используются следующие традиционные
методы: первый носит качественный характер и связан с принци­
пом достаточности (§§ 12— 14); второй метод основан на количе­
ственных соотношениях, вытекающих из перавепства Рао — Кра­
мера (§ 16); третий связан с соображениями инвариантности
(§§ 17, 19), позволяющими сузить класс рассматриваемых оценок.
Отысканию асимптотически оптимальных оценок, а также изу­
чению асимптотических свойств функции правдоподобия посвя­
щены §§ 20—30. Параграф) 20 содержит интегральное неравен­
ство типа Рао — Крамера, которое позволяет, в частности, полу­
чить простые критерии асимптотической байесовости и минимакс­
ности офенок, а также обосновать выделение некоторого подклас­
10 ПРЕДИСЛОВИЕ

са оценок K Ql которым следует ограничиться в поисках: асимпто­

тически эффективных оценок. Это позволяет путем изучения
асимптотических свойств оценок максимального правдоподобия в
§ 25 сразу установить асимптотическую байесовость и мини­
максность названных оценок и их асимптотическую эффектив­
ность в К 0. Параграфы 21—24 носят вспомогательный характер.
Интервальное оценивание параметров рассматривается в §§ 31,
32 и в § 8 главы 3.
Глава 3 посвящена проверке гипотез. В §§ 1, 2 рассматрива­
ется случай конечного числа простых гипотез. Выделяются (ана­
логично теории оценивания) три типа оптимальных критериев —■
наиболее мощные в подклассах, байесовские и минимаксные. Ус­
танавливаются связи между этими критериями и находится их
явный вид. При этом в основу рассмотрений положен байесовский
принцип (а не лемма Неймана — Пирсона), что, на наш взгляд,
упрощает изложение и делает его более прозрачным. В § 3 из­
лагаются асимптотические подходы к расчету критериев для про­
верки двух простых гипотез и производится их сравнение. В § 4
рассматривается общая постановка задачи о проверке двух слож­
ных гипотез и определяются классы оптимальных критериев
(равномерно паиболее мощные, байесовские, минимаксные). Па­
раграф 5 посвящен отысканию равномерно наиболее мощных
критериев в тех случаях, когда это возможно. В §§ 6, 7 решает­
ся та же задача, по в классах критериев, суженных на основа­
нии соображений несмещенности и инвариантности. При этом в
основу рассмотрений, как и в §§ 1, 2 , положен байесовский под­
ход. В § 8 с помощью полученных результатов строятся наибо­
лее точные доверительные множества. В § 9 рассматриваются
байесовские и минимаксные критерии. Параграфы 10, 13 по­
священы критерию отношения правдоподобия. Оп оказывается
равномерно наиболее мощным во многих частных случаях и
обладает свойством асимптотической байесовости при весьма ши­
роких предположениях. Изучепие свойств асимптотической опти­
мальности критерия отношения правдоподобия продолжено в
§§ 15—17. В § 11 установлена оптимальпость этого критерия в
задачах последовательного анализа. Параграфы 14, 15 посвяще­
ны отысканию асимптотически оптимальных критериев для про­
верки близких гипотез, и найден их простой явный вид для ос­
новных статистических задач.
Существенной особенностью книги является тот факт, что в
ней рассмотрены лишь статистические задачи, связанные с ис­
пользованием одной выборки; задачи с двумя и более выборками,
а также общий теоретико-игровой подход к проблемам статисти­
ки будут изложены в отдельной книге, которая будет являться
прямым продолжением и дополнением пастоящей.
Книга имеет многоцелевое назпачепие. В ее полном объеме
она, конечно, ближе к программе кандидатского минимума по
 ПРЕДИСЛОВИЕ И

специальности «математическая статистика», чем к учебному по­

собию для студентов. Однако в книге предусмотрена система мер,
упрощающих первое чтение, которая делает книгу доступной и
для студентов. Параграфы повышенной трудности или «более
продвинутые» по своему содержанию отмечены звездочкой, их
следует при первом чтении опускать, как и текст, набранный
петитом. Кроме того, изложение технически более сложного слу­
чая, относящегося к многомерному параметру, почти везде вы­
делено в отдельные разделы и параграфы, которые также можно
пропускать.
Преподаватели ВУЗов, уже знакомые хотя бы частично с
предметом, могут выбирать из книги совокупность параграфов
(вариантов может быть много), используя которые (не обязатель­
но полностью) можно составить семестровый курс математиче­
ской статистики. Вот одип из вариаптов: §§ 1, 3, 5 главы 1;
§§ 2 - 4 , 6—12, 14, 16 (21, 2 3 - 2 5 ), 31, 32 главы 2; §§ 1, 2, 4,
5, 12 (13, 16) глаЪы 3. Параграфы, взятые в скобки, посвящены
асимптотически оптимальным процедурам. Их следует в зависи­
мости от подготовленности студентов либо максимально облегчить,
либо опустить вовсе.
Чтение книги предполагает знакомство с курсом теории ве­
роятностей в объеме учебника А. А. Боровкова [11]. Ссылки на
эту книгу, в'отличие от других ссылок, появляются в тех местах,
которые предполагаются читателю известными, и служат, глав­
ным образом, для напоминаний.
Нумерация параграфов в книге в каждой главе самостоятель­
ная, как и нумерация теорем (лемм, примеров и т. д.) в каж 1
дом параграфе. Для удобства чтепия используются разные систе­
мы для ссылок на теоремы, леммы, примеры, формулы и т. д.,
в зависимости от того, как далеко от читаемого места они нахо­
дятся. Если делается ссылка на теорему 1 или формулу (12)
читаемого параграфа, то ссылки на них будут' выглядеть так:
теорема 1,- формула (12). Если делается ссылка на теорему 1 и
формулу ( 12) одного из предыдущих параграфов этой главы (на­
пример, § 13), то ссылки будут иметь такой вид: теорема 13.1,
формула (13.12). Наконец, если ссылки относятся к другой гла­
ве, то будет появляться еще указатель номера главы (первая
цифра). Например, теорема 2.13.1 означает теорему 1 § 13 гла­
вы 2, а формула (2.13.12) — формулу (12) § 13 главы 2. То же
самое относится к обозначению параграфов. Ссылка на § 13
означает ссылку на § 13 этой главы, а ссылка па § 2.13 озна­
чает ссылку па § 13 главы 2.
Значок < означает окончание доказательства.
Для удобства читателя в конце книги помещены список ос­
новных обозначений и предметный указатель.
Написание этой книги было весьма трудным многоэтапным
делом. Значительную помощь при подготовке первоначальных
12 ПРЕДИСЛОВИЕ

записок лекций к печати и по устранению недостатков в них

мне оказал И. С. Борисов. Второй вариант рукописи прочел по
моей просьбе К. А. Боровков, который представил мпе длинный
список полезных советов и замеченных им погрешностей. Он
же существенно помог мне при «чистке» окончательного вариан­
та рукописи. В поисках повои критики я обратился с просьбой
ознакомиться с рукописью к А. И. Саханенко. Он также пред­
ставил мне длинный список замечапий и предложений по улуч­
шению изложения, многими из которых я воспользовался. Наибо­
лее существенные изменения при этом коснулись доказательств
в §§ 16, 21, 23, 29 главы 2, §§ 13—15 главы 3, Приложениях II,
V (см. также библиографические замечания).
Много ценных замечаний, направленных на улучшепие кни­
ги, было сделало Д. М. Чибисовым. Рукопись просматривали
В. В. Юрннский и Д. А. Новиков и также сделали ряд полезных
замечаний. Всем названным коллегам и всем тем, кто так или
иначе помогал мне при работе над книгой, я хотел бы выразить
здесь свою глубокую и искреннюю признательпость и благодар­
ность за их труд и содействие в написании книги.

А. А. Боровков
Сентябрь 1982 года
 ВВЕДЕНИЕ

Настоящая книга посвящена изложению основ раздела ма­

тематики, который называется математическая статистика. Пос­
леднюю для краткости называют иногда просто статистикой. Од­
нако следует иметь в виду, что такое сокращение возможно лишь
при достаточно хорошем взаимопонимании, поскольку сам по
себе термин «статистика» соответствует обычно несколько иному
понятию.
Что представляет из себя предмет математической статисти­
ки? Можно приводить разные описательные «определения», ко­
торые . в большей или меньшей степени отражают содержание
этого раздела математики. Одно из самых простых п грубых ос­
новано на сравнении, связанном с понятием выборки из гене­
ральной совокупности и с задачей о гипергеометрическом распре­
делении, которая обычно рассматривается в начале курса теории
вероятностей. Зная состав генеральной совокупности, там изуча­
ют распределения для состава случайной выборки. Это типичная
прямая задача теории вероятностей. Однако часто приходится
решать и обратные задачи, когда известен состав выборки и по
нему требуется определить, какой была генеральная совокуп­
ность. Такого рода обратные задачи и составляют, образно гово­
ря, предмет математической статистики.
Несколько уточняя эго сравнение, можно сказать так: в тео­
рии вероятностей мы, зная природу некоторого явления, выяс­
няем, как будут вести себя (как распределены) те или иные
изучаемые памп характеристики, которые можно наблюдать в
экспериментах. В математической статистике наоборот — исход­
ными являются экспериментальные данные (как правило, это
наблюдения над случайными величинами), а требуется вынести
то или иное суждение или решение о природе рассматриваемого
явления. Таким образом, мы соприкасаемся здесь с одной из
важнейших стороп человеческой деятельности — процессом поз­
нания. Тезис о том, что «критерий истины есть практика» имеет
•самое непосредственное отношение к математической статистике,
поскольку именно эта паука изучает методы (в рамках точных
математических моделей), которые позволяют отвечать на во­
прос, соответствуют ли практика, представленная в виде ре­
зультатов эксперимента, данному гипотетическому представлению
<о природе явления или пет.
44 ВВЕДЕНИЕ

Нри этом необходимо подчеркнуть, что, как и в теории ве­

роятностей, нас будут интересовать не те эксперименты, которые
позволяют делать однозначные, детерминированные выводы о
рассматриваемых в природе явлениях, а эксперименты, резуль­
татами которых являются случайные события. С развитием пау­
ки роль такого рода задач становится все больше и больше, по­
скольку с увеличением точности экспериментов становится все
труднее избежать «случайного фактора», связанного с разного
рода помехами и ограниченностью наших измерительных и вы­
числительных возможностей
Математическая статистика является частью теории вероят­
ностей в том смысле, что каждая задача математической статис­
тики есть по существу задача (иногда весьма своеобразная) тео­
рии вероятностей. Однако сама по себе математическая статис­
тика занимает и самостоятельное положение в табеле о науках.
Математическая статистика может рассматриваться как наука о
так называемом индуктивном поведении человека (и не только
человека), в условиях, когда оп должен на основании своего не-
дерминированного опыта принимать решения с наименьшими для
иего потерями*).
Математическую статистику называют также теорией ста­
тистических решений, поскольку ее можно характерпзовать как
пауку об оптимальных решениях (последующие два слова тре­
буют пояснения), основанных на статистических (эксперимен­
тальных) данных. Точные постановки задач будут дапы позже,
в основном тексте книги. Здесь же мы ограничимся тем, что
приведем три примера наиболее простых и типичных статисти­
ческих задач.
П р и м е р 1. Для многих изделий одним из основных пара­
метров, которым характеризуется качество, является срок служ­
бы. Однако срок службы изделия (скажем, электролампы), как
правило, случаен, и заранее определить его невозможно. Опыт
показывает, что если процесс производства в известном смысле;
одпородеп, то сроки службы | 2, . -. соответственно 1-го, 2-го
и т. д. изделий можно рассматривать как независимые одинаково
распределенные величины Интересующий нас параметр, опре­
деляющий срок службы, естественно отождествить с числом
0 — М£г- Одна из стандартных задач состоит в выяснении, чему
равно 0. Для того чтобы определить это значение, берут п го­
товых изделий и проверяют их. Пусть х 15 х2, ..., х„ — сроки
службы этих проверенных изделий. Мы знаем, что
71

) Подробнее об этрм см. [40].

 ВВЕДЕНИЕ 15

«
— 1^
при П г^°°. Поэтому естественно ожидать, что число х = — z ^ x t
i=l
при достаточно большом п окажется близким к 0 и позволит в
какой-то мере ответить на поставленные вопросы. При этом оче­
видно, что мы заинтересованы в том, чтобы требуемое число
наблюдений п было по возможности наименьшим, а наша оцеп ка
числа 0 по возможности более точной (завышение параметра О,
как и его занижение, приведут к материальным потерям).
П р и м е р 2. Радйолоканиопное устройство в моменты вре­
мени tz, . tn зондирует заданную часть воздушного про-
* странства с целью обнаружения там некоторого объекта. Обозна­
чим Xi, . . х„ значения отраженных сигналов, принятых устрой­
ством. Если в заданной части пространства интересующий нас
объект отсутствует, то значения xf можно рассматривать как
независимые случайные величины, распределенные так же, как
некоторая случайная величина природа которой обусловлена
характером различных помех. Если же в течение всего периода
наблюдений объект находился в поле зрения, то будут наряду
с помехами содержать «полезный» сигнал а, и значения Xi будут
распределены как | + а. Таким ооразом, если в первом случае
наблюдения х, имели функцию распределения Fix), то во вто­
ром случае их функция распределения будет иметь вид F ix — а).
Но выборке х1? ..., хп требуется решить, какой из этих двух
случаев имеет место, т. е. существует в заданном месте интере­
сующий нас объект или нет.
В этой задаче окажется возможным указать в известном
смысле «оптимальное решающее правило», которое будет ре­
шать поставленную задачу с минимальными ошибками. Сформу­
лированная задача может быть усложнена следующим образом.
Сначала объект отсутствует, а затем, начиная с наблюдения с
неизвестпым номером 0, появляется. Требуется по возможности
более точно определить момент 0 появления объекта. Это так
называемая «задача о разладке», имеющая и целый ряд других
интерпретаций, важных для приложений.
П р и м е р 3. Некоторый эксперимент производится сначала
Jii раз в условиях А и затем п2 раз в условиях В. Обозначим
х1? . . . , х П1 и Уц . . . , У п 2 результаты этих экспериментов соот­
ветственно в условиях А и В. Спрашивается, сказывается ли из­
менение условий эксперимента на его результатах? Иными сло­
вами, если обозначить через РА распределение х„
и через Р в — распределение у„ 1 < i ^ п2, то вопрос состоит н
том, выполнено соотношение Р А — Рв или нет.
Например, если нужно установить, влияет ли некоторый пре­
парат на развитие, скажем, растений или животных, то парал­
лельно ставятся две серии экспериментов (с препаратом и без),
результаты которых необходимо уметь сравнивать.
16 ВВЕДЕНИЕ

Часто возникают и более сложные задачи, когда аналогич­

ный вопрос ставится для многих серий наблюдений, проведеппых
в различных условиях. Если результаты наблюдений зависят от
условий, то бывает необходимым проверить тот или иной харак­
тер этой зависимости (так называемая задача о регрессии).
Пример 3 и названные более сложные проблемы относятся
к классу статистических задач с двумя и более выборками. Такие
задачи будут рассмотрены в отдельной книге (см. Предисловие).
Список примеров типичных статистических задач, разных по
сложпости и по своему существу, можно было бы продолжить.
Одпако общими для всех них будут следующие два обстоя­
тельства:
1. Перед нами не было бы никаких проблем, если бы распре­
деления результатов наблюдений, которые фигурируют в зада­
чах, были нам известны.
2. В каждой из этих задач мы должны по результатам экс­
периментов принимать какое-то решение относительно распреде­
ления имеющихся наблюдений (отсюда и название «Теория ста­
тистических решений», упоминавшееся выше).
В связи с этими двумя замечаниями принципиальное значе­
ние для всего дальнейшего и, в частности, для решения приве­
денных в качестве примеров задач, приобретает следующий факт.
Оказывается, по результатам наблюдений xi, . .., х„ над некото­
рой случайной величиной £ можно при больших п сколь угодно
точно восстановить неизвестное распределение Р этой случайной
величины. Аналогичное утверждение справедливо и для любого
функционала 0 = 0(Р) от этого неизвестного распределения.
Этот факт лежит в основе математической статистики. Ему
и более точным постановкам задач будет посвящена глава 1.
 Г Л А В А 1

ВЫ БОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ.

АСИМПТОТИЧЕСКИЕ СВОЙСТВА СТАТИСТИК

В §§ 1—4 вводятся понятия выборки и эмпирического распределения

п рассматриваются их простейшие свойства, главным образом асимптоти­
ческие, лежащие в оспове математической статистики.
В § 5 излагаются так называемые теоремы непрерывности (о сходимо­
сти распределений функций от последовательностей случайных величин) t
используемые на протяжении всей книги.
§§ G—10 посвящены более тонким асимптотическим свойствам эмпири­
ческих распределений п изучению предельных распределений для оспов-
пых типов статистик.

§ 1. Понятие выборки

Исходным материалом любого статистического исследования:

является совокупность результатов наблюдений. В простейших
случаях они представляют собой экспериментальные (полученные
в результате опытов) значения некоторой случайной величины
£. Мы уже отмечали, что в задачах статистики распределение Р
этой случайной величины хотя бы частично неизвестно.
Точнее, пусть G — эксперимент, связанный со случайной ве­
личиной Формально для этого эксперимента со случайной ве­
личиной | мы должны построить математическую модель, в ко­
торую входит веро'ятиостное пространство (Л?, 33^>,Р), и задать
на нем подходящим образом измеримую функцию, которая и
называется случайной величиной | (см. [11]). Пространства
Р ) не ограничивая общности можно считать «выбороч­
ным» (см. [ 11]), т. е. считать, что 96 есть пространство значе­
ний £(ж )= а;. В этом случае Р можно называть распределением
Если £; — числовая случайная величина, то 96 есть числовая
прямая Л; если | — вектор, то 9 6 — R m, т > i. В дальнейшем
мы, как правило, и будем иметь в виду только два эти случая,
т. е. под 96 понимать R (одномерный случай) или R m, т > 1
(многомерный случай). В качестве Ъд? чаще всего выбирают о-
алгебру борелевских множеств *).

*) Многие разделы книги сохранятся п в более общей ситуации, когда

SS есть произвольное метрическое пространство с о-алгеброй tygg борелев-
екпх множеств, т. е. о-алгеброй, порожденной открытыми множества­
ми из %в.
2 А. А. Боровков I ФУНДАМЕНТАЛЬНА
БИБЛИОТЕКА
ми и т а
18 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. 1

Если заранее известно, что Р сосредоточено на части

пространства об, то может оказаться удобным под об понимать
В , а под —сужение о-алгебры 2)^>па В.
Рассмотрим п независимых повторений эксперимента G (см.
Ш ] , стр. 38) и обозначим х,, . . х п совокупность полученных
наблюдений. Вектор
Х п = (х,, . . х J
называется выборкой объема п из совокупности с распределением
Р. Иногда используют укороченные или более полные варианты
этого термина: «выборка из распределения Р» или «простая
выборка объема п из генеральной совокупности с распределе­
нием Р».
Символически соотношение «Х„ есть выборка из распределе­
ния Р» будут записываться с помощью знака Се следующим
образом:
Хп^Р. (1)

Такого рода запись будет использоваться нами и для других

случайных величии. Например, соотношение
£<=Р ( 2)
будет означать, что | имеет распределение Р. Такое использова­
ние символа (§ё находится в соответствии с ( 1), поскольку послед­
нее определено для любого п, в частности, для п = 1.
Если £ и г] есть две случайные величины (вообще говоря, за­
данные на разных пространствах) с одинаковыми распределе­
ниями, то этот факт мы будем обозначать. £ = т], так что если
d
Хя и Y n есть две выборки одинакового объема из распределения
Р, то мы можем писать Хп — Y n.
d
В правых частях (1), (2) вместо распределения Р иногда
может стоять функция распределения, соответствующая Р. Так
что если Fix) = Р ((—©о, #)), то запись
Х,г(§§ F

будет тождественна с ( 1).

Само понятие «выборки из генеральной совокупности» встре­
чается также при рассмотрении простейших вероятностных мо­
делей, связанных с извлечением шаров из урны в классическом
определении вероятности (см. [ 11J, § 2 гл. 1). Следует отметить,
что введенное выше определение выборки находится в полном
согласии с этим понятием, введенным ранее, и по существу сов­
падает с пим. Если х, (или случайная величина £) могут при­
нимать лишь s значений аи ..., a.s. и вероятности этих значений
 ПОНЯТИЕ ВЫБОРКИ 19>

рациональны, т. е.

p ( i = « i ) = 4 ^* 2 ^ = ЛГ> ■
5—1 ,
то выборку Х п можпо представить как результат «выборки с воз­
вращением» (в смысле гл. 1 [111) из урны с N шарами, из них
на Ni ш арах написано аи па N 2 шарах паписано а2 и т. д.
Как математический объект выборка X —Х п (индекс « мы
часто будем опускать) есть не что иное, как случайная величина
(xi, . . х„) со значениями в ««-мерном» пространстве $вп — S6 X
X $6 X . . . X и распределением, определяемым для В ==■
= Bi X В 2 X . . . X В п, Bj е равенствами

Р ( 1 е й ) = Р ( х , е г „ . . , x ne P , ) = n P (x ie « i). <3>
*=1

Другими словами, распределение Р на 8вп есть «-кратное прямое

произведение заданных «одномерных» распределений.
Относительно обозначений для распределения Р и других мы
будем придерживаться следующих соглашений, которые мы от­
части уже использовали в (3) и которые нигде не приведут пае
к недоразумениям.
1. Мы будем использовать одни и тот же спмвол (в частности,
Р) для распределений в ($?, и для прямого произведения
этих распределений в (Я?", » # ) (см. (3)), где — о-алгебра бо-
релевских множеств в $6п. Различие будет определяться лишь
аргументом функции Р.
2. Вероятность попадания величины X в множество В , ска­
жем из S9^>, нам иногда будет удобно обозначать через РШ ), а
иногда через Р i x ^ B ) . Ото одно и то же в силу того, что $6п есть
выборочное пространство для X.
3. Накопец, символ Р мы будем попользовать для обозначе­
ния общего понятия вероятности (т. е. для вероятности, относя­
щейся к каким-то другим случайным величинам без конкретиза­
ции вероятностного пространства).
В силу (3) мы можем рассматривать выборку X как элемен­
тарное событие в выборочном вероятностном пространстве
(см. [11] гл. 3 § 2). Отметим, что относительно вы­
борки X мы будем допускать двойственное толкование этого обоз­
начения и объекта: как случайной величины и как вектора реаль­
ных числовых данных, полученных в фактически осуществлен­
ных экспериментах. Как показывает опыт, такое двойное толко­
вание вполне приемлемо и не приводит к недоразумепиям, хотя
и допускает одновременное существование, записей вида
P (Xl < t) = Fit) и вида Xi = 0,74, х 2 = 0,83 и т. д.
2*
20 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. 1

Отметим также, что координаты х, выборки X мы обозначаем

'«прямыми» буквами х, оставляя «курсивные» буквы х для обозна­
чения переменных величин. Вектор (х1у . . х п) ^ £ & п,
мы будем обозначать полужирными буквами х — (хи . .., х п).
Выборка является осповпым исходным объектом в задачах
математической статистики. Однако на практике элементы ее
х,, х2, . . . далеко не всегда являются независимыми. В своих
рассмотрениях мы также пе будем исключать такой возможно­
сти. Чтобы при этом не делать дополнительных оговорок, мы в
случае зависимых наблюдений будем считать, что имеем дело с
выборкой объема п — 1, а наблюдения представляют собой коор­
динаты вектора х, (ведь природа пространства @6 произвольна).
В следующих рассмотрениях нам часто придется иметь дело
с выборками Х п неограниченно возврастающего объема п. В та­
ких случаях удобно предполагать, что задана выборка Хтс =
— (xi, х2, . . . ) бссконечпого объема, а X = Х п есть совокупность
се первых п координат. Иод-выборкой бесконечного объема Х то
мы будем понимать элемент выборочного вероятноегного прост­
ранства (б??00, 58^, Р ), где ^ “ — пространство последовательно­
стей (хи' х 2, . . . ); о-алгебра порождена множествами П
г-^ДГ
G /?i}, N = 1, 2, . . . ; распределение Р обладает свой­
ством (3). По теореме Колмогорова (111J) такое распределение
всегда существует. Стало быть, предположение о существовании
выборки Х ет бссконечпого объема никак не ограничивает
общность.
Саму бесконечную последовательность (бесконечную выборку)
Хю в рассмотрениях, посящпх теоретико-вероятностный характер,
можно трактовать как элементарное событие (ср. с Hl l ) .
В тех случаях, когда нам нужно будет понимать Х„ как под-
вектор X», мы будем писать
X n = [ X J n,

где [•]„ — оператор проектирования из в Звп, определенный

очевидным образом. В соответствии с предыдущим запись
Х ^ Р

будет означать, что X<*, есть выборка бесконечного объема из

распределения Р.
Если возникнет необходимость особо отметить тот факт, что
речь идет о распределении в Ъ°%) (или в \%&п, §3#?) при
п < oo)t а пе в 59^), то мы будем использовать также обозна­
чение Р " ( Р П). Сохранение верхних ипдексов «°о» и «н» во всем
тексте привело бы к громоздким обозначениям.
 ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ 21

§ 2. Эмпирическое распределение (одномерный случай)

Пусть дана выборка X ~ (xt, . . . . xn)^= Р, х * е с/6 = R . Рас­

смотрим вещественную прямую R с о-алгеброй борелевских
множеств 23 и дискретное распределение Р п на (/?, S3), сосредо­
точенное в точках Xi, . . х„, для которого вероятность зиачепия
X; полагается равной 1/п. Другими словами, для любого В ^ Ю
по определению
Р* (Л) = (1)

где. v ( B ) — число элементов выборки X, попавших во множество

В. Распределение Р„ называется эмпирическим распределением,
построенным по выборке X (или соответствующим выборке X).
Его можно представить также в следующем виде. Пусть
I хХВ) — распределение, сосредоточепное в точке х:
(1, х<=В,
^ (S) = {о, х ^ в .

71
тогда, очевидно, v(B ) = 2 1х,- (В),
i=i
П
Р ’ (В) = | 2 К ; (В). ( 2)
i—1
Яспо, что Р* (В) для любого борелевского В как фупкция от
выборки есть случайная величина. Таким образом, мы имеем
здесь дело со случайной функцией множеств, или со случайпым
распределением.
Предположим теперь, что Х ^ ^ Р , Х п = [Х^Е и п о о.
Мы получим тогда последовательность эмпирических распределе­
ний Р*. Замечательный факт состоит в том, что эта последова­
тельность неограниченно сближается с исходным распределением
Р наблюдаемой случайной величины. Этот факт имеет принци­
пиальное значепне для всего последующего изложепия, посколь­
ку он показывает,что неизвестное распределение Р может быть
сколь угодно точно восстановлено по выборкедостаточно боль­
шого объема.
Т е о р е м а 1. Пусть B<^$Q и Х п = [X ^ E d ; Р. Тогда при
п ->■ °о
К { В ) - - + р (В).
п.н.

Сходимость с вероятностью 1 здесь имеется в виду относи­

тельно распределения Р — Р°° в (Л°°, 59°°, Р). Предположение
22 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. I

Хп= нужно нам для того, чтобы случайные величины

Р« (В ) были заданы па одпом вероятностном пространстве.
Д о к а з а т е л ь с т в о . Обратимся к определению (2 ) и за­
метим, что IXi (В) есть независимые одинаково распределен­
ные случайные величины, М I Xi (В) — Р ( 1Х| (В ) — 1) = Р
е В ) = P(Z?). Так как Р*С#) есть среднее арифметическое этих
величин, то остается воспользоваться усиленным законом боль­
ших чисел. <3
Теорема 1 устанавливает сходимость Р„ (В) и Р (В) в каж ­
дой «точке» В. Однако имеет место и более сильпое утвержде­
ние о том, что такая сходимость в известном смысле равномерна
по В.
Обозначим через 3 совокупность множеств В , являющихся
полуинтервалами вида [«, Ъ) с копечными или бесконечными
концами, и предположим опять, что Х п ~ JX J L .
Т е о р е м а 2 (Гливенко — Кантелли).
sup | Р* (В) — Р (В) |—*• 0.
В<=3 п.н.

Собственно, с именами Гливенко и Кантелли связано несколь­

ко иное утверждение, относящееся к важному понятию эмпири­
ческой функции распределения. По определению это есть функ­
ция распределения, соответствующая Р » . Другими словами, эм­
пирической функцией распределения Fп (х) называется функция

F* (х) — Р» ((— оо, ж)).

Величина nF*(x) равна числу элементов выборки, которые мень­
ше, чем х. В реальных условиях для построения F n (x) часто
используют следующую процедуру Элементы выборки (х4, . . .
. . . , х„) упорядочивают по возрастанию, т. е. образуют из нее
последовательность
Х(1) ^ Х('2) Х(п), '

которая называется вариационным рядом. Тогда мы можем по­

ложить
Fn(x) = ~ при х е= (x(ft), x(fe+1)l,

где к пробегает значения от 0 до п, х(0) = —°°, x(n+i v= °°. Очевид­

но, F* (х) представляет из себя ступенчатую функцию, имеющую
скачки величиной 1/ и в точках х,-, если все х 4 различны.
Пусть Fix) — Р ((—°°, х)) есть функция распределения | (или,
что то же, Xi) и Х п = Теорема Гливенко — Кантелли со­
стоит в следующем:
 ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ 23

Т е о р е м а 2А. При п °о
sup | F* (ж) — F (ж) |— > 0.
X П .Н .

Ниже индекс п у обозначений F п мы будем опускать и пи­

сать просто F*.
Д о к а з а т е л ь с т в о т е о р е м ы 2А. Предположим сначала
для простоты, что функция F непрерывна. Пусть е > 0 — произ­
вольно малое заданное число такое, что число N = 1/е целое.
Т ак как F непрерывна, то можно указать числа z0 = —<х>?
z lt . . zK- u zN = °° такие, что
F (z0) = 0, F (zA) = е = . . . , F {zk) = ке = . . . , F (zv) = 1.

При z е Lzft, zh+l) справедливы соотношения

F*(z) —Fiz) < F*izh+l) - F{zh) = F*{zh+i) — Fizh+l) + e,
(3)
F * ( z ) - Я г ) > F*izk) - F(zft+1) = F 4 z K) - F i z h) - e.
Обозначим множество элементарных событий па
которых F*(Zft) А(г,,). По теореме 1 P(Aft) = 1. Стало быть, для
А
каждого w g Л = f) Ah найдется гс(<в) такое, что при всех
k=0
п ^ тг(со) будет выполняться
lF*(zk) - i H z fc)| < е , к = 0, 1 А. (4)
Но вместе с (3) эти неравенства влекут за собой
sup | F* (z) — F (z) | <C 2e. (5)
Z

Итак, это соотношение имеет место для произвольного е > 0,

всех (0 <=у4 и всех достаточно больших n ^ n i a ) . Так как
РС4) == 1, то теорема для непрерывной функции F доказана.
Для произвольной функции Fix) доказательство происходит
совершенно аналогично. Надо лишь воспользоваться следующим
обстоятельством: для любой Fix) существует конечное число то­
чек —00 = z 0< zt < . . . < zY_, < zw = оо таких, что
Fizh+l) - Fizh + 0) < е, к - 0, 1 N - 1 (6 )
{для определенности можно считать, что множество {гД содержит
все точки скачков F, по величине больших, чем, например, е/2).
Совершенно аналогично (3) получаем, что при z e izhj zh+l]
F 4 z ) - Fiz) ^ F*(zk+i) - Fizh+l) + e,
F*iz) - Fiz) ^ F*(zh + 0) - Fizk + 0) - e. (7)
К множествам A h, которые определяются как прежде, доба­
вим множества А-н, /с = 0, 1, . . . , А, па которых F*izh + 0) г**.
24 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. t

-►№* + 0). Тогда по теореме 1 Р ( ^ ) = Р ( Л , |) = 1, и н а м п о -

N
жестве А = R A hA k » Р ( ^ ) = 1 » при достаточно больших
fe=0
? г ^ п Ы ) будет справедливо (4), а также неравенства
0) ~ F ( z h4-0)1 < е, к = О, 1, ..., N.
Вместе с (7) эти неравенства влекут за собой (5). <3
Теорема 2А является частным случаем теоремы 2, так как
множества (—°°, х) принадлежат S', с другой стороны, теорему 2
нетрудно получить в качестве следствия теоремы 2А, поскольку
для В = [а, Ъ)
К (Щ — Р (В) | < | К Ф) - F (Ь) I + I F l (а) — F (а) I,
и, стало быть,
si.pl Р.* (В) — Р )(ВI< sup[ IFl:(Ъ) (6) I + 1К (а) - F | ]—
кгЗ «,ь п.н.
З а м е ч а н и е 1. Нетрудно видеть, что такого же рода рас­
суждения позволяют нам в качестве совокупности множеств S
в теореме 2 брать совокупности интервалов (а, b), отрезков [а, 6]
и их конечных (в числе не более некоторого N ) объединений.
С другой стороны, если в качестве S в теореме 2 взять до­
статочно богатый класс множеств, то утверждение теоремы пере­
стает быть верным. Например, если S содержит объединения
любого конечного числа интервалов, то множество В п =>
= U — \!п2, xh + l/w2j е S , P*(-Sn) = 1, а для равномерного
на [0 , 1] распределения Р (Вп) =^2/« , так что
sup | р : СВ) - Р (В) I > Р* (Вп) - Р (В„) ->■ 1.

В заключение этого параграфа отметим, что представление

(2 ) позволяет получить для P7t и более точные теоремы об
асимптотическом поведении, чем теоремы типа Гливенко — Кап-
телли (эти результаты будут представлены в § § 4 , 6 ). Чтобы
проиллюстрировать возможности, которые здесь есть, напомним,
П
ЧТО 2 Ъ Л В ) в (2 ) есть сумма независимых одинаково распре-
г—1
деленных случайных величии в схеме Бернулли,
МГм (В) = Р(1*.(В ) = - 1) = Р (В ),
М 1|, (В) = Р (В), D IXj (В) == Р (В) (1 - Р (В)).

Поэтому из центральной предельной теоремы немедленно выте­

кает следующее утверждение:
 ВЫБОРОЧНЫЕ ХАРАКТЕРИСТИКИ. ДВА ТИПА СТАТИСТИК 25

Т е о р е м а 3. Р * (В) представимо в виде

L , (#)
P:(Z?) = P(Z?) + ^ - , (8)
I / ГС '
П
где распределение £п (В) = —7= ( 1Х-(#) — Р ( ^ ) ) сходится к
У » 1=1
нормальному распределению с параметрами (О, РШ Н1 —Р (5 ))).
Дальнейшее изучепце Рп (В) в этом направлении содержит­
ся в § 6. Более точные теоремы о сходимости с вероятностью
4 см. в § 4.

§ 3. Выборочные характеристики. Два типа статистик

1. Примеры выборочных характеристик. Выборочными харак

теристиками называют обычно различные измеримые функцио­
налы от эмпирического распределения, или, другими словами,
функции от выборки, которые предполагаются измеримыми. Наи­
более простые среди ппх — выборочные (или эмпирические) мо­
менты. Выборочным моментом порядка к называется значение
п
at = at (X) = j x hd K = - i 2 x?.
i= l

Выборочный центральный момент порядка к равен

аТ(X)= f (х- atTdl't = 1 j? (х. - аГ)\

г~1
Для выборочных моментов а* и я* в литературе распростра­
нены специальные обозначения х и 5 2:
П П
— * 1 'V ' о2 *° I X 1/ ~~\9
х = в1 = - 2 ,* „ s = а 2 = - 2 ( * « - хЬ .
i= l г—1

В статистических задачах используются самые различные

выборочные характеристики. Например, выборочная медиана
— это среднее значение вариационного ряда, т. е. значение
£;* = х(гп), если п — 2 m — 1 (нечетно), и = (х(т) + х (т+п)/ 2,
если п — 2т (чстпе). Напомним, что меднапой £ непрерывного
распределения Р называется решение уравнения Fit,) = 1/2.
Более общим понятием является понятие квантили поряд­
ка р. Это число, для которого Fit,p) = р. Так что медиана есть
квантиль порядка 1/2. Если F имеет точки разрыва (дискретную
компоненту), то это определение теряет смысл. Поэтому в общем
случае мы будем пользоваться следующих! определением;
26 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. f

Кваптилъю порядка р распределения Р называется число

£Р = sup {х: Fix) < р}.
Как функция от р квантиль есть пе что иное, как функция
F 1(р ), обратная к Fix).
Такое определение £р (или F~lip)), в отличие от предыду­
щего, очевидно, имеет смысл для любых Fix).
Ясно, что наряду с выборочными медианами мы можем рас­
сматривать выборочные квантили порядка р, равпые по опре­
делению значению х(г), где I = [пр\ 4 - 1, x (k) — члены вариацион­
ного ряда для выборки X, к — 1, . . п. Для р = 1/2 мы сохраним
определение £* = £г/2» дапное выше (оно совпадает с приведен­
ным лишь при нечетных п).
2. Два типа статистик. Пусть дана измеримая функция S
от п аргументов. Выборочная характеристика S iX ) — S i x T, . .., х„)
часто называется также статистикой. Из сказанного выше ясно,
что любая статистика есть случайная величина. Ее распределе­
ние полностью определяется распределением Р(19) = P(xi ^ В)
(папомпим, что S iX ) можно рассматривать как случайную вели­
чину, заданную па ($ ? п, §)<£>, Р ), где Р — n-кратпое прямое про­
изведение одномерных распределений x t).
Мы выделим здесь два класса статистик, которые часто будут
встречаться в дальнейшем. Они будут построены с помощью сле­
дующих двух видов фупкцнопалов GiF) от функций распределе­
ния F:
I, Функционалы вида
G(F) = h { $ g ( x ) d F ( x ) ) ,

где g — заданная борелевская функция, h — функция, непрерыв­

ная в точке а = J g{x) dF0{x), где F0 такова, что X F0.
II. Функционалы GiF), непрерывные в «точке» F 0 в равно­
мерной метрике: GiF(n)) GiF0), если sup [ F(n) {х) — F0 (ж) | — О,
носители*) распределений F (n) принадлежат носителю F Q. Здесь
Fо опять есть функция, для которой X F 0.
Соответствующие классы статистик мы определим с помощью
равенства
S(X ) = G ( K ) ,
где F* — эмпирическая фупкция распределения. Мы получим
тогда

*) Носитель N р распределения Р с функцией распределения F есть

множество, для которого P(/VF) = 1,
 ВЫБОРОЧНЫЕ ХАРАКТЕРИСТИКИ. ДВА ТИПА СТАТИСТИК 27

I. Класс статистик I типа, представимых в виде

( П
S (X) = h (j g (ж) dF* (z)j = h I ~ 2 g (x*)
\ i=l
Очевидно, все выборочные моменты имеют вид аддитивных ста-
п
тистик — g (х^) и относятся к статистикам I типа.
” i=i
II. Класс статистик, которые мы будем называть статистика­
ми II типа или статистиками, непрерывными в точке F0.
Ясно, что, например, выборочная медиана -будет непрерывной
статистикой в точке F, если существует медиана £, Fit,) = 1/2,
и F непрерывна и строго возрастает в точке
Принадлежность функционалов одпому из названных классов,
конечно, не является альтернативной. Функционал G(F) может
не принадлежать ни одному из этих классов или принадлежность
обоим сразу. Например, если G есть функциопал I типа, носи­
тель F сосредоточен на отрезке [а, Ы (/Д я )^ !), Fib) = 1),
а функция g имеет ограниченную вариацию на [я, Ъ\, то G бу­
дет одновременно функционалом II типа, так как в этом случае
функционал
ь
J g ix) dF ix) = g ф) — j F (x) dg {x )
a

непрерывен относительно F в равномерной метрике. Сказанное

означает, что статистики I типа х и S z будут также статистика­
ми II типа, если Х£=§Р и Р сосредоточено на конечном ин­
тервале.
Теоремы 2.1, 2.2 мы можем дополнить здесь следующим ут­
верждением о п. н, сходимости выборочных характеристик.
Т е о р е м а 1. Пусть, как и прежде, Х п — | F, Тогда,
если S.(X) = G {F7l) есть статистика I или II типа, то при
п -*■ °°
G (K )-> -C (F ).
11.И.
Здесь предполагается, конечно, что зпачение GiF) существует.
Таким образом, выборки большого объема позволяют оцени­
вать не только само распределение Р, но и функционалы от этого
распределения — но крайней мере те, которые принадлежат одпо­
му из названных в теореме классов.
Д о к а з а т е л ь с т в о утверждения для обоих классов стати~>
стик почти очевидно. Пусть, например, G{F) — h( f g (я) dF {x)\ _
28 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. I

Тогда
О 71
S = S ( X ) = \ g ( x ) dF l {х) = 2 gМ
i= l
есть сумма независимых случайных величин с математическим
ожиданием
Mg ( x t) = § g{x) dF (х).
Поэтому по усиленному закону больших чисел S — >- Mg (хД.
Пусть теперь А = {Х^: *S'(X )->M g(x1)}. Тогда РС4) — 1, и ес­
ли Хп, е Д то S (X ) -*■ Mg (х1), /г (5 (X)) /г (Mg (xj)). Другими
словами, на мпожестве А
C (K )-fG (F ).
Утверждение теоремы для функционалов второго типа есть
прямое следствие теоремы Гливенко — Кантелли. <1
Из теоремы вытекает, что абсолютные и центральные выбо­
рочные моменты п. и. сходятся при п -*• °° к соответствующим
моментам распределения Р:

at = al (*) = 1 2 X? Мх?,
i=l и-н.

аГ = аГ (X ) = i 2 (х* - i ) ’*-»■ М (х, - М х ,)\

« та
В частности,

52= 4 2 - *>2 Dxi-

i—1
Таким образом, мы установили важный факт, имеющий для
нас принципиальное значение: эмпирическое распределение и
широкий класс функционалов от него с ростом объема выборки
неограниченно сближаются с соответствующими «теоретически­
ми» значениями.
Более точпые теоремы о распределении выборочных характе­
ристик будут изложены в §§ 7, 8.

§ 4. Многомерные выборки
1. Эмпирические распределения. Совершенно аналогичным об­
разом выглядят построения эмпирического распределения и выбо­
рочных характеристик в многомерном случае, когда наблюдаемая
случайная величина а вместе с ней и выборочные значения
 МНОГОМЕРНЫЕ ВЫБОРКИ 29

х,, х„ есть векторы размерности т > 1: х,4= ( х Л11, . .., хй>1Г1).

Здесь есть распределение в с£ = В"\ а выбороч­
ным пространством здесь будет $3^, Р ), где Р есть n-крат­
ное прямое произведение распределений Р в р г ,
Обозиачецие У Щ Р полностью сохраняет свой смысл.
Эмпирическое распределение Р,г по выборке X строится, как
и раньше, как дискретное распределение с массами величины
1/п в точках х,, ..., х„, так что

«(В)- ^ - = ^ - 2 1 * . (В).
i=l
где \ ( В ) — число точек, попавших в множество В, 1Х. — рас­
пределение, сосредоточенное в точке х,.
Утверждение теоремы 1 о сходимости Рп (В) — >- Р (В) здесь,.
П .И . .
очеглщпо, сохранится.
Обобщение теоремы Гливеттко — Каптелли на многомерный
случай связано с появлением качественно новых вопросов. Один
из них — обобщения понятия интервалов на многомерный слу­
чай. Таких обобщений может быть несколько — ото могут быть,,
например, прямоугольники, выпуклые множества и др.
Простейший вариант обобщения теоремы Гливенко — Каптел­
ли таков.
Пусть у = (yf, ..., у т ) есть точка R m и В, есть угол с вер­
шиной в точке t — (/,, . . . , tm):
В, = {у e yh < th, к = 1, . . . , rti).
Функция
F*(t) = P* (Z?()
называется эмпирической функцией распределения.
Т е о р е м а 1. IIусгь Х п = [У«,] „, X ^ ^ F . Тогда
sup | F* (t) — F (t) | — ^ 0
l П .Н .
при n oo.
2*. Более общие варианты теоремы Гливенко — Каптелли. З а ­
кон повторного логарифма. Одно из возможных обобщепий тео­
рем тина Гливенко — Каптелли состоит в следующем. Пусть © —
класс всех выпуклых множеств в /?"*.
Т е о р е м а 2. Пусть Х п — [У^З,,, У«€§Ё Г\ распределение Р
абсолютно непрерывно относительно меры Лебега в R m. Тогда
sup | Р ; < В ) - Р ( В ) | — * 0 . ( 1)
вел, п.н.
Другие возможные обобщения теоремы 1 можно получить с.
помощью утверждений Приложения I.
so ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. 1

З а м е ч а н и е 1. Требование абсолютной непрерывности рас­

пределения Р относительно меры Лебега в теореме 2 существен­
но. На это указывает следующий пример. Пусть Р есть равномер­
ное распределение на единичной окружности (т. е. па границе
круга) в R z. Построим замкнутый многоугольник В х с вер­
шинами в точках хь . . хп, лежащих на окружности. Это выпук­
лое множество. Однако Р ( B x ) = 0 , Рп (Вх) = 1, и, следователь­
но, соотношение ( 1), где (S— класс выпуклых множеств, неверно.
Утверждения теорем типа Гливепко — Кантелли можно суще­
ственно уточнить — по крайней мере для простейших классов
множеств. Например, для эмпирических функции распределений
F* (f) (см. теорему 1) можно указать такую детерминированную
последовательность Ъп -*■ 0 при п -+■ для которой с вероятно­
стью 1 (для почти всех «точек» Х х )
lim sup Ьй1 sup | Fn (t) — F (t) \ — 1.
h-i-oo t
Оказывается, что порядок малости bn такой же, как
Т е о р е м а 3 (закон повторного логарифма). Если F(t) не­
прерывна, то

Р ( Ь п 1 « 1Р ^ I n in й Slj p I F * ^ ~ F (О I = l ) = !•

Теорема 3 тесно связана с нормальным приближением для

Р*г (t) вида (2 .8 ), которое в многомерном случае, очевидно, так­
же имеет место.
Доказательство теорем 4, 2 отнесено нами в Приложение 1.
Доказательство теоремы 3 см. в [33].
3. Выборочные характеристики. В многомерном случае, как
и в одномерном, они представляют собой различные измеримые
функции от выборки. Простейшие из них — выборочные момен­
ты. Например, выборочные моменты первого порядка равны
П

<4,5 - <4,5 (X) = 4 "2 xh,j, 1 = 1, • • -. m.

к—1
Ыомепты второго порядка (обычные и центральные)
П
* # / 1 * Л
~ Cl21ij (Л) — — j/_i X/f = 1? • • • i Cll)
n

Ql,ij S iy = — ^2 ^1j ) t
ft= l

и т. д. К ак и в одномерном случае, легко убедиться с помощью

усиленного закона больших чисел, что эти характеристики с не-
 ТЕОРЕМЫ НЕПРЕРЫВНОСТИ

роятностью 1 сходятся к соответствующим «теоретическим» мо­

ментам. В частности, S i j — »-M(xlti — Мх 114) ( х 15; — Mxjj). Нетруд-
П .П .
но убедиться (подробнее об этом см. в следующем параграфе), что
этим же свойством обладают и выборочные коэффициенты кор­
реляции
- . ■ SH . .. ч . м (хЫ ’-М х 1. | ) ( Ч | — Mxw)
Го — ~ 7-- -- Р \Х1»Ь xl j /

Для получения более точных теорем о распределении выбо­

рочных характеристик нам будут полезны так называемые тео­
ремы непрерывности.

§ 5. Теоремы непрерывности

В дальнейшем нам понадобятся некоторые вспомогательные

утверждения, которые мы будем часто использовать и которые
можно было бы назвать теоремами непрерывности. Для удобства
мы выделяем их в отдельный параграф. Одну теорему такого
типа мы уже использовали — это теорема 3.1. Первая теорема
непрерывности будет очень близка к этой теореме.
Т е о р е м а 1 (первая теорема непрерывности). Пусть X —
= [X „|n ^ P . Тогда если S n = S n(X ) есть последовательность
скалярных или векторных статистик таких, что S n — S b, и
п н
I l i s ) — функция, непрерывная почти всюду относительно распре­
деления случайной величины iS0 (т. е. H is ) непрерывна в каждой
точке множества В , Р (S0 е В) — 1), то I I (S n (X)) — v / / (S 0).
Л.Н.
Если S n сходится к S 0 по вероятности ^Sn -*- то при тех
же прочих условиях II {Sn)~ >- Н (5^).
р
Д о к а з а т е л ь с т в о теоремы почти очевидно. Так как веро­
ятности событий Л = { Х 00: SniXn) ^ (Х * )} и С = {Хоо: S 0(Xoo)^
е В) равны 1, то в силу равенства Р Ы ПС) = Р(Л) + Р(С) —
— Р(у1 UС) вероятность события Л П С (па котором IIiS niXoJ))
->- Ж Х 0(Х„„))) также равна 1.
Чтобы упростить доказательство сходимости по вероятности,
мы предположим дополнительно, что S 0 = const (нам только этот
случай и понадобится). Для заданного е > 0 найдется 6 > 0 та­
кое, что событие \Sn — 5 01 < б ) влечет за собой
\H (sn) - m s 0)\ < в и, кроме того, Р(Л„) > 1 — е при всех доста­
точно больших п. Следовательно, для таких п имеем 1 — е <
< Р и вХ Р ( | Ш п) - Ш 0) | < е ) . <]
Прежде чем формулировать последующие теоремы, введем
некоторые обозначения, которые будут удобны в дальнейшем.
 ВЫБОРКА ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. I

Пусть дана последовательность случайных векторов т\п —

= (*](и \ • • • j т1п)) (ие обязательно па одном вероятностном про­
странстве). Если распределения rj„ слабо сходятся при п-*- °° к
распределению некоторой случайной величины tj, то этот факт
мы будем обозначать символом
(1)
•Здесь мы используем для случайных величин знак =4- слабой
•сходимости распределений. Этот знак будет употребляться по-
прежнему и для самих распределений, так что соотношение ( 1)
•эквивалентно тому, что
Qn =>- Q,
ф

где Q„ и Q суть соответственно распределения rjrt и г]. Такое со­

глашение удобно и не приводит к недоразумениям.
Ясно, что из i),i— > Т) или Tjn — следует н„ => rj (ср. с
Р п.н.
I l l ] , стр. 133).
Такнм образом, если речь идет о соотношении (соответствую­
щем слабой сходимости) между объектами одной природы (меж­
ду случайными величинами или между распределениями), то мы
будем использовать символ =s-. Наряду с этим, нам было бы
удобно иметь также символ для выражения «распределения Tjrl
слабо сходятся при п °° к Q». Это соотношение мы будем за­
писывать в виде
Q, ' (2)
так что символ выражает тот же факт, что и =>, по соединя-
■ет объекты разной природы так же, как это делает символ (=§
в соотношении ц €= Q (слева в ( 2 ) стоят случайные величины,
л справа — распределение).
Пусть т)п и т] есть случайные векторы из R*.
Т е о р е м а 2 (вторая теорема непрерывности). Если Г|т1=^т|
и H it), t ^ R * есть непрерывная функция из R* в Ilk, то Н (цп)=$-
=>- Н (tj).
Отметим, что эта теорема на самом деле верна и в более об­
щей форме*): Если т]7г=^г) и Hit) непрерывна в точках множе­
ства А е 59% Р(т] е А ) = 1, то II (rjft) =Ф- Я (tj).
Д о к а з а т е л ь с т в о т е о р е м ы 2. Пусть Qri и Q есть со­
ответственно распределения т]п и ц. Слабая сходимость
означает по определению, что для любой непрерывной и ограни­
ченной функции /: R ~ ^ R выполняется

J / (У) Q« №у ) J / (У) Q (fJy),

*) Подробнее об этом см. [5].

 ТЕОРЕМЫ НЕПРЕРЫВНОСТИ 83

или, что то же самое,

М/Ы-М/(Г)). (3)
Аналогичное соотношение мы должны получить п для рас­
пределений H(r\J и Н{ц). То есть, мы должны установить, что
для любой непрерывной ограниченной функции g : R h -> R спра­
ведливо Mg'(Я (т]п))-> Mg (Я (rj)). Но это очевидным образом
следует из (3), так как суперпозиция g g ° Я: R s ->■ R непре­
рывна и ограничена. <3
Т е о р е м а 3 (третья теорема непрерывности). Пусть т]г1
=^т\ ^ R , H ( t ) , t ^ R , есть функция, дифференцируемая в точ­
ке а. Тогда если Ъп -> 0 есть числовая последовательность, то
(Я (а + М п ) - Н (а))1Ьп =>- г)Н ' {а). (4)
Д о к а з а т е л ь с т в о . Рассмотрим функцию
* [(Я (а + х) — Н (а))1х, хф О ,
(Х)~
(Н
а)'\ , ж = 0,
которая будет непрерывной в точке х = 0. Так как bn\)n =>■0, то
в силу первой теоремы непрерывности Ь(Ьпцп) ^ к ( 0 ) ~ Н '(а).
Пользуясь второй теоремой непрерывности, получим
(Я (а + Ьпг\п) — Я (а))/Ьп = /г (Ь„г|г1) т|п =^Я' (а) ц. <3
Мы приведем теперь два последовательных обобщения теоре­
мы 3 на многомерный случай, которые будут нам полезны.
Т е о р е м а ЗА. Пусть цп= (цп1], . . . , } ) => т) = ( ц (1 , . . . , tj(s) ),
H i t ) — сксупярная функция вектора t — ( t t, ..., t s) такая, что
существует производная Н ' (t) == • • •, -§Г~) в точке а. Тогда
при Ъп О
S

(Я (а + М » ) - Я (а.))/Ь„ =!>Г)(Я' (а))т = 2 " Т Т 1 П<Л- (5>

.7 = 1 3

Здесь индекс Т соответствует транспонированию.

Если г](Я '(а))г = 0 с вероятностью 1 (например, H'ia) — 0),
« матрица Н " it) производных существует в точке а, то
г j

(Я (а + М » ) - и («))/&» =s- J -ПД-" (а) t f = у 2 Ф ф п ' V й.

i,j=l i 1
(6)
Пусть теперь Я(£) — векторная функция. Тогда, очевидно,
предельпое распределение для каждой компоненты Я 3 будет
описываться теоремой ЗА, а относительно совместного распреде­
ления будет справедлива
^ А. А. Боровков
34 ВЫБОРКА, ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. I

Т е о р е м а ЗВ. Пусть T\n = ^ r [ ^ R s, H { t ) ^ R h— векторная

функция такая, что производные j’= 1, . . /с, удовлетворя­
ют условиям теоремы ЗА. Тогда
(Я (а + &„г|„) — Я (a))/bn =ф- т) {ТГ (а))т.
Если ц(Н '(а))т= 0 с вероятностью 1, а матрицы H j, ] = 1 , . . k y
существуют в точке а, то
{II {а + bnr\n) — I I (а))/Ь?г=>-j (цП1 (а) цт, . . . , ц111 {а) х\т).

Д о к а з а т е л ь с т в а этих утверждений по существу пичем

ие отличаются от доказательства теоремы 3, и поэтому мы пред­
ставляем их читателю в качестве упражнений. Кроме того, мы
предлагаем убедиться, что символ => в (4)—(6 ) можно замепить
на — >■ или — если соответственно выполняется т]п— >- г\ или
и. и. Р п .н .
й» - > 11.
р
Содержание теорем 1—3 можпо резюмировать следующим об­
разом. Пусть означает один из символов — Тогда
п .н . Р
если Н непрерывна, то из цп Л следует Я(т)п) Я (г)).
Если Я дифференцируема в точке а, т)п ->-г), то для Ьп -*■ О
(Я {а + М п ) — Я (а))/Ъп Н ' (й) tj. (7)
З а м е ч а н и е 1. Нетрудно видеть, что если а зависит от п
так, что а ап = а0 + о(1), и производные в теоремах 3, ЗА, ЗВ
непрерывны, то соотношение (7) сохранится в форме
(Я {ап &„т|п) — Я {an))/bn Н ’ (й0) т|. (8)
Для доказательства достаточно заметить, что левая часть ( 8 )
представима в виде Я (а„)ц„, гдеa n = Qan -j- (1— 0) (an + b7,rjn)~>*
ffo> | 0 | < l,u воспользоваться второй^теоремой непрерывности.
То же самое замечание справедливо для многомерных анало­
гов этого утверждения в теоремах ЗА, ЗВ.
Сформулированные теоремы касались сходимости почти на-
верпое и сходимости распределении. Четвертая теорема непре­
рывности относится к сходимости интегралов.
Т е о р е м а 4 (теорема непрерывности для моментов). Пусть
{г]Д — последовательность числовых случайных величии и г)п=^ Ц
при п -*■ Тогда, если выполнено хотя бы одно из следующих
условий’.
оо

1) lim sap f Р (1 tjb 1Г> х) dx - v 0 п р и N - * o o ,

до
со

2) Р ( | т]„ | > л ) < ср {х), j ср (х) dx С оо,

о
■§ 6] ЭМПИРИЧЕСКАЯ ФУНКЦИЯ РАСПРЕДЕЛЕНИЯ К АК ПРОЦЕСС 35

3) М |т|„ |1+ а < с < о о для некоторого ос>>0 ,

то lim Щ п = Мц.
71—> оо
Отметим, что условие 1 означает равномерную по п сходи-
со

мость к нулю J" Р ( | Т]1г| > х) dx при N -*■ 00.

N
Д о к а з а т е л ь с т в о . Из обобщенного неравенства Чебышева
М | Пп |1+а
F ( 11]п 1> ж X Д“Г06
следует, что условие 3 влечет за собой 2. В свою очередь, усло­
вие 2 влечет за собой условие 1.
Пусть выполнено условие 1. Для простоты- рассуждений пред-,
положим сначала, что г]п ^ 0 . Тогда, интегрируя по частям, по­
лучим
оо ' оо

Мцп — — f X dP (rjn > х) = J Р (т|п > х) dx.

о о
ТТз этого представления, нз сходимости Р(т)„ 5 ех ) -*■ Р(ц ^ х) для
почти всех х и из равномерной по п сходимости интеграла
оо f

I Р ("Пп ^ х) dx следует законность предельного перехода под

о
знаком интеграла, в силу которого
оо оо

lim Мт|п = lim j*Р (rjn ^ х) dx = [Р (т| ^ х) dx — Мц.

П -* о о 11- * с о q q

В общем случае следует воспользоваться представлением

Т]п = Чп — Чп , где rjn = max (i]n, 0), г|?7 = max (— rjn, 0). <]
Отметим, что условие 1 можно рассматривать также как ус­
ловие равномерной интегрируемости тр,, нз которой немедленно
следует требуемая сходимость М —>- Mrj (см., например, [111,
1421).

§ 6*. Эмпирическая функция распределения

как случайный процесс. Сходимость к броуновскому мосту
В этом параграфе мы будем предполагать известным понятие
случайного процесса (скажем, в объеме t i l l ) и, в частности,
«определения и простейшие свойства вииеровспого и пуассоиоа-
ского процессов.
1. Распределение процесса nF*(t). Ограничимся рассмотр
нием одномерного случая = R. Пусть, как и прежде, (I) =
= Р* ((— °°, t)) есть эмпирическая функция распределения, со­
ответствующая выборке X — Х п {==Р.
3*
36 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ ДГЛ. 1

Функция F* (t) есть функция двух переменных: I и X, или,

что то же, случайная функция от t или случайный процесс.
Найдем конечномерные распределения этого процесса. Пусть
ti < t2 < . . . < t m— произвольные т точек числовой оси. Положим
f0 = —оо, t m+i = оо и обозначим
Ajg = g(tj+1) - g ( l j )

приращения функции git) па полуинтервалах Д, = [£,-, tj+,), / =

= 0, 1, т. Рассмотрим приращение Д;ЛП процесса

я п (t) = nF* (t).

Очевидно, это есть число элементов выборки, попавших в

Вероятность попадания одного элемента выборки (скажем, х (>
в равна р} — Р(Д,-). Так как попадания в Д^, j = 0, 1, ..., т у
представляют собой т + 1 несовместных событий, то мы, оче­
видно, имеем здесь полиномиальное распределение (см. [ 11],
стр, 111) для вектора (Д 0я«, . . . , Д,„лп) с вероятностями
. . pm, 2 Pi = 1 . Как известно,
3=0

где 2 Ь = п.
Пусть теперь ц(аХ, и е [ 0 , 1], есть непрерывный, слева пуассо-
новский процесс (см. [11], стр. 304) с параметром ц(0) = 0.
Приращения этого процесса независимы,

Если функция распределения E ( f ) = P ( ( —°°, £)) непрерывна,

то мы можем сделать непрерывную замену времени, положив
u = F ( t) , —o o < t < ° ° , и определить тем самым процесс л it) =
= ц(ЕШ ) на всей оси. Рассмотрим приращения этого процесса
Д;Л = я(£,+ 1) —тс(/3) = т] (F(t}+1)) — r\(F(tj))

на интервалах Д5. Тогда

= Л " П
3=0 з

д условная вероятность тогЬ же события при условии я (оо) =*

 ЭМПИРИЧЕСКАЯ ФУНКЦИЯ РАСПРЕДЕЛЕНИЯ КАК ПРОЦЕ.СС 37

= 2 Д^-л = п будет равна

3=0

= = * о , • * * > Д т п Л = A ’jjj Д з 'Л := / 7- ^ =

— Р (А0Л У - ' У кт) _ р (Д л — £ Д я —А ) ^ =,

~ Р (Л (оо) = п) ~ ^ 0 “ ° ’ * ’ ** Ш ~ т> ХП
т Jki

= » !3=Пео 4 гг - (2)
Мы получили при любом %> 0 то же самое выражение, что и в
правой части (1). Таким образом, мы доказали следующее ут­
верждение.
Т е о р е м а 1. Если Fit) непрерывна, то распределение про­
цесса nFn ( i t ) совпадает с условным распределением процесса
nit) = rj(FU)) при условии зт(оо) = п (г](1) = п ).
Теорема показывает, что отклонения п рас­
пределены так же, как r\iFit)) — nFit) при условии т)(1) = тг,
и задача с точностью до замены времени и — Fit) сводится к
изучепию отклонений г\{и) — пи для условного (71( 1) = п) пуас-
соновского процесса на отрезке [0, 1] или, что то же, к изуче­
нию отклонений n { F * ( t ) — t ), где F* (t) соответствует равно­
мерному на [0, 1] распределению.
Полезным бывает и другое представление для процесса
nFn {t). Пусть £ 1, £2, - — точки скачков пуассоповского процес­
са T]U), так что ц ( £ ь + 0) = А. Как известно ([11]), разности
%к= £h— £ь- 1 ( £ 0 = 0 ), к = 1, 2, . . . , независимы и показательно
распределены,
Р ( |* > я ) =е-**,
£д имеет Г-распределение с плотностью (см. также § 2.2)
/ \ tJ1 —%х h—1
(%) — р е х ,

Чтобы упростить формулировки, предположим, что F(t) — t, f e

е [0, 1], t0 = 0 , tm+l = 1, так что Y]it) = nit).
Т е о р е м а 2. Распределение процесса nFn{t) совпадает при
любом v > 0 с условным распределением процесса nitv), 0 < t <
< 1, при условии £„+i — V. 4
Другими словами, утверждение теоремы 1 сохранится, если
условие л ( 1) = /г заменить значительно более узким условием
л ( 1) = п , л (1 + 0 ) — тг+ 1 (мы считаем, что траектории nit) не­
прерывны слева).
Поскольку вероятность этого нового условия равна 0, то, воз­
можно, следует добавить (см. §§ 4, 8 в [ Щ об условных мате­
S8 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. I

матических ожиданиях, а также § 2.9), что под условным рас-*

пределением мы понимаем вероятности
р /д№ _ v\ __ F (^; £»+ig dv)

где А = {A0n(tv) = ко, » . Ат л ( Ы = кт), Д, я(tv) = n(tj+lv) —=

— nitjv).
Д о к а з а т е л ь с т в о . Событие (^n+iе dv) представим в виде
произведения двух событий
B = {jiiv) = n} и С — ( я(н + dv) — я(н) = 1}.
События В и А В не зависят от С, так как события В и А В,
с одпой стороны, и событие С, с другой, относятся к прираще­
ниям процесса л на непересекающихся интервалах времени.
Поэтому
Р ( A /U +l= V) = 1 Р ТЩ -= 7 ^ =
Точно так же, как в (2), убеждаемся, что это выражение от v
(как и от к) не зависит и совпадает с ( 1). <1
С л е д с т в и е 1. Распределение процесса nFn (t) совпадает
с распределением лС£п+1), 1.
Это вытекает из того, что для В = {Д0я(Д;,1+1) = к0,
. . . , Д7„ я (^ „ +1) = кт) имеем в силу (3)
Г - АЧ
Р {В) = J Р (A/Zn+ 1 = v) Р (Сп+1 s dv) = nl П X f .

Из следствия 1 вытекает
С л е д с т в и е 2. Совместное распределение элементов вари­
ационного ряда х ()), . . х (п) выборки X из равномерного распре­
деления совпадает с совместным распределением
Сх Jn _
Sn+l ’ £n+l ’

и ли, что то же, совместное распределение разностей x (J), х (2) —*

—х(1Ъ x {n) —x (n_i), 1 —х{71) совпадает с совместным распре­
делением
^1 ^п+1
=п+1 »п+1
В заключение этого раздела найдем моменты второго порядка
для приращений процесса n ( F * ( t) — F (t))m Нам будет удобнее
иметь дело с процессом
w " ( t) = У п { К (t) - F ( t j ) .
Очевидно, что, MAj/vn — О, М ( AjWn)z = AjF (1 — AjF). Для
 ЭМПИРИЧЕСКАЯ ФУНКЦИЯ РАСПРЕДЕЛЕНИЯ К А К ПРОЦЕСС 39

вычисления смешанных момептов заметим, что i i ^ j )

71

М(Д, » " - V ) = 1 2 M(IIk(Ai) - P ( 4 i ) ) ( I , I(A ,)-P (A j)) =

M= 1
1
п

= V 2 l М 1хй (Дi) (ДД — I* <д,) p (Ai) I.

fc,I= 1
Так как

MIxj(Д>)Ix,(Aj)={[О[P( (A*) P (Aj) при к ф

при к — I,
11

то M (AiU?n . Д,-и>п) = - P (Ai) P(Aj) - - A iF-A jF.

Таким образом, приращепия процесса wn отрицательно кор-
релированы.
2. Предельное поведение процесса wnit). Мы будем считат
что Fit) непрерывна. Из п. 1 следует тогда, что мы можем ог­
раничиться рассмотрением равномерного на [ 0 , 1] распределения
Fit) = £ , 0 < t < 1.
Обозначим через wit) стандартный винеровский процесс, т. е.
процесс с независимыми приращениями, для которого wit) рас­
пределено нормально с параметрами (0, t). Процесс
w°it) => wit) — twi 1)
называют броуновским мостом (по той причине, что у пего за­
креплены оба конца: w°iO) — ш°(1) = 0). Распределение этого
процесса совпадает с условным распределением процесса wit)
при условии ш(1 ) = 0 (более точно, надо взять условие 1нЧ1)1 <
< е и перейти к пределу при е 0 ).
Оказывается, что конечномерные распределения процессов
wn ( t ) = У п ( F l{ t) — F ( t) ) t f e=[ 0,1],
сходятся при п ->■ оо к соответствующим распределениям броунов­
ского моста w°it).
Этот факт позволяет приближать процессы wllit), которые
называют иногда эмпирическими процессами, с помощью процес­
са w°it). Именно, мы можем представлять себе, что при боль­
ших п имеет место приближенное равенство
Vn{F*n (t) — F { t ) ) & w ° { t) , (4)
описывающее распределение уклонений Fnit) от Fit) (напомним,
что мы считаем здесь Fit) — t, t e [ 0, 1]).
Однако утверждение типа (4) нам понадобится в более силь­
ной форме. Рассмотрим, например, статистику U — V п sup (F*it)—
t
— F(t)). Высказанное утверждение делает естественным пред­
 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. 1

положение о том, что при больших п случайная величина U

приближенно распределена так же, как sup w° (t). Однако из
0<К 1
нашего утверждения это никак не следует, поскольку U нельзя
представить как функцию от значений wn (t) = Y n
в каком-либо конечном числе точек. Поэтому существенно более
сильным является следующее утверждение.
Обозначим через Dia, b) пространство функций на отрезке
[я, &], непрерывных слева (в точке а справа) и имеющих лишь
конечное число скачков, и через Cia, b) пространство всех непре­
рывных на [а, Ъ] функций. Очевидно, что траектории wnit) при­
надлежат DiO, 1). Кроме того, известно (см. [Ц ], гл. 13), что
траектории w°it) принадлежат 0(0, 1) с вероятностью 1. Для
простоты мы можем считать, что все траектории wit) и, следо­
вательно, w°it) лежат в 0(0, 1) (см. [11]). Поскольку 0(0, 1)
с=/)(0, 1), то (ZX0, 1), g d ), где o D есть о-алгебра подмножеств
из ZX0, 1), порожденная цилиндрическими множествами*), мы
можем считать выборочным пространством **) процессов wn и ш°.
Т е о р е м а 3 (функциональная предельная теорема для эм­
пирических процессов). Пусть / — функционал, определенный на
пространстве D{0, 1) и обладающий следующими свойствами:
1) f iw n) и }(w°) являются случайными величинами (г. е. Jiy)
осуществляет измеримое отображение {D(0, 1), oD) в (Я , 39));
2 ) fiy ) есть функционал, непрерывный в «точках» простран­
ства С( 0, 1) относительно равномерной метрики, т. е. f i y a) fiy)
при п -*■ оо, если у £=С(0 , 1) и р (уп, у) — sup | у п (*) — у {t) \ 0.
Если эти условия выполнены, то
fiw n) ^ fiw°).
Если функционал / непрерывен в равномерной метрике в любой
точке у ^ D{0, 1), то условие 1) выполняется автоматически.
Очевидно, что функционал U, рассмотренный выше, удовлет­
воряет условиям теоремы, так что при п -*■ °°
U =Ф- sup w° Ц).
0 « f< l

Поскольку распределение правой части в этом соотношении

можно найти в явпом виде (см., например, [51, [58]):
Р ( sup w° it) > z\ — e ~~2z2,
vo«<i /
то мы получаем таким образом приближенное выражение для
распределения U. -
*) То есть, множествами вида { i/( [ i) e D i, , . . , . j/(A,„) ^ Dm}, где
В и ..., В,п — борелевские множества.
**) (D0, о) есть выборочное пространство процесса £ ( t ) , если на нем
задано распределение процесса 1, так что траектории £ (t) лежат в Da.
§ 7] ПРЕДЕЛЬНОЕ РАСПРЕДЕЛЕНИЕ СТАТИСТИК ПЕРВОГО ТИПА 41

Использование теоремы 3 для вычисления предельного рас­

пределения других статистик рассмотрено в последующих пара­
графах.
Доказательство теоремы 3 отнесено нами в Приложение II.
§ 7. Предельное распределение
для статистик первого типа
Напомним, что статистиками первого типа мы называем ста­
тистики S n (X) = G (F*), где функционал G имеет вид G (F) =
= h (J g (х) dF (ж)). Другими словами,

Sn(X ) = h ( г 2 s (Xi)
ч i=i
Мы уже видели (теорема 3!l), что если X^=F0 и h непрерывна
в точке \ g (х) dF0(x), то S n— >h(a).
П .П .
Т е о р е м а 1. Если X(==F0, h дифференцируема в точке а,
J* g2(z)d F 0( x ) < o o , то
V п (,Sn (X) — h (а)) =ф- h ‘ (а) £,
где £<§ёФ0о2, <*2 — J ( g ( # ) — a)2dF0 (x). Ф о 2 здесь означает пор- *
лальное распределение с параметрами (0 , а2).
Д о к а з а т е л ь с т в о . Статистику S n(X ) представим в виде

/г

где по центральной предельной теореме (см. [ 11])

я» = А ; 2 (е (х0 - «) V -
Г г= 1

ст2 = М (g (хД — а)2 = J {g (х) — a)2 dF0 (х).

Остается^ воспользоваться третьей
К = 1/Ьь. <]
Иногда функционалы первого
виде G (F) — h ( J g (х) d ( F — F 0)j.
храняется и для них с той лишь
жить равным 0.
Приведем аналог теоремы 1
g = (g“i, . . . , gs) есть вектор (т.
...,j gs (аОсЩг))).
теоремой непрерывности при
типа удобнее рассматривать в
Очевидно, все сказанное со­
разницей, что а следует поло­
для случая, когда функция
е. G (F) =? h (J gt {x)dF (х), . . .
42 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. 1

Теорема 1А. Пусть S n (X) = G {F*), hit) дифференци­

руема в точке а = j g (х) dF0 (х), а матрица вторых моментов о2 =<
= I °ij II = М (g (хх) — a)T(g (хх) — а) конечна. Тогда
S

( 5 „ (X) - h («)) У п ^ | ( = 2 ^ - №
j-= l 3

где I = (glf L ) i O 0iO!.

£(/г/(а))т = 0 с вероятностью 1, а матрица вторых про-
д~ II
изводных h" (I) = ■■dt ~д h (t) I существует в точке а, то
г з

(Sn (X) - h (а)) п ± %h" (а) ? = 4 2 U i.

г,j=l * i
Для доказательства теоремы 1А следует воспользоваться тео­
ремой непрерывности 5.3А и многомерной центральной предель-
1 хч
ной теоремой, в силу которой — 2j (ё (х 0 — а) (см. При-
V п г=1
ложение V).
Совершенно аналогично выглядит теорема о предельном рас­
пределении S ni X ), когда функция h, а вместе с пей и статистика
S niX), являются векторами. Читатель без труда воспроизведет
ее формулировку и доказательство с помощьютеоремы 5.3В.
П р и м е р 1. Пусть Х#§Р„ и Р„ таково, что M x j ^ a ^ O ,
Dx 1 =c ? 2 < [o o # Что из себя представляет в этих условиях пре-
- 1 V* \
дельное распределение статистики S = 1/х ( ~ I х = — JV I? Усло­
вия теоремы 1 здесь, очевидно, выполнены при h i t) =■ 1/f, gix) —
= ж, при этом а = а, о2 = d,2, hia) — 1/a, h ri a ) = —1 /a 2. В силу
теоремы 1
(S - 1la) У п = > - Hof, 1g Фм „

так что
{S — 1/a) l / n §=> ф 0>сг2/а4. ‘
П р и м е р 2. Найдем предельное распределение статистики

s 3= 4 2 ( x* - * ) 2.
i —1
если Mx1 = a , Dxx = d 2 и Mxi < oo. (Мы уже знаем, что в силу
первой теоремы непрерывности/? 2—- d2.) Найти требуемое пре-
П.Ц.
 ПРЕДЕЛЬНОЕ РАСПРЕДЕЛЕНИЕ СТАТИСТИК ПЕРВОГО ТИПА 43

дельпое распределение нетрудно непосредственно, воспользовав­

шись представлениями
п

s- = ~ 2 ~ а 2 ) — ( х — а )2>
г~ \
п *

(S* — d2) Y 7i =
* 2 Kxi — а )2 — d2l — V n (х — а ) 2.
У 11 i==1
Одпако мы воспользуемся теоремой 1А. В условиях этой теоремы
мы должны положить

G (F) — J (х — a)2d F (ж) — (J х d F (я) — а)2,

так что g t i x) — i x — a ) 2, g 2i x) = х, h i t ) = t i —i t2 — а ) 2. Поскольку
в точке а = id1, а)
5 /г ( а ) . d h (а ) _ л

ТО
(S 2 - й2) / п = > - 1, Ш Ф 0,,„ = М (х, —а ) 4—й4.
П р и м е р 3. Статистика х2- В заключение этого параграфа
мы рассмотрим пример статистики, которую можно относить к
статистикам как 1, так и И типов.
Рассмотрим статистики, построенные с помощью функциона­
лов вида
е (Г ) = л ( 1 г й г ) , (2>

где g есть фупкция ограниченной вариации на отрезке [а, &]

таком, что Fia) = 0, Fib) — 1 (а и Ъ могут быть бесконечными).
Так как J g d F ~ g ( b ) — j* F dg, то функционал G iF ) будет непре­
рывным в равномерной метрике, если только непрерывна функ­
ция h. Нетрудно понять, что выделенный класс статистик пред­
ставляет собой пересечение классов статистик I и II типов.
То же самое справедливо в случае, когда g есть векторно­
значная функция с компонентами g u имеющими ограниченную
вариацию.
Рассмотрим теперь разбиение вещественной оси (пространства
§6) па непересекающиеся интервалы AIf . t., Дг и обозпачим
Vi = иРп (ДО, Pi = Ро (ДО (Ро есть распределение, соответствую­
щее F0, так что X Р0). Статистикой «хи-квадрат» у 1 = уЧХ)
называют статистику
V (Vi _ ”pi f
44 ВЫБОРКА, ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. 1

Очевидно, что это есть статистика II типа, так как она

с точностью до множителя п соответствует функционалу

о ( п = с , (Р )= i (p (Ai ~ pf Ai))a.
t l о V i)

Чтобы представить %2(Х) как статистику I типа, рассмотрим

функционал вида (2 )
*

G(F) = h ( $ g d ( F - F 0))
г
с функцией h (и) = 2 и] и векторной функцией g с координатами
5--1

= f i / V p i при ж е Aj,
ёз (*)
[О при х ф A j.

Так как функция h дифференцируема, ~ да-(<>)- = 0,’ ди^ди- = 26{J

( 6,j — символ Кроиекера), то, положив S n (X) = G (P*), мы
получим

nS„(X)« „2 [(4 - Pi) J =X2(Г).

При X €==:Р0 в силу второй части теоремы 1А

x*(X )= *-S 5j. (3)

j= 1

где | — (£t, . .., lr) есть пормальпо распределенный вектор (пре­

Vr — ПРг \ \
дельный для 1 с нулевым средним и с
1 V nPi V*pr )
матрицей о2= lloyil вторых моментов,

° » = т & = М Ы х г ) - Y P i ) { g j (x jl) — V P j)

(из определения g} следует, что M g j C x ^ ^ V Pj)- Так как

gi(x)g}ix) = 0 при 1 Ф ] и р (gj (Xi) = 1Ipj) = Pj, P (gj (xA) = 0) =
«= 1 — P j , TO ____
P iP j .
I
Выясним теперь, что из себя представляет распределение пра­
вой части в (3) (т. е. предельное распределение %2{Х)).
§ 7] ПРЕДЕЛЬНОЕ РАСПРЕДЕЛЕНИЕ СТАТИСТИК ПЕРВОГО ТИПА 45

Рассмотрим ортогональное преобразование в R r с матрицей С

и рассмотрим вектор
ri = I C i
Вектор г), так же как и будет нормально распределен. Дейст­
вительно, нормальность величины £ означает, что ее х. ф. равпа
(см. [ 11]>

Me — е2 .

где о2 = ИощИ есть матрица вторых моментов. Но х, ф. для ц

..Г - ,п Т ь Т ~ ~ tC T a * C tT
Me = Me 6 = е *
имеет тот же вид и, следовательпо, rj есть нормальный вектор,
но с матрицей вторых моментов cf = C tgzC — lld yll, так что
С IhPhj - Cli (Sik — V piph)
h ,l к ,I

= 2 cn cn — ( 2 си V piJ ( 2 V pft)- (4)

Выберем теперь матрицу С так, чтобы ее первый столбец имел
координаты Си = tpi (это соответствует фиксированию первого
вектора преобразованной системы координат и возможно, так как
2 = 2 р г = 1 )■ Тогда, очевидно, второе слагаемое в (4) в
.i= i /
силу ортогональности С равно 1 лишь при i = / == 1 п равно О
в противном случае. Это означает, что dn — Mr]i = 0, dij =
= М г)^ = бу при i > 2, и, следовательно, tj±= 0 с вероят­
ностью 1, а величины г)2, ..., цг независимы и нормально распре­
делены с параметрами (0, 1). На основании ортогональпости С
получаем

2 Й = 2 ч! = 2 “»ь?.
5=1 5=1 5=2 (5)

х 8( х ) = * 2 п?.
5=2
Распределение правой части в этом равенстве называется распре­
делением («хи-квадрат») с г —1 степенями свободы (см. t l l i ,
а также § 2.2). Мы будем встречать это распределение в после­
дующем изложении неоднократно.
Еще одно доказательство (5) будет получено в следующем
параграфе. Кроме того, (5) будет доказано в § 3.16 с помощью
более общих соображений.
Некоторые другие примеры использования теорем 1, 1А будут
содержаться в последующих главах»
46 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. t

§ 8 *. Предельное распределение
для статистик второго типа
Мы ограничимся здесь случаем $6 — R. Рассматриваемый
функционал G{Fn) будет случайной величиной, если он осуще­
ствляет измеримое отображение (ZX— °°), aD) в (/?, S9). Однако
в дальнейшем нам будет удобнее иметь дело с функционалами,
определенными не на Z>X—°°, °°), а на ZXO, 1) (ср. с § 6 ).
Для того чтобы это сделать, устроим отображение D{— оо)
в D (0, 1). Пусть функция распределения F,„ соответствующая
выборке, непрерывна и монотонна, так что определена обратная
функция /'У 1G) (равная квантили F0 порядка £). Нам достаточно
будет рассматривать значения G{F) для функций F, носитель
которых содержится в носителе F0. Каждой F мы поставим
в соответствие функцию

Очевидно, что Лг~ сг [0, 1], где есть носитель F, так что
F e Z ) (0 , 1) и есть функция распределения. Обратное преобразо­
вание D{0, 1) в D (—оо, оо) осуществляется равенством
F ( u ) = F ( F 0{u ))s * F F 0b ) .
Поставим теперь в соответствие функционалу G функционал Gy
определенный па функциях распределеппя H ^ D { 0, 1) (NH~
— [0 , 1]) равенством
GUI) = G(HFo). ' (1)
Обращение этой формулы имеет вид

Эти равенства сводят изучение функционалов G(F) к изучению

функционалов GUI), определенных на функциях распределения
из Z)(0, 1). В силу этих равенств
(2 )

Здесь
D l = F*nF~x (3)
есть пе что иное, как эмпирическая функция распределения вы­
борки из равномерного на [0, 1] распределения. Действительно,
согласно теореме 6.1 процесс nD*i(t) = nFn {F0 1 (t)) имеет то що
распределение, что и пуассоновский процесс я ( F 0( F 01 (t))) —
= я(£), £ е [ 0 , 1] (с параметром %> 0 ) при условии r t ( l ) = w,
В силу той же теоремы 6.1 это доказывает требуемое утверж­
дение.
 ПРЕДЕЛЬНОЕ РАСПРЕДЕЛЕНИЕ СТАТИСТИК ВТОРОГО ТИПА 47

Сказанное означает, что пзучепне G (F*) сводится к изучению

функционала G от эмпирического распределения, соответствую­
щего равномерному на [ 0, 11 распределению.
П р и м е р 1. Пусть GiF) = t,p есть квантиль порядка р функ­
ции распределения F. Тогда GiH) = GUIF^) есть квантиль поряд­
ка р функции распределения HF 0 или, что то же (предположим
для упрощения, что Н непрерывна), решение уравнения
H(F0{t)) = р, равное F ^ 1 (р)). _
Это значит, что выборочная квантиль Ср =
(см. (2), (3)) выборки X £= F 0 есть не что иное, как значение
функции F~x от выборочной квантили т]р = ( D * ) 1 {р) порядка
р выборки Y из равномерного распределения.
Следовательно, если нам удастся найти предельное распреде­
ление т)р, то предельное распределепие Ср можно будет полу­
чить с помощью теорем непрерывности.
П р и м е р 2. Рассмотрим функционал G (F) = sup | F (t) —
— °о < t < о о

— а д | . В этом случае
G (A ) = G(ffF„) = sup \H(F0(t)— F0(i)| = sup — uj,
—oo<f<oo «£=[0,1]
так что
G i Fn) = G (D*) = sup |d ; (и) — и I,
ti€[0,l]
и в соответствии с содержанием § 6 р а с п р е д е л е н и е с т а т и ст и к и
G{F*) н е б у д е т от F0, е с л и F0 н е п р е р ы в н а . П эт о м
за в и с е т ь
G{F*) можно н а зы в а т ь и н в а р и а н т н о й о т н о с и ­
см ы с л е с т а т и с т и к у
тельн о неп реры вн ого р асп р ед ел ен и я вы борки.
П р и м е р 3. Функционал
оо

G(F) = J | F ( t ) - F 0(»)l\tfV(*)
— ОО

такж е порождает статистику G (P*), инвариантную относитель­

но F о, так как
1 г
G (Я) = J | Н(и) - и|*
о о

П р и м е р 4. Рассмотрим функционал

G(F) = 2 (^ £ .
j=1 30
где AjF суть приращепия функции F на интервалах Aj — [th iJ+{),
образующих разбиение вещественной прямой. Очевидно, что
48 ВЫБОРКА ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. i

nG{Fn) есть ие что иное, как статистика %2, рассмотренная

в примере 7.3 в качестве статистики I типа.
Имеем

G (Н) = G (HF0)
j -*•
где
AjIIF о = H(F0{tj+l)) - H i F M ) = №
6; # есть приращения II па интервалах 6, = 1т,-, t j+1) , Tj = F0{tj).
Стало быть, обозначая той же буквой 6j длину интервала
мы получим
Г
G ( I Q = G ( F X ) = G (D'n) = s (b ,D l - bjY/Sj.

Правая часть здесь есть статистика п~1%2 для выборки Y из

равномерного распределения с разбиением (бД. Это значит, в
частности, что в примере 3 предыдущего параграфа мы могли бы
ограничиться рассмотрением равномерного распределения F0, хо­
тя сама по себе статистика %2 не является инвариантной относи­
тельно F 0.
Таким образом, мы можем не ограничивая общности считать,
что функционал GiF) задан на ZXO, 1) и F 0(£) = £, £ е [ 0 , 1].
Переход к «исходным» функционалам осуществляется по фор­
мулам ( 1), (2 ) и будет проиллюстрирован иа дальнейших при­
мерах.
Д ля того чтобы можно было найти предельное распределение
для функционалов второго типа G ( F *), необходимо, как и в
предыдущем разделе, наложить на функционалы некоторые усло­
вия гладкости.
Положим для краткости |!жI = sup I х (t) |.
0<t<l
О п р е д е л е н и е 1. Функционал G(F) называется непрерыв­
но дифференцируемым порядка к в точке F 0, если существует
функционал g(Fg, п), который для любой функции v ^ C (0, 1)
и любой последовательности vh^ D { 0 , 1) такой, что Wvh—n i l О
при h *+■0 , удовлетворяет соотношениям

(4)
' g(F<>, vh) - * g { F 0, v).
Последнее соотношение означает, очевидно, непрерывность в
равномерной метрике в точках из С(0, 1) функционала g(F0, н),
который можно называть п р о и з в о д н о й п о р я д к а к от G по н а п р а в ­
л е н и ю V.
З а м е ч а н и е 1, Напомним, что здесь везде под F0 можно»
понимать равномерное на [0 , 1] распределение.
 г
§ 81 ПРЕДЕЛЬНОЕ РАСПРЕДЕЛЕНИЕ СТАТИСТИК ВТОРОГО ТИПА 49

Покажем, что в примере 1 функционал G(F) = F~4p) от рас­

пределения F на [0, 1] непрерывно дифференцируем в сточке»
F0{t) = £, *е=[0, 1].
Действительно, по определению
GiFo + hvh) = max it: F0(t) + hvh(t) < p>.
Так как этот функционал является непрерывным в равномерной
метрике в точке F 0, то мы можем положить G{F0~\- hvh) = р + б,
где б = 6 Ш -> 0 при h -> 0. Далее, из соотношения Нгл — Ы1 -> О,
v ^ C ( 0, 1) следует |пл(р + 6 ) — гл(р)| е= r(h) -> 0 при Л- >0. Т ак
как F 0(p + 6) = p + 6 , то для £ — G{F0+ pvh) = р + б получаем
F 0(£) + kvh(t) = р + б + hvh(p + б) = р + б + h(vk{p) + тг(Л)) ^ р,
где 1 x 1^ 1. Аналогичное обратпое неравенство можно написать,
пользуясь тем, что F 0(£ + 0) + hvh(t-{-0) ^ р. Отсюда следует, что
б= — h L v h i p ) ' .+ тхЛ Ю ) , ItJ < 1, так что
G{F0 + h v ) - G ( F 0) 6 . , ,
h ~ h
Таким образом, производная g{F0, v) в этом примере равна
g(FBl v) = —v(p). <1 (5)
В примере 2 функционал G (F )~ sup | F ( £ ) — F 0 (/)|, оче-
видно, также является непрерывно дифференцируемым по любо­
му направлению, так как G(F0) = 0,
G (Рл + hv\
g{F 0,v) = ------= sup | v (£) J.
n *e[o,il
l
В примере 3 функционал G { F ) ~ J | F ( £ ) — F0 (£) |ft dR (£) для
о
любой функции ограниченной вариации R(t) является непрерыв­
но дифференцируемым (Анго порядка) по любому направлению,
так как

К (О. V) = - ^ ± *1 = J | (() I”(<).

О
Аналогичное утверждение справедливо относительно приме­
ра 4 о функционале

6 (0 = 2
3=1 3 0

который будет непрерывно дифференцируемым второго порядка,.

4 А. А. Боровков
50 ВЫБОРКА, ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ* [ГЛ. I

так как для него

п 3=1 з О
Обобщением функционалов в примерах 2 —4 являются функ­
ционалы вида G(F) = Gt(F — F0), где функционал Gt является
однородным в том смысле, что GiUiv) — hkG{v). Очевидно, все
такие функционалы будут дифференцируемыми.
Сформулируем теперь основную теорему о функционалах вто­
рого типа. Пусть по-прежнему F0(t) s £, £ е [0, II.
Т е о р е м а 1. Если X ^ F 0 и функционал G(F) дифферен­
цируем (порядка к) в смысле определения 1, то

где ю° есть броуновский мост.

Д о к а з а т е л ь с т в о . Известно (см., напрнмер, [51), что ком­
пакты в метрическом пространстве непрерывных функций С(0 , 1)
с равномерной метрикой описываются следующим образом. К аж ­
дой функции ф(Д) > 0, ф ( Д ) 0 при Д -> 0, и числу i V > 0 соот­
ветствует компакт
К = К {Ф, Ю = { у ^ С ( 0, 1): сод(г /Х ф (Д ), \ у { 0 ) \ < Ю ,
где (0д(у) есть модуль непрерывности у:
«л (у) = sup \y{t) — y{u)\.
|<—и |< Д
Обозначим через K h множество
K h — { y ^ D { 0, 1): ыд( г/ ) <ф( Д) для всех Д 2^ h\ Iг/СО)I ^ N ) .

Множества Kh .можно было бы назвать «нредкомпактами» (этот

термин используется в функциональном анализе в ином смысле),
порожденными компактом К. Ясно, что Къу си Khz при /ц 1ггу
П К 1П~ К и что K h с= (/Оф<л>, где (K Y есть е-окрестность мно-
71— 1

жества К.
Покажем теперь, что для заданного 6 > 0 существуют ком­
пакт К (и, стало быть, соответствующее ему семейство предком-
пактов Kh) и последовательность 1гп 0 при п °° такие, что
lim sup Р {wn ф. К/,п) ^ 6. (С)
?1—> оо

Действительно, по теореме 6.3, для любого функционала /,

непрерывного в равномерной метрике, выполняется /(ш 71)=>-
=ф-/(ш°), где wn ( t ) = Y~n{F*{t ) — t), Так как сод(у)
является таким функционалом, то о>д(щп)=>-сод (щ°). По
«л (wa) —— 0 при Д 0 , так как траектории w° почти наверное
 ПРЕДЕЛЬНОЕ РАСПРЕДЕЛЕНИЕ СТАТИСТИК ВТОРОГО ТИПА 51

непрерывны. Следовательно, для заданных 8 и б при достаточно

малом А
Р(<0д(гт>о) > е) ^ б.
Считая, не ограничивая общности, число е точкой непрерывности
распределения сод(н;0), мы получим
Пш sup Р (сод (н>п) > е) ^ б.
71-*ОО
Пусть теперь eh 1 О— некоторая последовательность, а числа
А* \ 0 таковы, что
lim sup Р Г(0дь (wn) > 8/Л ^ 6/2h+1.
П —»с© V /

Образуем функцию ср(А) = eh при А ^ [Ай+1, АД. Ясно, что

ф( Д) - > 0 при А О , и мы можем рассмотреть предкомпакты К,1у
построеипые по функции ф. Тогда для любого к < оо
h~\-1
lim sup Р (wn ф. K Ajt) ^ lim sup ^ Р ( “ Aj (u>”) > ej) ^
V i-> o c » - » со j= l

h+1
2 lim sup Р (о)д^. (шГ‘) >* 8;) 6/2
j = l /г-»<х>

(при к — °° это неравенство может быть неверным). Полученное

соотношение озпачает, что при каждом б существует последова­
тельность hn ~^~ 0 при п —
*■°° такая, что выполнено (С). Рассмот­
рим теперь величину
[G *)- 6'(Г^)1
(F п™ = g ( F 0, wn) +
где f f n(x) — IG(F0 + x/Vn) — G(F0)]nh/z — g(F0, x). Так как в силу
теоремы 6.3 и определения 1 g(F0, wn) =*- g{F0, w°), то нам доста­
точно убедиться, что
Я „(ш п) ^ 0 . (7)
Р

Заметим, что для любого компакта К<=С(0, 1) и любой после­

довательности hn 0 при п -+■ с»
sup | Н п (ж) | 0. (8)
кеП(од)
осе(К)Л«
Допустив протнвпое, мы придем к существованию последо­
вательности x n ^ D { 0 , 1) такой, что \\хп — жН-^ 0 ,х ^ С ( 0, 1),
lim sup |/ / n(a:„)l > 0 , что противоречит дифферепцируемости G.
71-* оо
На основании (6 ), (8 ) получаем
Р ( | Я„ (w") | > е) < Р ( | Я , ( » " ) |> е, wn е Я Л„) + Р (шп ф К „й) ,

lim sup Р ( | H n (wn)j >

52 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. I

Так как б произвольно, то соотношение (7), а вместе с ним

и утверждение теоремы доказаны. <3
Вернемся к рассмотрению примеров.
Пусть lip — выборочная квантиль порядка р для выборки Y
из равномерного на [0, 1] распределения. Тогда из (5) и теоре­
мы 1 получаем, что
( ц *р— р) V n = > — w° (р) = w° (р).
d
Мы установили, далее, что в общем случае, когда F0— произволь­
ная непрерывная функция распределения, справедливо равенство
С = Fo ‘ { < ) .
Если мы воспользуемся теперь третьей теоремой непрерывности,
то получим
С л е д с т в и е 1. Если X n ^=.F0t F0 непрерывно дифференци­
руема в точке Ср, / (Ср) = К (СР) > 0 , то
(С* — СР) V n =ф- w° (p)ff (Ср).

Для доказательства надо заметить лишь, что условия след­

ствия 1 означают непрерывную дифференцируемость F0 1 в точ­
ке Р » ....

1, 1 1

[р)> ц м '
Т ак как Мш° (р) = 0, Dw° (р) = М {w (р) — pw (I ))2 = М (w (р) (1 —
— р) + р (w ( 1) — w (р )))2 = р (1 — р )2 + р 2 ( 1—р) = р ( 1—р), то ут­
верждение следствия 1 можно записать также в виде
(Ср — Ср) V п ^ > Ф о а2, а 3 = р (1 —р )//2 (СР). <3
В примере 2 функционал G (F) = sup \ F (t) — F0 (t) \ диф-
фереицируем и, стало быть, по теореме 1
G ( / ’*) У п sup | w° (t) J.

Распределение 11== sup | w° (t) \ найдено в явном врще ([58]):

Р (i] < z) - К (z) = 1 + 2 2 ( - l)7' e~zh2z\

ft=x

Функция Kiz) пазывается функцией Колмогорова.

Мы видели, что в общем случае, когда //0 — произвольная не­
прерывная функция распределения, распределение статистики
£>(Х) = siip | F*(() — F 0 ( 0 1
t
■§ 8] ПРЕДЕЛЬНОЕ РАСПРЕДЕЛЕНИЕ СТАТИСТИК ВТОРОГО ТИПА 53

остается тем же, что и для случая F0(t) = t, £<^[0,1]. Мы полу­

чили таким образом
С л е д с т в и е 2 (теорема Колмогорова). Если X(==F0, Г 0 не­
прерывна, то
V n D (X )^> K t

Это означает, что максимальное уклопепио D(X) функции

Fn (t) от Е0 (£) имеет порядок i/lln и может быть приближенно
представлено в виде ZHX) » ц/1/п.
В примере 3, мы видели, что другая статистика (ее обозначают
часто через о>2)
ОО

И2 = j ' ( K ( t ) - F 0 (t))2dFa (t)

— ОО

также и н в а р и а н т а относительно F 0. Из теоремы 1 вытекает

С л е д с т в и е 3. Если X g = E 0, F0 непрерывна, то
г
пит =Ф- j* [w° (£)]2 dt.
о
1
Распределение J [и° (£)]2 dt также найдено в явном виде и,
о
наряду с распределением K(z), табулировано. Примепительио
к примеру 4 теорема 1 дае4 нам
С л е д с т в и е 4. Если Х ^ 1 0, Е0 непрерывна, то

i=i

где 6jf, j — 1, 2 , . . . , г, образуют разбиение отрезка [ 0 , 1] и опреде­

лены в примере 4.
Если ПОЛОЖИТЬ £ = (£i, . . . , £r), = 6jZtf°/V6j, то, пользуясь
тем, что 6jW° = 6,-н? — n;(l) 6j, где w — стандартный виперовский
процесс, мы получим

i=i

Здесь матрица о2= Hc.jfl та же, что и в примере 7.3, так как
Г

бjW° *= bjW — f S &i<W\ ~ S Cf-Ujb’.W,

Vh ' /{=1
«/.•j = 6hj — 6j, M (6/(w) (6щ>) = б А
54 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. 1

— символ Крочекера),

М (У О (У ) _ 1 я *
-j/T -г - ^bJ a ln a !ijV k
к 6i6j /1“ i

^ 7 7 = ( M i — §&) = ~ /З Д .
r
Повторяя рассуждения примера 7.3, мы получим, что 2 имеет
з= 1
распределение %2 с г — 1 степенями свободы.
В заключение этого параграфа отметим, что далеко не все
статистики, представляющие интерес, могут быть отнесены к ста­
тистикам I или II типа. Достаточно рассмотреть, например, ста-
71—1
тистику S (X) = ^ x ixi+i или статистики S, связанные с функцию—
j—1
налами Gn(F), где функционалы Gn «существенно» зависят от п
(не только через выборку), такие, как, скажем, максимальный
член вариационного ряда S (*Х) = х(п) = п п др.

§ 9*. Замечания о непараметрических статистиках

Есть одно свойство, в отношении которого статистика

в примере 8.1 существенно отличается от статистик в примерах
8 .2 —8.4. Это свойство состоит в том, что предельное распределе­
ние статистик в примерах 8.2—8.4 (см. следствия 8.2—8.4) никак
с функцией распределения F0 не связано. Этого нельзя сказать
о статистике (ср. со следствием 8 . 1).
О п р е д е л е н и е 1. Статистика 5 (X ) называется асимптоти­
чески непараметрической, если S(X)(==$Q, когда / г ° ° , п Q не за­
висит от распределения X, т. е. не зависит от F0, еслиХ (= F0.
Отметим, что сама функция S при этом может зависеть or F n.
Сам термин «непараметрическая» является не совсем удачным;
однако он весьма распространен (он оправдан в случае, когда F0
принадлежит некоторому параметрическому семейству — тогда
распределение Q не зависит от параметра и в этом смысле явля­
ется непараметрическим). Иногда используется другой термин —
«свободный от распределения».
Мы видели в §§ 6—8, что статистики y?iU(X), ТnD {X ),
псй2(Х), й2(Х) являются асимптотически пепараметрическнми.
Заметим теперь, что теорема 6.1 делает возможным введение
и более узкого понятия. В теореме 6.1 установлено, что nFn (t)
распределено так же, как r\(F0(t)), где т](н)— условный пуассо-
иовский процесс с произвольным параметром X > 0 при условии
ц(1) = п (см. § 6 ), т. е. процесс, от F 0 не зависящий. Таким об­
разом, если статистика S построена как функционал G ( K ) ( ИЛИ
S 10] СГЛАЖЕННЫЕ ЭМПИРИЧЕСКИЕ ГАСПРЕДЕЛЕПИЯ

G {Fn — F 0)), который инвариантен относительно замены «вре­

мени» t у аргумента, то распределение S от F0 зависеть не будет.
Например,
D = sup | F* (t) — F0 (t) | = -L sup | r\ (F0 (t)) — nF0 (t) \ =.
t d n t

— — sup ] I] (и) — нп j. ( 1)
n UE=[0.l]

Сказапиое делает уместным

О п р е д е л е н и е 2. Статистика 6 (X) называется иепарамег-
рической, если ее распределение не зависит от F0 (X{=:F0).
Соотношения (1) означают, что статистика D является не­
параметрической.
Мы отмечали также (см. следствие 8.3), что статистика со2, на­
ряду с D, не зависит от F„ и, стало быть, тоже является непара-
мет рической.
Статистика у 2, являясь асимптотически непараметрической,
ые будет обладать свойством пепараметричности. В этом легко
убедиться непосредственно на примере, положив г = 2 , п — 1.
Другие примеры непараметрических статистик мы получим,
если рассмотрим значения F n (£?)), где £р — квантиль порядка р,
так что п Fn (£р) ~ т| (р) (см. § С). Число г, элемептов выборки X,
d
меньших, чем Xj,— так называемая рапсовая статистика,— также
будет непараметрической статистикой.
Понятия пепараметрической и асимптотически непараметри­
ческой статистик весьма полезны в теории проверки статистиче­
ских гипотез (см. главу 3), так как распределение этих статистик,
знать которое необходимо при построении критериев, достаточно
вычислить лишь одни раз (например, для равномерного распре­
деления F0) н оно будет годиться для любых других распределе­
ний выборки.

§ 10*. Сглаженпые эмпирические распределения.

Эмпирические плотности
В § 2 мы каждой выборке X поставили в соответствие рас­
пределение Р-n, которое назвали эмпирическим и которое пред­
ставляет собой сумму п атомарных распределений, сосредоточен­
ных в точках xt, . . . , хп. Это распределение обладает рядом заме­
чательных свойств, описанных в предыдущих разделах. Одиако
использованное нами определение Р п далеко не единственно
возможное, а в ряде случаев и не самое естественное. Существуют
и другие подходы к определению Рп> при которых изученные вы­
ше полезные свойства эмпирических распределении не только
полностью сохраняются, но и дополняются рядом новых,
ЕС ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. £

Мы ограничимся здесь обсуждением вопроса о природе рас*

пределений, которые мы помещаем в точки х„ Б использованном
нами определении Р н это были вырожденные распределения
1Х.(/?), так что
П
р * № ) = 4 2 м в >- (!>
i—1
В этом случае эмпирическое распределение оказывается сингу­
лярным относительно меры Лебега п, стало быть, не имеет плот­
ности. Это может оказаться неудобным в тех случаях, когда пам
заранее известно, что исходное распределение Р имеет плотность.
При этом условии было бы желательно иметь такое гладкое эм­
пирическое распределение Р«, для которого вместе со сходи­
мостью Р,(- е Р во всех установленных выше смыслах имела бы
место также сходимость плотностей/ н где /« и / есть плот­
ности, соответствующие Рп и Р.
Этого нетрудно добиться следующим образом. Пусть Q — ка­
кое-нибудь распределение, имеющее плотность. Положим

pr<fi)=rJjQ( - ^ i ) , ( 2)

QT
где •— j — есть множество точек у ^ $6, для которых х 4- yh ^
е В ; hn -*■ 0 при п -> оо.
Очевидно, что Р н (В ) есть не что иное, как «средняя сумма»
распределений Q, сжатых до размеров 1гп и «посаженных» в точ­
ки х,. Определение (2 ) обобщает ( 1). Формула (1) получается из
(2), если положить Q = I 0, так как I x.(/i) = 10 (# — *i)—
= — jt— - j при любой последовательности { h j .
Отметим следующие свойства распределения Р**, которое
мы будем называть сглаженным эмпирическим распределением.
1. Распределение Рп есть свертка распределении Рп и
Q {B!hn), а
Р„ (В )= МР** (В) = J Q

есть свертка распределений Р и Q( B /h J . Другими словами, Р ПШ)

есть распределение случайной величины b, + hnr], где E€=P,
Из теорем иепрерывности следует, что при /г„ О
Р„ => Р. (3)
Паном ним, что для распределения Р* мы имели точное
 СГЛАЖЕННЫЕ ЭМПИРИЧЕСКИЕ РАСПРЕДЕЛЕНИЯ 57

равенство
МР* = Р.
2. Если распределение Р абсолютно непрерывно относительно
меры Лебега, то распределение Рп будет удовлетворять теоремам
типа теоремы Гливепко — Кантеллп. Действительно, в этом слу­
чае сходимость (3) будет означать равномерную сходимость рас­
пределений по всем интервалам. Ограничиваясь для простоты
одномерным случаем, будем иметь (F**(t), Fn {x) и Q (х) обо­
значают фупкции распределения, соответствующие Р**, Рп и Q)

К * О) - F (*) = j e dF l (у) - F (X) =

■= - J К (!/) dvQ ( Fn (*) - (*) -

— J (/^ (y ) —

Здесь, как уже отмечалось, разность F nix) —f ix) -*■ 0 равпомерпо

по х , а интеграл, присутствующий в правой части, пе превосхо­
дит sup | F t (у) — F (у) | — ►
- 0.
У II.Н. *
3. Преимущество Рп перед Р п, ради которого это распределе­
ние и вводилось, состоит в том, что это распределение имеет
плотность

(д(х) есть плотность распределения Q), которая при каждом х

при п h n -*■ 0 сближается с плотностью fix) распределе­
ния Р.
Прежде чем доказывать соответствующее утверждение, заме­
тим, что для получения хороших результатов о сближении /г, (х)
с / (х) следует пользоваться гладкими ограниченными плотностя­
ми q. При выборе, скажем, неограниченных q оценка }п{%)
гладкой плотности fix) будет нарочито портиться. Так как вы­
бор q находится в наших руках,, то мы можем считать, что по
крайней мере выполнено условие

cl1 — J ф (t) dt<Z оо, , (5)

Т е о р е м а 1. Если q удовлетворяет условию (5), fix) непре­

рывна и ограничена, hn -> 0 при п-+- °° так, что nh n оо, то
f t (х) = fn ix) -F ix ) / V nh n , (G)
58 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ 1ГЛ. I

где f j x ) есть неслучайная функция

и И == М/Гг (я) = МАЙ1®^ ^ j = | q / (О Л =

= J q (z) / (х — zhn) d z - > f (.г) (7)

при h n -»■ 0. Случайные величины уп(х) асимптотически нор­
мальны, tn (я) (=> Ф 0;О2(л.), О58 (л) = / (a;) d2.
Д о к а з а т е л ь с т в о . Сумма в (4) есть сумма независимых
одинаково распределенных случайных величин в схеме серий,
при этом f n (ж) = Мf u (ж)представлено в (7). Положим

Ь,'п ~ [?( /,п ' ' ) - * " / » ( х ) ] .

Тогда
п
& (я) — fn (я) = —7= 2 Ем* = °»
V nhn £ “г

- М В . - т [ м '5 « , ( Ч г ) - * л и ] .

"М ^ Н М т т )™ -» -
— J q2 (z) f (я — zhn) d z - + f (a:) J q2 (z) dz = / (a:) cZ'2. (8)
Таким образом, MfejP ^ f (a:) d r hi, если fix) > 0. Условие Линде-
берга в нашем случае имеет форму
пМ ( |i , n; | h,n | > *) -> 0 (9)
при п 00 и любом е > 0 . Так как h nf f t (я) —>-0, 2 ( g 2 ((а:—
—xf)/hn) Д hnf n ( x ) \ то для выполнения (9) достаточно, чтобы
\ .Г -х Д
Мf 1 А Л-
\ к q V hи tJ* ч к /
Это соотношение имеет место, так как левая часть его равна
(ср. с (8))
\ ( f (z) f {я — z!i7L) d z ^ c j* q1 (z) dz -> 0 .
o (T )> £ \ /n h a Q (z)> E ^ / n h n

П
Таким образом, к случайной величине (я) — 2 ьь п прпмепи-
л=1
ма центральная предельная теорема. Это доказывает теоре­
му 1. <
 СГЛАЖЕННЫЕ ЭМПИРИЧЕСКИЕ РАСПРЕДЕЛЕНИИ 50

В рассматриваемой задаче естественно возникает вопрос об

оптимальном выборе h n и функции q(l). Одиако ответ на пего
зависит от свойств гладкости fix ). В самом деле, пусть, например,
fix ) положительна лишь на конечном интервале и дважды непре­
рывно дифференцируема с фиксированным значением ф ~
= j (/" (.r))2 dx. Предположим также, что | zq (z) dz = 0 (это всег­
да так для симметричных q{z)) и что D* = J z2q (z) dz «< оо. Тогда

и И = J Ч(z) / ix — zhn) dz —
г Г 2д3
= J q (z) I / (x) — zh nf (я) 4---- 2~ Г И + ° ( z4tn) dz —

— / (я) + ] j z2q (z) dz4- о (h*).

Мы видим, что

/n (я) — / (ж) ~ ------ 3-------- ^ , / — ■ 4- 0 (A J ,

z У /гЛп

(10)
м № м - / (x)]2 - (« )•
Минимизация этого выражения по h n и q даст, в силу асимп­
тотической нормальности £п(я), наименьший возможный «раз­
брос» /* (х) около значения fix ). Одиако минимизирующие зна­
чения /гп и q прп этом будут зависеть от х через неизвестные
значения fix ) и f " ix ) . Чтобы избавиться от этого эффекта и по­
лучить оптимальность «в среднем», естественно рассмотреть ин­
теграл
jM[/,*,(x)-/(x)P<fo, (11)
главная часть которого будет равна /^ »^Ч—2Л3 , тд-
) Ф 4~ ,(это полу­

чится, если в (10) убрать о (hn)).

l ’s
rf*
Мипимум этого выражения достигается при hn ■
« Z > 4 (p

При таком выборе hn интеграл (11) будет равен

- |ф 1/5 (Drf3)475 уГ 4/5 + о (/г" 475), ( 12>

/* И — / (я) = ( :Ц ^ - 4- / (я) У ф sn) 4- о ( « “ 2/3),

5 а ^ Ф П.,.
'Гакпм образом, скорость сходимости здесь составляет лишь
n~2/i в отличие от скорости л-1/2, которая имеет место для сходи­
€0 ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ [ГЛ. 1

мости функций распределения. Эго естественный факт, так как

в оценке значения fix ) принимает участие, грубо говоря, не вся
выборка, а лишь те наблюдения, которые сосредоточились в неко­
торой убывающей окрестности точки х .
Выражение (12) позволяет оптимальным образом выбрать
и функцию qiz), т. е. функцию, для'которой мипимизируется Ddz.
Считая, не ограничивая общности, что D — 1, мы получим задачу
минимизации d2 — j q2(г) dz при условиях j q (z) dz — J z2 q (z) dz =
*= 1» § zg (z)dz = 0.
Отметим, что если / имеет непрерывные производные более
высокого порядка 2т > 2, то можно получать и более высокие
скорости сходимости к пулю разности f n (ж) ~ f ix). При этом,
однако, надо использовать обобщенные распределения Q, «плот­
ность» которых q может принимать зпачения обоих знаков и по­
зволяет удовлетворять условиям J z 1' q (z) dz — 1, j”z*q (z) dz — 0
при всех К / < 2m - 1. В этом случае путем прежних рассуж­
дений мы сможем получить скорость сходимости” порядка
2т —1/2+' 1---
4ГП+ 1 ' 2(4ТО+1) а е;
п —п , которая будет тем лучше, чем больше т.
Этот факт объясняется тем, что для более гладких f i x ) к оценке
значения fix ) привлекаются элементы выборки, лежащие во все
более широких окрестностях точки х.
С другой стороны, выбирая гладкие функции qiz), мы можем
обеспечить возможность оценивать пе только плотности fix), по
и их производные. В этом также можно убедиться с помощью
приведенных выше рассуждений.
Функции fn (x) вида (4) называют часто оценками Розепбла­
т а — Парзена плотности fix ), или ядерными оценками fix ). Функ­
ции qiz) называют при этом ядрами. На практике часто исполь­
зуют «прямоугольные» ядра, т. е. полагают
при z e [ — 1/2,1/2],
10 при z < £ [ - 1/2,1/2].

Иногда поступают еще проще — разбивают вещественную прямую

па маленькие интервалы А, (длиной hn) и полагают fn* (x ) — —vi
у—
П
при x ^ A j , где Vj — число элементов выборки, попавших в А>
Такая функция f n (х ) называется гистограммой выборки. Нетруд­
но проверить, что если fix ) непрерывна, то гистограмма f n ix )
наряду с функцией, определенной в (4), также обладает свойст­
вом сходимости f n {х)—>■/ (х), если только hn -+ 0, nhn -*- оо.
 ГЛАВА 2

ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫ Х ПАРАМЕТРОВ

§ 2 содержит описание наиболее распространенных параметрических

семейств распределений и их основных свойств.
В §§ 3—6 излагаются основные методы получения точечных оценок.
В §§ 7, 8 обсуждаются подходы к сравнению оценок.
§§ 9—20 посвящены методам построения оптимальных (в том или
ином смысле) оценок. Выделены следующие 4 направления:
1) (§§ 9—11, 20) Байесовский и минимаксный подходы к построению
оптимальных оценок. §§ 9, 10 носят вспомогательный характер и содержат
определения и изложение основных свойств условных математических ожи­
даний и условных распределений.
2) (§§ 12—15) Построение оптимальных (эффективных) оценок с по­
мощью принципов достаточности и несмещенности.
3) (§§ 16, 17, 22) Построение оптимальных (эффективных) оценок на
основе неравенства Рао — Крамера.
4) (§§ 18, 19) Использование соображений инвариантности.
В §§ 21—29 изучаются асимптотические свойства отношения правдо­
подобия. На этой основе устанавливается асимптотическая оптимальность
оценок максимального правдоподобия. Результаты §§ 21—29 составляют
также основу теории асимптотически оптимальных критериев, развитой в
главе 3.
§§ 31, 32 посвящены интервальному оцениванию.

§ 1. Предварительные замечания
К ак мы уже отмечали в предыдущих разделах, исходным
объектом статистических исследований является выборка
Х п (х,, ..., Х„), Xj£=
из распределения Р, которое полностью или частично неизвест­
но. В математической статистике традиционно выделяют в каче­
стве основных два следующих класса задач:
1. Оценка неизвестных параметров.
2. Проверка статистических гипотез.
Задачи первого класса возникают, когда по выборке X — Х п
нужно оценить какую-нибудь неизвестную числовую характери­
стику 0 распределения Р (оно ведь неизвестно). То есть, для за­
данного функционала
0 = 0(Р)
от распределения Р мы должны указать функцию от выборки
(или, что то же, статистику)
е* = е; (х ?1),
предназначенную для использования вместо параметра 0 в каче­
€2 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

стве его приближения. Мы видели в предыдущей главе, что

предпосылки для этого существуют. Статистику 0* называют
оценкой параметра 0. Разумеется, оценок для параметра 0 может
быть очень много. Теорема 1.3.1 показывает, что, например, для
оценки функционала 0 — 0(Р) вида
6= J g (х ) dF (х)
естественно использовать статистику
п

Но можно, копечпо, рассматривать и другие оцепки, скажем,

n -v 2

0* —v -<«■
1 2 i=vx+l
где х {)), / = 1 , I?., п,— элементы вариационного ряда и т. д. В ка­
честве 0* можно брать и значепия, не зависящие от выборки.
Можно положить, например, 0* = 0, хотя это не всегда разумно
и совсем плохо, если множество возможных значений 0 не со­
держит 0.
В связи с последним замечанием отметим, что часто в постам
новке задачи об оценивании содержится указание на то, каким
является множество © возможных зпачепий параметра 0. Напри­
мер, если оценивается доля 0 какого-нибудь минерала в руде, то
ясно, что 0 е [0, 11.
Во многих случаях бывает заранее известно также, что рас­
пределение Р выборки X пе может быть произвольным, а при­
надлежит какому-то определенному семейству распределений .9*.
К задачам оценки параметров относится пример 1 пз Вве­
дения.
Задачи второго класса имеют дело с проверкой того или ино­
го предположения (гипотезы) о неизвестном распределении Р.
Например, мы можем проверять гипотезу о том, что Р имеет тот
или иной заданный вид. К этому типу задач относится пример 2
из Введения.
Позже мы увидим, что .качественной разницы между задача­
ми первого класса (теории оценок) и второго класса (проверка
статистических гипотез) не существует.
В этой главе мы приведем постановки задач и подходы, ко­
торые тесно связаны с результатами предыдущей главы и кото­
рые можно назвать «чисто статистическими», в отличие от более
общих теоретико-игровых подходов, которые будут изложены
нами в отдельной книге (см. предисловие).
В известной мере чисто статистические подходы выражают
существо методов математической статистики. Исторически они
 НЕКОТОРЫЕ ПАРАМЕТРИЧЕСКИЕ СЕМЕЙСТВА G3

были осознапы значительно раньше, чем более общие методы.

Что же касается их применения, то, по-видимому, человек поль­
зовался ими, явно или иеявио, на протяжении всего пути процес­
са познания.
Все это оправдывает отдельное изложепие чисто статистиче­
ских подходов, несмотря на то, что некоторые моменты этого из­
ложения в рамках более общих концепций можно рассматривать
как частные случаи. Одновременно мы обнаружим некоторую
недостаточность чисто статистического подхода для более точных
постановок задач. Это поможет нам понять целесообразность
других точек зрения.

§ 2. Некоторые параметрические семейства распределений

и их свойства

Рассмотрим некоторые семейства распределений, зависящих

от параметров (или параметрические семейства распределений),
которые часто возникают в приложениях и будут появляться в
дальнейшем изложении как по существу его, так и в качестве
иллюстраций.
1. Нормальное распределение на прямой. Символом Ф а о2 мы
будем обозначать нормальное распределение с параметрами
(а, о2), т. е. распре деление с плотностью
__ (х—ос)2
/ \ 1 20%

так что

(В) = (*)<&.
В

Если £ €§Ф<>, 1 и к 5s 0 — целое число, то, очевидно,

Д ля моментов четного порядка, пользуясь заменой х ~ У 2 и , на­

ходим
оо оо

= й J “v “ = (А' + 1/2>’
где

Г (А,) — J х х ле Xdx (1)

<54 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ 1ГЛ. 2

есть Г-фупкция, ТШ — (К — 1)Г(А, — 1), Г(1/2) = Гя, так что

М£2,£ = (2к — 1)!! = (2к — 1)(2/с — 3) . 1 .
Такой же результат мы получили бы, дифференцируя 2к раз ха­
рактеристическую функцию е~1 ^ в точке £ = 0.
2. Многомерное нормальное распределение. В многомерном
случае S6 — R m символ Фа ff2 будет означать нормальное рас­
пределение в R m с вектором математических ожиданий а =*
= ( a lf . . . , a m) и матрицей центральных вторых' моментов <j2“
= lloyll, i, 7 = 1, m. Если А есть матрица, обратпая к о2 (в тех
случаях, когда она существует), то плотность фа о2 (#) в R m рас­
пределения Фа будет иметь вид (см. [11], стр. 148)

(*) = ехр( у (ж а) Л(ж a fj, .

где х т есть траиспопироваппый вектор. Напомним также (мы
этим фактом уже пользовались в § 1.7), что х. ф. величины
Ф«,о2 равна
Ыег1^Т ~ ехр | ita T — £o2£Tj,

где £ = (£t, . .., tm) есть вектор в Rm.

3. Гамма-распределение. Символ Га *, будет озпачать так на­
зываемое «гамма-распределепие» (или Г-распределение) с пара­
метрами (а, М. Плотность ^afAx) этого распределения зависит
от двух параметров а > 0 и 1 > 0 и равпа (см. [11], § 7 гл. 6)

Va.k{x) = I 1 (Я) (2)

[ 0, ХСО,

где ГШ есть Г-фупкция, определенная в (1 ).-Характеристиче­

ская функция Г-распределения имеет вид ([111)
оо

J e tfxY«.3iHda; = ^l — \ (3)

Если £ € = Г ад , то
оо оо

*«* = T W = I W J = т г 1 - <4>
о о
Такой же результат при целых £ > 0 можно было бы получить,
дифференцируя характеристическую, функцию. Полагая £ = 1, 2,
 НЕКОТОРЫЕ ПАРАМЕТРИЧЕСКИЕ СЕМЕЙСТВА 65

находим
Ms = Х/а, Dg = } Ja \ (5)
Из формул (3), (4) видно, что параметр сс играет роль мас­
штаба, так что
т)/а£|Е Гад, если г|£ = Г 1Л.
В силу этого обстоятельства многие свойства Г-распределе­
ний достаточно изучать при каком-нибудь одном значении а , на­
пример при а — 1 или а = 1/2. Второе значение часто будет для
нас более удобным, так как .распределение Г 1/2, >. играет важную
самостоятельную роль в математической статистике и называ­
ется распределением «хи-квадрат» (или х2-распределепием).
4. Распределение «хи-квадрат» Hft с к степенями свободы
Так называется распределение Hj, = Г1/2 h/z при целых к > 0. Мы
сохраним это название за распределением II/t и при произволь­
ных к > 0. Характеристическая функция распределения Hft рав­
на в силу (3)
( 1 - 2 il)~h,\
Отметим следующие три свойства распределения Н,.
1) Если ip независимы, тр (=§ IIft , i = 1, . . . , s, то
Я S

jS Pi Л/! j к =
i—1 j—1
Это свойство сразу вытекает из вида характеристической функ­
ции распределения Н,(.
2) Если £бЕЁФа о 2» г®е Фа а 2 есть к-мерное нормальное рас­
пределение с невырожденной матрицей вторых моментов ог, то
Q (I) = (I — а) — а)т^ И/{.
Действительно, характе!шстичоская функция случайной ве­
личины £К£;) равна

Ме!г<д|) = J exp — ~ Q И (* — dx 1 . . . rfa:A,

Произведя замену переменных ж,Vi — 2 i t ~ уи мы получим выра­

жение

(1 - 2й )-* л J e~ i% V . . . <ly* = (1 - 2 ИГ"'2,

что и требовалось доказать. Независимость интеграла в левой

части от изменения области интегрирования вытекает из анали­
тичности подынтегральной функции и се быстрого убывания при
\У\~* 00 <ср. с [11], стр. 131).
б А. А. Воронцов
06 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2
.9 ,

Из сказанного вытекает, что распределение Hfe имеет случай­

ная величина
х* = Й + " . + « ,
где независимы, &^=Фо,5. Термин «число степеней свободы»
связан именно с этим представлением.
3)' Так как М£? = 1, МЙ = 3, DEi = 2 для Й ^ Ф о .и то
■в силу центральной предельной теоремы при к -*■ <»

(С)
1/24
Отсюда и из теорем непрерывности § 1.5 следует, что наряду
с (6)
l/"2у* — У 2 к — 1 <==> Фод.
Эта сходимость служит основой для приближенного (при боль­
ших к и х) равенства H h((0, я)) « Ф(У2ж—V2& — 1), Ф(я) —
= Ф о , 1( ( - со, я)), которое, как правило, оказывается более точ­
ным, чем приближение И* (-(0, х)) ш Ф^ — вытекающее
из (6).
Отметим еще один частный случай Г-распределеппя, часто
встречающийся в приложениях.
5. Экспоненциальное распределение. Это есть расирсдслспие
Га> i с плотностью
а е -ах, х > 0.
Из формул (5) получаем для £ ^ = Г од
M l = 1/а, D | = 1/a2.
Рассмотрим теперь некоторые распределения, связанные с
нормальным и гамма-распре делениями и играющие важную роль
в математической статистике. В отличие от предыдущих, эти
распределения нам прежде не встречались.
6. Распределение Фишера F ft /<9 с числом степенен свободы
&j, к2. Так называется распределение случайной величины
I = 111/ 112,
где г)} независимы, тр €= БЦ , / — 1,2. Из свойств Г-распределс-
пий следует, что распредслеиие I останется тем же при
6ЁЁ Гa.ft^/2 и любом ос > 0 и что Z, при целых к] допускает пред­
ставление
т £?+ -+ Й г
с?+ — + & ’
где случайные величины \ и независимы, ^ ^ Ф о д , £«€§Фо,1.
§ 2] НЕКОТОРЫЕ ПАРАМЕТРИЧЕСКИЕ СЕМЕЙСТВА G7

Найдем плотность распределения Имеем

X,—1 Хо—1
Р (£ < * ) = J J Г 1Л1(< г« )Г 11Ч ( Л > ) = J j “ ‘ " щ е^в ш Л и -,
u/v<X v=0 li = 0

, , v Л Г (!;<.*) Г {v t )%x ~ Xv ^ X - v- vx ,

/<»(*) = ^ -J r fil)r ( ^ ) e •’ * ’ =
0
oo « .
^-1"1 Л -i . Xi—*
___________ Г - C(i+»)rf » Г +M (7)
~ »’ (X )г P .) j (1-1- ,)h + l‘ r p .) *' <4> ''

Требуемая плотность получится, очевидно, если подставить сюда

“, = kj/2. Нетрудно найти моменты случайной величины £ (если
К
они существуют):
оо
f г а . + jl\ с х 1+ 1 г а . + 1) г а 9 — 1)
М£* = ---А Ь г -т г т ~ r T T d^ = V n \ rn V * 8)
1 ( М 1 (Л2) j (1 + 1 ( M 1 (h) • '

D частности, при 1 = 1, 2 находим

X, X, (X, + 1)

Распределение Фишера называют иногда также распределе­

нием Сиедекора. Это связано с тем, что Фишер предложил ис­
пользовать ы табулировал, собственно, не распределение £, а рас-
1
пределение случайной величины у 1 п £ . Распределение же £ бы­
ло несколько позже подробно табулировано Сиедекором.
7. Распределение Стыодента *) Т,,_ с к степенями свободы. П
определению это есть распределение случайной величины

t
Р т ( У +•••+£?)
где £j независимы, lj(§§Фол» 7 = 0, Очевидно, что —t
имеет то же самое распределение и, стало быть, распределение
Стыодента симметрично относительно начала координат. Далее,

* *е; и,
I6J ,ч 2 ’
где rjj независимы, rj, 1]2€=Д ч. Это значит, что t2/k имеет

*) Срподспт.— псевдоним 13. С. Гооеста,

5*
68 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

распре деление Фишера. Рассмотрим случайную величину т —

= V I, £ = 'Hi€§ Hftj Так как Р (т < х) =* Р(£ < х 2), то плот­
ность /<т)(гс) случайпой величины т будет равна
Г (Ч+Ч) й,"г

Г (Л ,-Ц г)
kj — kj/2, ж>*0.
г (/.,) Г(Д2) ‘(1 + f f i + V

Отсюда при Яг — 1/2^ Я2 = к/2 очевидпым образом можпо полу­

чить плотность UI/VA:. Так как распределение t симметрично, то
для плотности случайной величины t окончательно полу­
чаем

/<» W — у ^ Г г (4/2) I • (0)

Ясно, что все моменты t печетного порядка (если они существу­

ют) равны нулю. Для моментов четного порядка 21 имеем, в си­
лу (8),
г е .+ 0 г(Ч -0
■ Mfe " ' ( М 'ч Ц ' >
где следует положить Яг = 1/2,. Я2 = к/2, 2К к. При 1 = 1 полу­
чаем
МГ- =

Но своей форме функция }(t)(x) ’напоминает плотность нор­

мального закона. Более того, с ростом к
«-**■*,

что означает сходимость ?<е=»Ф0, i при к-*-°°. Однако До (я) име­

ет более «толстые хвосты», поскольку функция (9) убывает с ро­
стом Ы значительно медленнее, чем е~х2/2, так что при всех Ь > О
Тк((-Ь , Ь ) )< Ф 0, А - Ь , b)), (10)
При этом разница между правой и левой частью в (10) при не­
больших к может быть существенной.
Сходимость t = Уkt,0/~/r\z к нормальному закону читатель мо­
жет доказать и другим путем, с помощью теорем непрерывности.
В 1
Например, достаточно заметить, что -у - —х Ш + * • • - + - l l ) — v 1
п. гг,
и, стало быть, t — £0, t =>- | 0.
п. и.
 НЕКОТОРЫЕ ПАРАМЕТРИЧЕСКИЕ СЕМЕЙСТВА 69

8. Бэта-распределение (В-распределенне). Так называется

распределение Вя х2 с плотностью

Г (Ч М ХК1 1 (1 — а:)?"2 \ [0,1],

ПК) ПК)
/<Р> (*)
0, яг §£[0,11..
Своим названием оно обязано бэта-функции

(к , К) =f ХЧ ~
'(1 - x ^ - 'd x = -г(( У

Бэта-распределение связано с гамма-распределением и с рас­

пределением Фишера путем следующего утверждения:
Если ц-} независимы, г р € = Г а^ .( и л и то
а Ч _ t г-.ж,
Р \ + % £+1^
где t = % /гь€=В 2Ц >2?,2.
Доказательство этого утверждения весьма просто, так как в
силу (7) Р ( Р < ж ) =

Aw (*) = / д а ( г Ь ) ( г Ь ) ' = (г ^ Г * <4 - *)Ч+Ч~° =

■ ° т а 1'Г1(1~ ,)1Г1’ *е[0,1].

Для моментов случайной величины |3 имеем

1 — Г (Я1 + Яз) Г x ' +l~X(1 _ X;^2_ V~ — Г + Я2> Г (Ч ‘I' z)

МР Г <яд (Ч) "J ж-
l) 1г (Я2) (1 ^ ^ Г (АД Г ( \ + А2■+ I) •

При 1 = 1 ,2 находим
М р = т -Ь ^ _ , МР2- М Ч + 1)
Ч + Ч * (Ч + Ч) (Ч + Ч + 1) *
9. Равномерное распределение. Частным случаем В-распредс
ления является равпомерное на [0, 1] распределение, которое
получится, если положить А1= Я 2= 1.
Символом U0, 6 мы будем обозначать равномерное распределе­
ние на отрезке [я, Ы, так что B (i j = U 0j *.
С помощью В-распределения можно описать распределение
членов вариационного ряда х((0 выборки X.
Т е о р е м а 1. Если Х £ = Р есть выборка из распределения
Р с непрерывной функцией распределения F, то
У(л) ~ F (xw ) ВА,я_*+1
70 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Д о к а з а т е л ь с т в о . Так как уh = F (х/{) (§= U01 то y(ft) -----

— F (x(h)) можно рассматривать как член вариационного ряда
выборки Y U0ll. Найдем Р (у(/{>е (и, и + du)). Событие {y(ft) е
е (к, и + rfn)} можно представить как объединение полересекаю-
щихся событий
Aj.= {у;-е= (в, и + du), у j = у т ),

которые происходят, когда у,- попадает в (и, и 4- du) (вероятность

этого равна du), к — 1 из оставшихся п — 1 наблюдения попадает
в область (0, и), п — к наблюдений — в область Xu, 1). Следова­
тельно,
Р (Л,) = C l z y - 1 ( I - u)"~udu, ■
Р (у(/{) е {и, и -f- du)) =- пС'п) [и 1 (1 — u)n~hdu.

Это и значит, что плотность у (,0 существует и равна

(А-_1) j («— A) I (1 _ иГ " = Гr (А)

v* J ГX(и V— АL+ .1) “' - 1 а - " Г ‘. <3

На основании теоремы 1 можно без большого труда получить

и предельное распределение членов вариационного ряда, когда
объем выборки X неограниченно возрастает. Мы остановимся
здесь лишь на одном результате, вытекающем из теорем непре­
рывности.
Т е о р е м а 2. Если а — п j 1 ->- а0 <= (0, 1) при п-*- то
l/ (1 — а А
У(/0 - а -Г °Е - In, In <=> ф».,.
\/ п

Д о к а з а т е л ь с т в о . В силу теоремы 1 y (/t) и, ста­

ло быть, в силу свойств В-распределения, справедливо представ­
ление

У<Л)=,, *lj€§ Плj > к1 = 2&, /»2 = 2(и — /„■+ 1). *

Положим для удобства щ — а, a2 = i — а и предположим, что

а = а0 фиксировано. Тогда, очевидно, к /( п В 1) = 2а}, / = 1, 2,
и в силу свойств распределения %2
% = к, + У Ш п \ I» 1 ?0> <= Ф.д:
 н еко то ры й п а ра м е т ри ч е с к и е сем ейства 71

Остается воспользоваться теоремой непрерывности 1.5.3Л при

Я (0 = -r- т г , Ь„ = 77=4=-, - V a& f.

1 2 I/« Н- 1
Так как гр(а стало быть, и ta ) независимы и
<Л/ f2 d ll
e‘i ('х + у 2’ (*1 + У 2’
то мы получаем
(У(л) — Щ) 1 ^ н + 1 = ^ о 2 l /a ,£ a) — aL V a ^ z z 1f аха&, | g ® 0li.

Если а зависит от п, то следует воспользоваться замечани­

ем 1.5.1. <3
С л е д с т в и е 1. Если а = к/Ьг + 1) а0 е (0, 1) и непрерыв­
ная функция F непрерывно дифференцируема в точке £0—/,-1(«о)
(квантиль порядка а0), то
Y р %К'П Е jgrr 7
\h ) — I -I/ “ ’ Sn fc=r^ M'o.li Ц1)
/(ц) V»

где J; = E-1(tt) — квантиль порядка й, /(я) = F '( x ).

Это утверждение получается сразу из теоремы непрерывности
1.5.3 (с учетом замечания 1.5.1), если воспользоваться представ­
лением

Х(й) - F~l (у(/{)) = *’-1 ( а +

и тем фактом, что dx / { F ~ l (х))‘

З а м е ч а н и е 1. Утверждение (И ) несколько обобщает ут­
верждение следствия 1.8.1. Его можно обобщить и в другом-на­
правлении. Пусть при х £
| F (х) — F (£) | — с j х — С Р, У > 0.

Тогда нетрудно видеть, что при у -►а

I/V
’Щ Ч О - Я Щ а Н - р
и что, стало быть,
JL i_ 1
(xoi) — t ) » 2V= ^(^o(l — «o))2TU /c P sign Н, ^ Ф „ л. (12)

При у = 1, с — Jit,) отсюда следует (11).

72 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

10. Распределение Кошп К а>0 с параметрами («, о). Так на­

зывается распределение с плотностью
о 1 1
ка,о (#) —
л [о2Т {х — а)2] ли ^ /ж — а\~
Ц — )
Как и в случае нормального закона, параметры a n a здесь явля­
ются, соответственно, параметрами сдвига и масштаба. Форма
распределения К 0>i очень похожа па форму Ф 0, i, однако к 0, t, как
и плотность распределения Стыодента, имеет значительно болео
«толстые хвосты» (т. е. более медленное убывание при \х\ =>°)f
так что распределение К 0>i не имеет даже конечного математиче­
ского ожидания. В [11] отмечалось (см. гл. 7), что распределения
Ка, как и нормальные распределения, обладают свойством ус­
тойчивости. Характеристическая функция х 0, iit) распределения
К 0, i равна

ноэтому
Ka,a{t) = e x p {iat — о\ t\ },
Уау,о1 (P) ^а2,ст2 (0 = exp {? (aA+ a 2) t (Oj -j- a 2) | 11},
так что свертка K ai>ai и K a.2>02 равна K ai+0C2iai+O2.
Нетрудно видеть, что К 0, , = Т , .
В приложениях часто приходится иметь дело с разного рода
функциями от нормально распределенных случайных величин.
Одна из них — экспоненциальная функция, с которой связано
так называемое логнормальное распределение.
11. Логнормальное распределение Ь х о2. Мы будем говорить,
что Т] (§§ La>a2 , если 1 п ц ^ Ф а 0о. Другими словами, ц = ег, где
§ € = Ф а о 2. Отсюда видно, что распределение L » сосредоточено
на положительной полуоси.
Плотность Ц L 2» в силу формул для плотности функции
от случайной величины (см. [11], стр. 53), равна

Фа.о* (1п х)
Кроме того, находим
О/—о:>-
(а а')." — а"
Мц — f е' — — е 2°" dy = ехр •X
J о 1/
V 2л 2ст"
Г 1 ( (н — —П2)2 \ 7
х ] Т у 1 л 'е х р ( -----------3 ? -----
<"//—о:) -
Мч3 = Г е2" — в 202 dy = в» + " 5.
а а у 2л
 НЕКОТОРЫЕ ПАРАМЕТРИЧЕСКИЕ СЕМЕЙСТВА 73

12. Вырожденное распределение. Символ 1п (это обозначение

памп уже использовалось в § 1.2) будет означать вырожденное
распределение, сосредоточенное в точке а.
В общем случае, когда рассматривается произвольное семей­
ство распределений, зависящих от параметра 0 (скалярного или
векторного), мы будем использовать обозначение Ре. Само семей­
ство будет обозначаться символом
(Pe)ese}
где © — множество возможных зпачеппн параметра 0. Такие же
обозначения будут применяться к семействам распределений 1 —
12. Например, {Ф«, Даея будет означать семейство всех нормаль­
ных распределений с единичной дисперсией.
Распределения 1—11 абсолютно непрерывны '■относительно
меры Лебега. Введем теперь обозначения для трех хорошо из­
вестных дискретных распределений (абсолютно непрерывных от­
носительно считающей меры p(Z?): р(-В) = к, если В содержит к
целочисленных точек).
13. Распределение Бернулли В” . По определению £<§§Bj
Ы — целое, р ^ [0, 11), если
Р ( | = к) = Cjp* (1 - р)"“ \ ’ 0 < * < в.
14. Распределение Пуассона П>.. Это распределение определя­
ется равенством
п л в )= 2 ж х >0-
ЬеВ,
О
15. Полиномиальное распределение. Мы будем обозначать его
Г
В" где п > 0 — целое число, р = (р ^ . . . , p r),'Pj ^ О» 2 Рз =-1-
3=~1
Для целочисленного случайного вектора v = (vi, . .., v r) мы будем
Г
писать v Вр, если для к = (Ау, . . . , Ay), kj ^ 0, 2 kj — п спра-
3~1
ведлнво
ТУ f 7\ ^ * ^1
Р (v = А') = —1" • **
кГ-I Ру ■■■Р' ■

Распределение Вр соответствует последовательности п неза­

висимых испытаний, в каждом из которых наступает один из г
несовместных возможных исходов A lt . .., А г; при этом вероят­
ность появления исхода А 3 в одном испытании равна /у. Коорди­
наты v} вектора v означают частоты появления событий Aj после
п испытаний (см., например, Н Ш . Очевидно, что при каждом
7 = 1, ..., г
74 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Исход у-го испытания в описанном эксперименте можно описать

r-координатным вектором Xj, у которого г — 1 координата равны
пулю и одна координата равна 1. Помер этой чкоординаты есть
номер события, которое произошло при /-м испытании. Очевидно,
71

что v = 2 Xj. Относительно выборки X, составленной из xt, . . .

5—1
. . . , х п, нам будет удобнее писать
X < S B P,
где Вр = В*. Пространство £& для такой выборки, очевидно,
конечно и состоит из г точек. Если р = (ри Р-г\ /?i + Рг — 1, то МЬ1
получим схему Бернулли, для которой мы будем использовать
те же обозначения, отождествляя с ВЯ1 = В ^ (см. и. 13).
В общем случае распределение Вр зависит на самом деле лишь
от (г —1)-мерного параметра (уд, ..., рг~J , так что вместо ин­
декса р можно было бы писать (у/,, . .., pr-i).
Многие из рассмотренных выше распределений, например
распределения Ф0,ъ П ь 1^/.д Тп, П ?„, табулированы в руковод­
ствах но математической статистике и в специальных таблицах
(см., например, [81).
§ 3. Точечное оценивание. Основной метод
' получения оценок. Состоятельность,
асимптотическая нормальность
1. Метод подстановки. Состоятельность. Понятие оценки было
введено нами в § 1. Формально, оценка — это то же самое, что
и статистика, т. е. любая измеримая функция 0* от выборки. Не­
формально, смысл, вкладываемый в этот новый термин, состоит
в том, что оценками 0* мы называем лишь статистики, предна­
значенные для использования вместо неизвестного параметра 0.
Другими словами, 0* есть некоторое приближение для 0, осно­
ванное на выборке. Величину 0* называют также точечной оцен­
кой для 0 в отличие от интервальных оценок, которые будут
рассмотрены позже.
Задание оценки обычно предполагает задание функций (от
выборок Х„), определенных при всех возможных значениях п.
Поэтому в дальнейшем термин «оценка» будет означать семей­
ство статистик 0* = 0„ (ХГ1), определенных при всех /г = 1, 2, ...,
где 0* есть функция па или, что то же, одну функцию 0* =
= 0*(/г, Хоо), определенную па произведении множества целых
чисел и Зв°°.
В соответствии с § 1 мы будем считать, что в постановке за­
дачи об оценивании определено множество © возможных значе­
ний параметра 0 и семейство '£Р возможных распределений Р вы­
борки X (это могут быть, скажем, лишь нормальные распределе­
ния Фй, 1 или распределения Пуассона П>., для которых требу--
 ОСНОВНОЙ МЕТОД ПОЛУЧЕНИЯ ОЦЕНОК

ется оцепить пеизвестпые параметры а , л). Если какие-либо огра­

ничения на 0 (на Р) отсутствуют, то можно считать, что © (&)
совпадает с евклидовым пространством соответствующей размер­
ности (с множеством всех распределении).
Если для обозначения параметра вместо 0 используется ка-
кая-пибудь другая буква, например К, то оценки этого параметра
будут обозначаться тем же способом: добавлением к Я верхнего
индекса «звездочка». Например, для параметра а нормального
закона естественно рассматривать оценку
71

i= 1
Выборочные моменты, используемые для оценки
Mxt — J х Р (dx) и Dx, = J (х — М хА)2 Р (dx),
имеют свои специальные традиционные обозначения
П П

Мы уже отмечали, что для данного параметра можно указать

сколь угодно много разных оценок, и прежде чем обсуждать, ка­
ким образом в каждой конкретной ситуации следует сравнивать
их достоинства, мы остановимся на некоторых общих «регуляр­
ных» методах их построения.
Эти методы объединяют в себе наиболее разумные подходы
к проблеме оценивания и позволят нам получать в дальнейшем
наилучшпе в том или ином смысле оценки.
В основе почти всех приемов оценивания лежит следующий
основной метод, который можно было, бы назвать методом под­
становки эмпирического распределения (пли, для краткости, ме­
тодом подстановки).
Пусть Х п Р, и неизвестный параметр 0 представим в виде
некоторого функционала G от распределения Р:
О= G(P).
Пусть, далее, Р*, как п прежде, означает эмпирическое распре-
деление. Тогда метод подстановки предписывает в качестве оцен­
ки 0* взять функцию
е* = с (р ;).
Такие опенки мы будем называть оценками по методу под­
становки или, для краткости, просто оценками подстановки.
Функционал G иногда бывает задан в пеявпом виде как ре­
шение некоторого уравнения i/(0, Р) = О, разрешимого относи-
76 . ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

тельно 0. В этом случае оценками подстановки в соответствии

с основным определением мы будем называть любое решение
уравнения я ( е , р,*) = о .
Если известно, что .множество возможных значений параметра
0 <= R k ограничено областью © из R h, не совпадающей с R \ то эту
информацию можпо учесть прн построении оценок подстановки.
Допустим, что область © замкнута, и пусть FP есть множество
возможных распределений выборки X, 0 = {G (Р)}р<=^>. Оп­
ределим фупкцнонал Gt(P) для произвольного Р как значение
t е S , для которого достигается
m i n U - G ( P ) | = l G1( P ) - G ( P ) | , ...
е=е (Д)
так что Gt(P) есть точка из ©, ближайшая к СДР), Так кат;
Gt(P) = G(P) = 0, если Р е то оценка

e* = G ,( p ;) (2)
вместе с С ( « ) будет оценкой подстановки, при этом множе­
ство возможных значений 0* будет принадлежать 0 .
Про оценки (1), (2) мы будем говорить, чтоони получены
сужением метода подстановки.
Пусть, например, оценивается параметр а нормального рас­
пределения Ф а, !, и нам заранее известно, что a e [ 0 , 1J. Тогда
может оказаться, что оценка а* = х ^ 10, 1] (очевидно, что
х =. J t d,F*n (t) есть оценка подстановки). Сужение метода под­
становки рекомендует в качестве оценки взять точку из l0, 1J,
ближайшую к х.
Отметим теперь, что в сформулированном виде метод подста­
новки не всегда имеет смысл. Дело в том, что исходный функ­
ционал G может оказаться не определенным на множестве эмпи­
рических распределений. Пусть, например, заранее известно, что
распределение Р принадлежит классу FP абсолютно непрерывных
относительно меры Лебега распределений, так что каждое Р е=
имеет плотпость /. Нас интересует значение

e ^ G ( P ) = j V (* )d * =

Ясно, что в этом случае G( P*) не имеет смысла, так как Р*

есть дискретное распределение. В таких случаях метод подста­
новки всегда можно естественным образом модифицировать так,
чтобы он сохранил свое существо. В приведенном примере, где
6ЧР) есть функционал от плотности /, следует в качестве 0*
в соответствии с методом подстановки рассмотреть значение
С (Рп ), гдо P ,t*— сглаженное эмпирическое распределение
 ОСНОВНОЙ МЕТОД ПОЛУЧЕНИЯ ОЦЕНОК 77

(см. § 1.10), обеспечивающее сходимость эмпирической плотпо-

сти к fix ).
Может оказаться также, что в некоторых случаях G (Р^)
будет иметь смысл не для всех Х п, а лишь для Х п ^ Л п, где
P d n E T l J -> 1 при и ->• о°. Это обстоятельство для существа
дальнейшего изложения роли играть не будет, и для определен­
ности можпо положить G (Р«) — 0 для Х п ф А п.
В этом параграфе мы для простоты будем предполагать, что
G (Р*) имеет смысл при всех Х п ^ с>вп и что 0* есть случайная
величина, т. е. функция G (Р?,) осуществляет измеримое ото­
бражение 86п в R '\ где к есть размерность 0.
Принцип подстановки представляет собой весьма естествен­
ный подход к задаче, поскольку, как мы уже знаем, распреде­
ление P?*i неограниченно сближается с Р с ростом п.
Пусть Х п — IX,»],*.
О п р е д е л е н и е 1. Оценка 0* = 0пСХп) (или последова­
тельность 0* (X)) называется состоятельной, если
0 * -> 0
р

при п °о.
Оценка 0* называется сильно состоятельной, если при п.-* оо
0*— * 0 .
П.П.

Пусть F, как обычно, есть функция распределения, соответ­

ствующая Р.
Теорема 1. Пусть0 = G4P) и функционал G принадлежит
одному из двух классов: либо он представим ввиде

6 ( Р ) = /г ( J g(x)dF {x)], (I)

где h — ф ункция, непрерывная в точке а = J g (я) dF0 (х) (функ­

ционал I типа)у либо -в виде
G i Y ) ^ G liF )1 (II)

где функционал б?, непрерывен в точке F() в равномерной метри­

ке (функционал II типа). Тогда если X §§ F0J mo 0* = C (P*J
есть сильно состоятельная оценка:
0* — *- 0.
П. П.

Утверждение этой теоремы немедленно следует из теоремы

1.4.1.
78 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

2. Асимптотическая нормальность. Одномерный случай.

О п р е д е л е н и е 2. Оценка 6* параметра 0 называется
асимптотически нормальной (а. п.) с коэффициентом о2 ^ 0, если
( е * - 0 ) / г е ^ Ф 0(О2.
Последнее соотношение может читаться также следующим
образом: оценка 0* а. п. с параметрами (0, о2/п).
Пусть 0* есть оценка подстановки параметра 0 = G4F) и вы­
полнено (I), т. е.

о* = а( 4 2 ? ы ) . . (3)
есть статистика I типа. Тогда из результатов § 1.7 вытекает сле­
дующее утверждение. Предположим, что 0 — скалярный пара­
метр, a g — скалярная функция.
Т е о р е м а 2. Пусть XGez F q, h дифференцируема в точке
J
а = ё (х ) dF0 (ж), 0 < | h' (а) \ < оо, J g2 (х) dF0 {х) < оо. Тогда
0* — а. и. оценка с коэффициентом
а2= [ h' («)J2 j (g (л) —о)2 dF() (x).
Примеры, рассмотренные в § 1.7, можно взять в качестве
иллюстраций и к этой теореме, так как статистики, рассмотрен­
ные в них, используются в качестве оценок.
Аналогичным образом мы могли бы, пользуясь результатами
§ 1.8, получить условия асимптотической нормальности оценок,
являющихся статистиками II типа. Читатель может получить
нужные утверждения, если воспользуется теоремой 1.8.1 без ка­
ких-либо ее изменений, потребовав, однако, чтобы в се форму­
лировке выполнялось к — 1, а производная g была такой, что
g{F О» О ^ Ф 0,02.
3. Асимптотическая нормальность. Случай многомерного па­
раметра.
О п р е д е л е н и е 2А. Оценка 0* ~ (©i, . . . , 0л) называется
а. н.оценкой 0 = (01? . . . , 0*) с матрицей о2, если
(0* — 0) V п Ф оо2, (4)
где Ф( 02 есть /с-мерное нормальное распределение с нулевым
вектором математических ожиданий и матрицей вторых моментов
° 2 ~ II I- Плотность этого распределения равна (см. § 2)

' ' (2 л )'1' 2 ’

где А — матрица, обратная к о2, х = (.г,, . . ., xh).

Если 0* есть оценка подстановки и она является статистикой
I типа (т. е. представима в виде (3), где g, вообще говоря, вместе
 МЕТОД ПОДСТАНОВКИ В ПАРАМЕТРИЧЕСКОМ СЛУЧАЕ 79

с 0* и h есть векторная функция), то для выяснения условий

асимптотической пормальности можно воспользоваться теоремой
1,7.1А и замечанием к ней. Мы получим тогда следующее ут­
верждение.
Т е о р е м а 2А. Пусть 0* е R k определяется равенством (1),
где g = (#i, , . gs) е R \ а вектор-функция h it) = {hx{t)y . . .
. . hhit)), t = itu . ts), имеет в точке a = '(alt . . . , as), dj—
Г d'li
— J gj{x)dF0(x), частные производные —rr- {a) , l ~ l y . .., k, j =»
c i
----- 1, . . 5 . Тогда, если X Щ F0, mo
(Ъ*-в)Уп=>Ь,Нт,
где £ — ( | lf . . ., Ф„ d 2 есть нормально распределенный век­
тор с нулевым средним и матрицей вторых моментов d2 = llrfyll,
йц — М (gi (хА) — а{) {gj (хА) — а}), i, / = 1 , . . ., s; H = НйуН есть
dhi
матрица размера k X s с элементами /ц; = - ^ —(а), i = 1,
atj
j --=* 1, . . . , s.
Это означает, в свою очередь, что В* при выполнении условий
теоремы 2А является а. н. оценкой с матрицей о2 ~ H d2H T =
= МНс^г^Н т. Отметим, что матрицы о2 и dr здесь имеют, вообще
говоря, разные размерности {к и s).

§ 4. Реализация метода подстановки

в параметрическом случае. Метод моментов
Пусть где {Ре)е-е есть известное нам семейство рас­
пределений Рв, зависящих от параметра 0. Неизвестный пара­
метр 0 из множества 0 может быть в наших рассмотрениях как
скалярным, так и векторным. Например, если X Фгхо2» то О —
= (се, о2) двумерно, а множество 0 может быть как полуплоско­
стью {—оо < а < оо? о 0), так и какой-нибудь ее частью.
Математическое ожидание и дисперсию статистики S =■ S(X )
по распределению Р е мы будем обозначать соответственно
Мо5, DqS.
Мы рассмотрим ниже несколько методов оценивания, каждый
из которых можно трактовать как реализацию принципа подста­
новки эмпирического распределения.
1. Метод моментов. Одномерный случай. Выберем g{x) так,
чтобы функция
7п (В) = Meg (хА) = j g (.г) Ре {dx) (1)
была моиотонпой и непрерывной. Область т ( 0 ) зиачепий т ( 0 ) ,
6 е 0 имеет ту же «природу», что и 0 . Если, например, 0 есть
отрезок вещественной оси, то т ( 0 ) также будет отрезком.
60 ТЕОГИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Очевидно, что уравнение т (0) = t однозначно и непрерывно

разрешимо в области т ( 0 ) относительно 0: 0 = rn~l(t), и что (1)
эквивалентным образом можно записать в виде
0 = п Г 1 (j g (х) Р е (dx)). (2)
Предположим для простоты, что
—
£= J g (z) dPn (л) = -
Г п
2
г=1
е (xi) е т (©)

при всех X €Е S6n.

Определение 1. Оценкой по методу моментов называется
оценка
0* = (3)
Если g ^ i 7 i ( 0 ) , то можно положить согласно (3.1), (3.2)
0* = m - i (go),
где go е= т ( 0 ) есть ближайшая к g точка из т (0).
Нетрудно видеть, что это есть оценка по принципу подстанов­
ки. Выбор функции ?тг(0) позволил нам выразить 0 в виде функ­
ционала (2). Ясно также, что оценка (3) является статистикой
I тина, так что, в силу теоремы 3.1, оценки по методу моментов
будут сильно состоятельны. Если к тому же функция т диффе­
ренцируема в точке 0,| g2 (я) Ро (dx) <С qp, то по теореме 3.2
сценка по методу моментов будет а. и. с коэффициентом
(т' ( 0 ) r 2Deg(x,).
Метод моментов был предложен К. Пирсоном (в несколько
более частном виде) н исторически является первым регулярным
методом построения оценок.
Свое название «метод моментов» получим потому, что его
существо состоит в приравнивании друг другу «теоретических»
и эмпирических моментов (математических ожиданий) величины
g (xy): ведь оценка (3) есть не что иное, как решение уравнения
71

т (0) =. JL 2 g (х{). (4)

i=i
Можно добавить также, что в качестве g(x) часто выбирают
функцию g(x) = х или gix) = xh, к > 1, так что наше уравнение
превращается в уравнение для обычных моментов.
Равенство (4) можно рассматривать также как результат при­
равнивания среднего значения величины g(xД «по пространству»
се среднему значению «но времени».
Неоднозначность метода моментов, как и всего принципа
подстановки, здесь видна особенно хорошо: ведь выбор функции
g(x) почти ничем не ограничен. - -
л§ 4] МЕТОД ПОДСТАНОВКИ В ПАРАМЕТРИЧЕСКОМ СЛУЧАЕ 81
I
П р и м е р 1. Пусть- X С§ Га1 и а не известно. Построим
оценки по методу моментов с двумя простейшими функциями
g{x): g A(x) — х и g2(x) = х2. Справедливы следующие равенства
(см. и. 5 § 2):
оо

т х (а) = Ma gx (xj) = J жГад {dx) = 1/а,

О
со

т 2 (а) = Mag2 (Xj) =_J ж2Гад (dx) = 2/а2.

П
Решая уравпения (а) — х, т 2 (а) —— ^ xf, мы получим
г=1
оценки по методу моментов
. —1/2
а* = (х)V— 1
и а** = ■Иг- > . х? I . (5)

Обе эти оценки являются статистиками I типа, и мы можем

описать их асимптотические свойства. На основании равенств
(2.4) получаем
Da£i К ) = DaXj = 1/a2, Dag.2 (x±) = Da Xi = 20/a4.
Так как для первой оценки n ^ ia ) — — 1/a2, а для второй m 2(a) =
= — 4 /a 3, то на основании теорем 3.1, 3.2 мы получаем, что обе
оценки а* и а** являются сильно состоятельными и а. п. с ко­
эффициентами соответственно
1 , 20 a 5 о
— • a 4 = a “, —г ■—7jr ~ —г a ,
a2 a 4 1{> 4
Видимо, оцепку а* следует предпочесть, так как ее «раз­
брос» при больших п вокруг истинного значения а, измеряемый
дисперсией предельного распределения, меньше, чем «разброс»
для а**.
2. Метод моментов. Многомерный случай. Совершенно анал
гичным образом рассматривается случай, когда 0 — многомер­
ный параметр.
Пусть, как и прежде, к есть размерность 0. Выберем вектор-
функцию g(x) = (gi(x), . . . , gh(x)) так, чтобы уравнение
ra(0) - t,
где
*= t l{), т (О) = (тх (0), . . . , т к (0)),
rtij (0) = МQgj (хг) — j gj (х) Ре (dx),
было однозначно и непрерывно разрешимо относительно 0 =
6 л . А. Боровков
82 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПЛРЛМЕТГОВ [ГЛ. 2

= т _1(£) в области т ( 0 ) значений т (0 ), 0 ^ 0 . Допустим для

простоты, что вектор

-принадлежит области пг(0) при всех X е $вп.

О п р е д е л е н и е 1А. Оценка 0* ~ tn~l (g) называется оцен­
кой по методу моментов.
Как и прежде, из теоремы 3.1 следует, что такие оценки 0*
будут сильно состоятельными.
Для того чтобы имела место а. и. 0*, нужно потребовать ДО'
лолиителыю, чтобы функция m была дифференцируемой,
J g j (х) Ро (dx) < ; оо. Утверждение о предельном распределении
О* нетрудно получить с помощью теоремы 3.2Л.
П р и м е р 2. Рассмотрим в качестве {Pfl} семейство нормаль­
ных распределений Ф с/ о2. Полагая g ,(.т) = ;r, g\(x) = х \ получим
следующие уравнепия для метода моментов:
П

решение которых есть

71

Мы предлагаем читателю в качестве упражнения найти оцен­

ки по методу моментов для всех параметрических семейств, при­
веденных в § 2.
3. Обобщенный метод моментов. Возможно следующее обоб­
щение метода моментов, которое существенно расширяет рассмот­
ренный выше класс оценок. Ограничимся для простоты случаем
одномерного параметра 0. Рассмотрим функцию двух переменных
g{x, 0) и предположим, что для всякого распределения Р урав­
нение

(6)
разрешимо относительно 0 = С(Р), так что последнее равенство
вместе с (6) превращается в тождество 0 = GKP0) при Р = Р 0.
Оценкой по обобщенному методу моментов мы назовем
оценку

Очевидно, что, как и оценки по методу моментов, ото есть

оценки подстановки. Исследование свойств таких оценок болео
\ МЕТОД МИНИМАЛЬНОГО РАССТОЯНИЯ 83

сложно. В этом мы убедимся в последующих параграфах, по­

скольку окажется, что одпа из оценок подстановки, которую мы
будем детально изучать, будет оценкой по обобщенному методу
моментов.

§ 5*. Метод минимального расстояния

Метод, указанный в заголовке, как и метод моментов, являет­
ся реализацией принципа подстановки и состоит в следующем.
Рассмотрим какой-нибудь функционал от двух распределений
d(Р, Q), который обладает тем свойством, что как функция от
Q он достигает своего минимума при Q = P и сДР, Q) > d{P, Р)
при Q ^ P . Мы будем рассматривать величину сЦР, Q) (или
d(P, Q) — с2(Р, Р)) как «расстояние» между Q и Р, так что Р
можно определить как значение Q, при котором d(Р, Q) дости­
гает своего наименьшего значения.
Пусть теперь Р неизвестно п принадлежит семейству
Обозначим^ через (Q)^» распределение из ближайшее к
распределению Q в смысле расстояния d, и допустим, что оно
существует:
d((Qb>, Q ) = min d ( n , Q ) ,

так что (Q)^> = Q, если Q e 3*.

О п р е д е л е н и е 1. Оценкой распределения P no минимуму
расстояния d называется распределение гдо
Р,*, как и прежде, эмпирическое распределение.
Таким образом, при 11 = Р* — (Р ?*)^> минимизируется
< г(п ,р Ц . Если 03 совпадает с множеством всех функции распре­
деления, то, очевидно, Р* = Р п.
Пусть теперь = {Ро}е=© есть параметрическое.семейство,
удовлетворяющее следующему условию:
(А ) Ро1:/ : Ро2 при
В этом случае отображение 0 Р е ^взаимно однозначно, так что
распределение позволяет единственным образом восстано­
вить параметр G, для которого Р = Р е. Этот факт можно выра­
зить и иначе: существует функционал G, определенный па 0 3,
такой, что 0 = G (Pe).
Введем в рассмотрение функционал Gy (Q) = G ((Q )^). Это
есть, очевидно, значение 0 ^ 0 , нрн котором Р 0 будет ближайшим
к Q распределением в смысле расстояния d, так что
G ,(Pe) = G (Pe) = e. (1)
О п р е д е л е н и е 2. Оценка 0* = Gt (Р,*) называется оцен­
кой параметра 0 по минимуму расстояния d.
6*
£4 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Другими словами, 0* есть значение из 0 , для которого

d ( P e „ , P * ) = i n f Д Р е , Р*).
0=0
Очевидно, что здесь мы снова имеем дело с принципом подста­
новки. Это вытекает нз определений и (1). Разумеется, расстоя­
ние d и семейство 0s = {Р0} должны обладать свойствами, обес­
печивающими измеримость отображения в осуществляе­
мого функционалом £»т(Р*)т так чтобы б* была случайной ве­
личиной.
Отметим теперь, что в параметрическом случае при выполне­
н ии условия (Л0) сужение метода подстановки (см. (3.1), (3.2))
и метод минимального расстояния дают один и тот же класс
оценок.
Действительно, мы уже знаем, что оцепки минимального рас­
стояния 0* являются оценками по методу подстановки, при этом
б* е 0. Пусть теперь 0* есть оценка по методу подстановки:
0* — £ (Р тг), где G (P6) = 0, 0 * ^ 0 . Определим расстояние
d(P, Q) = IGKP) — G(Q) I. Тогда, очевидно, при 0 =я 0* достигается
in f d(P e, P j) = inf I G(
P„) — С ( p ; ) I = inf I
fie 0 e<=© 0e0

Можно заметить также, что метод момептов существенно уже

метода подстановки, поскольку очевидно, что не каждый функ­
ционал G такой, что 6ЧРО) = 0 , допускает представление вида
G (Р 0) = mT1 (J g (;г) Р е (dx)).
Вернемся к оцепкам минимального расстояния. Ясно, что
можно указать много «разумных» расстояний d, которые можно
использовать для построения оценок. Мы могли бы в качестве d
взять расстояние
d (Р, Q) = sup | FP (х) — F q { х )
X
|
ИЛИ

d (Р, Q) = j {Рр {х) — Fq {x))~dFQ(ж),

где F,,(x) — функция распределения, соответствующая распреде­

лению Р. Оценками 0* по минимальному расстоянию здесь будут
значения 0,. для которых достигается соответственно

inf sup | F Pq ( x ) — F n (x) |,

(2)
i of J ^ - К ( х ) ) 2* К ( х ) = Ш ± 2 1 Г ъ Ы )-^ )‘
 МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ 85

В некоторых задачах (ср. с [37]) используются так называе­

мые оценки п о . минимуму %2 (xu-квадрат). Это есть оценки но
минимуму расстояния

«(P.Q

где А и , . Дг — разбиение R (или R m, если х, те-мерны) на

Г
г < оо интервалов, так что (J Дi ~ R . Таким образом, оценка 0*
i=l
но минимуму %г есть значение 0, при котором минимизируется

„ V (ро (д 0 - v» 2 V ('lPe (л 0 ~ vi)*

fit pe<A0 S иРо'(Д0 '
Здесь Vj — нР* (ДД есть число наблюдений xjt попавших в ин­
тервал Дг. Статистика в правой части (3) есть уже известная
нам статистика отсюда и происходит название оценки.
Ниже мы увидим, что существует такой фуикциопал G, 0 =
= G (Pe), для которого оценки но принципу подстановки, называе­
мые оценками максимального правдоподобия, будут в известном
смысле наидучшими. В силу этого обстоятельства оценки, рас­
сматриваемые в этом параграфе, не имеют, вообще говоря, широ­
кого распрострапепия и подробнее нами рассматриваться не будут.

§ 6. Метод максимального правдоподобия

Пусть снова З3 есть параметрическое семейство (Ре}еее.
Относительно этого семейства мы будем предполагать в дальней­
шем везде, где это потребуется, выполненным условие
04о) 5*^ Pg2 нри Ох 0 2>

а также следующее условие, которое мы назовем условием (Д ().

04,*): Существует о-копечпая мера р в фазовом пространстве
{Ш ,39 такая что все распределения Р е е <р имеют относитель-
rfPG
но этой меры плотностьf в (х) — 0е)» так что

Р 0 {В) = J /о (х) р (dx).

В этом случае говорят, что мера р доминирует распределения Р 0.

Все семейства распределений, рассмотренные в § 2, очевидно,
удовлетворяют условиям 040) и С4Й). В качестве р для одних
распределений надо взять меру Лебега (абсолютно непрерывные
распределения), для других — считающую меру (дискретные рас­
пределения), Считающая мера р определяется так: р(В) = /с,
86 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАГАМЕТРОГ. [ГЛ. 2

где к есть число точек с целочисленными координатами, при­

надлежащих В.
К первым относятся нормальное Ф а2, логнормальное L
распределения, Г- и В-распределепия, равномерное распределе­
ние, распределение Коши, распределения Стыодепта и Фишера.
Ко вторым — распределения Бернулли, Пуассона, вырожденное
в нуле и полиномиальные распределения. Вид плотностей f Gix)
этих распределений прпведен в § 2. В дискретном случае (когда
р есть считающая мера) плотность f 0ix) совпадает с вероятпостыо
Р е(Ш ) события {xt = a:}; здесь {#} означает множество, состоя­
щее из одпой точки х. Можпо отметить также, что, например»
нормальное распределение Фа 02 п распределение Пуассона вза­
имно сингулярны. Вместо меры Лебега и считающей меры мы
могли бы брать н другие меры — например, нормальное распре­
деление Ф 0;! н распределение Пуассона IK соответственно. Од­
нако в этом случае плотности feix) будут, очевидно, другими.
Мы предлагаем читателю паытн их. Приведенные выше примеры
относились к случаю 96 — R или 96 = R m, т > 1. В произвольном
фазовом пространстве {96, S 3 природа меры р может быть бо­
лее сложной.
Введение условия (Лц) удобно прежде всего тем, что оно
позволит нам в дальнейшем с единой точки зрения рассматривать
два наиболее важных в приложениях типа распределений — аб­
солютно непрерывные и дискретные. С точки зрения условия
(Лц) качественная разница между ш ш и отсутствует. Кроме того,
становится несущественной размерность фазового простран­
ства 96.
Условимся писать
fix ) = g ix ) П. В. [рТ,

если существует множество Л, р ( Л ) = 0 , такое что fix ) — gix)

для всех х ф. А . Очевидно, fix ) = gix) п. в. [р] тогда п только
тогда, когда

J (/И “ g H)‘V idx) = о.

Л е м м а 1. Пусть f и g — две плотности вероятности относи­
тельно меры р. Тогда

j / (х) In / (ж) р (<&)> J / {х) In g {х) р idx), (1)

если оба эти интеграла конечны. Знак равенства возможен, лишь
в случае f = g н. в. [р].
Здесь принято соглашение, что интегралы в (1) по множеству
Л, на котором fix ) = 0, равны нулю при любой gix)<
 МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ 87

Д о к а з а т е л ь с т в о . Пам иадо доказать, что

/ (я) l n 7 ^ f Р (dx) < °*

Так как In (1 + я) sg я при всех х 5* —1 и знак равенства возмо­
жен лишь при х = 0, то
1л ^ ^ 1п /1 ' ( —^Y)_____ 1 <Г —— _____ 1
1п / (х) - 1,1 ( / ^ ( / (X) 4]J ^ / (х)
и знак равепства здесь возможеп лишь при /(ж) => gix). Поэтому

f / И 1п7 [ ^ И^ ^ J f № ( j j ^ ~ 4) Р =
= J ё И I1 (<&) — j / (ж) I1 (da;) = °* (2)
Если соотношение f ~ g п. в. [р]не имеет места, то,очевидно,
знак неравенства в (2) будет строгим. <3
Рассмотрим теперь семейство 5э = { Р е}еев, удовлетворяющее
условиям (Д0), (Д Д и «расстояние» d (P 0, Q) между произволь­
ным распределением Q и распределением Ре е 03.

d (р е, Q) = — j In /о {х) Q {dx). (3)

Определим функционал G{Q) как значение 0, при котором

достигается
min d (Р0, Q) = d (PC(Q), Q).
e
Из леммы 1 и условия (Д0) следует, что
— j К In /o(i (dx) > — j /е„ 111 /е0[Д(dx),
d (Ро, Pe0) > d (Р в(|, Ро0)
при 0 Ф 0О. Эго означает, что
^ (Р « о) = 0о. (4)
О п р е д е л е н и е 1. Оценкой максимального правдоподобия
(о. м. п.) называется значение 0* = G (P *), т . с . значение 0 ,
при котором достигается
П
max \ in /о (ж) Рп (dx) = max ~ 2 In / е (хД (5)
о J о п
Символ над обозначением оценки везде в дальнейшем будет
соответствовать о. м. п.
Из определения и (4) следует, что о. м. п. является оценкой
подстановки. Ее можно рассматривать также как оценку но
88 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

минимуму расстояния (3). Это расстояние тесно связано с рас­

стоянием Кульбака — Лейблера между распределениями, которое
играет в математической статистике особую роль и будет нами
рассмотрено позже.
В определении 1 семейство {Ре} предполагается таким, чтобы
0* была случайной велпчппой *).
Поскольку максимум некоторой функции может достигаться
в песколышх точках, то о. м. п., вообще говоря, не един­
ственна. Соответствующий, пример мы приведем несколько позже.
Название этой оценки связано со следующей важной интер­
претацией выражения

2 In /е (х{) = In П /е (х0,
i= l i —1
присутствующего в (5). Для простоты рассмотрим сначала диск-
П
ретный случай, когда ц — считающая мера. Тогда П /е(хг) есть
г—1
вероятность появления исхода X = (xl7 , . хп), Стало быть, мы
выбираем в качестве 0* значение параметра, которое максими­
зирует эту вероятность (ведь функции ср(0) > 0 н In ср(0) дости­
гают экстремумов в одних и тех же точках).
Аналогичное толкование имеет место и в общем случае. В си­
лу независимости хг имеем для множеств В = В 1х , . . Х В п, В г е

Р0 (X <= В) = f /о (xt) [I (dxv) . . . \ /о (хп) Ц (dxu).

\ Вп

Напомним, что ж,-, в отличие от элементов выборки х£, обознача­

ют переменные величины, вектор (ж17 . . . , х п) обозначается через
х . Пусть }in есть /г-кратное прямое произведение мер ji, так что
?г

(dx) -П Тогда (6) означает, что

i= l

Р„ (X <= В) = ,f ( П /о Ог) ) р" (dx)

В \ г—1 )
п
и что, стало быть, функция /о (ж) — П /о (х г) есть плотпость
г—1
распределения случайного вектора X в относительно ме­
ры ц",
j /о (х) р," (dx) г= 1.
k n

*) То есть 0* осуществляет измеримое отображение ( £ ? п, в

(fl\ 8 h).
 МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ 89

п
Таким образом, П
i= l
fe{x{) \in (dx) можно интерпретировать (ана-
логично дискретному случаю) как вероятность попадания выбор­
ки в параллелепипед, образованный пересечением «полос» (х,,
сс{ Jr dx{), и оценка максимального правдоподобия максимизирует
по 0 эту вероятность.
Функция
П у
/е(*) = П /о ( * 0 -
i=l

как функция от 0 называется функцией правдоподобия, а функ­

ция

£ (X, О) = in /е (X) = 2
г—1
г (х4, е), ^

где Их, 0) = In /о Ы ,— логарифмической функцией правдоподобия.

Такое же название за функциями / и L мы будем сохранять
и в том случае, когда в качестве аргумента вместо X стоит пере­
менны*! вектор х . Таким образом, функция правдоподобия f 6(x)
есть функция на 96п X 0 , являющаяся при каждом 0 ^ 0 плот­
ностью вероятности относительно меры р п, так что плотность
/o(^i) в 96 также есть функция правдоподобия для случая п 1.
С другой стороны, /е(Х), например, в случае 96 = R можно
рассматривать как функцию правдоподобия выборки объема 1
в многомерном случае, когда 96 — l i m = R n.
Важно отметить, что о. м. п. от выбора меры р пикак не за­
висит, так как при замене р па какую-нибудь эквивалентную
меру р,, функция правдоподобия / е(ж) изменится л и т ь на мно-
dp11
житель (х), от 0 не зависящей.
Асимптотические свойства о. м. п. можно было бы исследо­
вать па том яге пути, который мы использовали при изучении
оценок по методу моментов. Именно, мы пользовались там тем
фактом, что оценки по методу моментов являются статистиками
I типа. Это позволило нам сразу установить их сильную состоя­
тельность и асимптотическую нормальность. При выполнении не­
которых условии на fe(x) о. м. п. будут статистиками И типа,
п это также позволяет (см. теоремы §§ 1.5, 1.8) устанавливать
их состоятельность и асимптотическую нормальность. Однако нам
будет удобнее изучать свойства о. м. н. непосредственно (см.
§§ 23—27), так как это позволяет провести исследование более
экономно и полно.
Найдем функции правдоподобия и о. м. п. для некоторых рас­
пределений из § 2. Для гладких функций правдоподобия макси­
мум проще всего искать путем приравнивания нулю первых про-
пзводпых.
90 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

П ример 1. Нормальное распределение Фа о2 в — R име­

ет плотность
(ж—а )2
/ \ [ Л/т2 _
Ф«о2
’ (ж 1 /т
оУ ^ лге * — оо<а<оо, о > 0.

Полагая в этом случае 0 = («, о2), получим

п ( п Л

/о («) = (2л) 2о~п ехр | — ^ 2 (®i “ а )4>

П
L (X, 0) == — ~ In 2л — п In а — ^ 2 (х{ — a f .
20 г=1
Так как In есть монотонная функция, то, как уже отмечалось,
/ и L достигают максимума при одних н тех же 0. Имеем
П
SL IV / >
i—1
8L
до

Реш ая для точки максимума систему уравнений

— = 0, -4^- = 0,
оа до
получаем

а* = х, (о2)* = £ 2 = ~ (х* — х )2.

г=1

Нетрудно проверить, что в этой точке действительно достигается

максимум L.
П р и м е р 2.. Рассмотрим Г-распределение с плотностью

Уа (х) = х %~ге~ах, о: > 0, а > 0,

в случае, когда параметр А, известен. Имеем

/I /7

L (X, а) = Ал 1п а — п In Г (?i) -J- (А, — 1) У. In х { — а 2 ?ч,

?=ч i—l
dL hr — ' * „
— ---------- jX/? С6 — А /Х .
сУа а ’
п р и м е р 3. Биномиальное распределение В,,. Здесь дляХ^Ё
(§Ё Вр имеем Р(х4= 1) = р, Р(х; = 0) = 1 —/;,
/ Р(Х) = д'(1 - р ) п~ \
 МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ 91

где v — число появлений 1 среди элементов xt, ..., х п. Стало быть,

L(X, р) = v \и р + (п —v) In (1 —р),
OL v п —V _ v
др р 1—р’ Р п*
Мы предлагаем читателю в виде упражнения попытаться пай-
ти о. м. п. для всех параметрических' семейств, приведенных в
§ 2 , и сравнить их с оценками по методу моментов.
Приведем теперь два примера несколько иного типа, когда
функция /о не является гладкой по 0, и методы отыскания о. м. п.,
связанные с дифференцированием, не действуют.
П р и м е р 4. П устьX ^ U 0fl.(_o (равномерное распределение
на [0, 1 + 0J). Здесь
J1, ж е [6 , 1 + 6 ] ,
/о (*) (О, х ф. [0,1 + 0],
1, 0 ^ Х(х) ^ Х(П) 1 + 0,
/о(Х)={о в противном случае,
где х(1) < . . . ^ х(П) — вариационный ряд. Оценка м. п. в этом при­
мере не единственна. Действительно, /е(Х) — 1 (т. е. максимально­
му значению) при любых 0, удовлетворяющих соотношениям х(п) —
— 1 + 0 + х,. Так как x(n>—х(1) + 1} то такие 0 всегда существуют.
Ыы можем взять, в частности, 0* = x(t) нля 0* = х(п) — 1.
П р и м е р 5. Пусть X е U0,e. Здесь
{о \ ж е |0, 0],
/е И
(О, ж <=£[0,0],
(п~п
0_n, если Xi е 10 , 0 ] при всех £ = 1, 2 , . . . , п,
0 в противном случае.

Чтобы получить вид функции / е(Х) как функции от 0, перепишем

условие Xi е= [0 , 0], £ = 1, ..., п, в эквивалентной форме 0 +
S* m axxi = х (п). Таким образом, / е(X) = 0 при 0 е [0, х(п)), и
/ О( Х ) = 0 “" при 0 ^ ( х (п), оо). График этой функции представлен
на рис. 1. Здесь, как и в предыдущем примере, функция / 0 раз­
рывна. Максимум /о достигается в точке 0* = х (п).
Диалогичным образом читатель может найти о. м. п. для дву­
мерного неизвестного параметра (а, (П, когда X Ua>0.
Если / е(х) **иеограпичеиа и точки х в, в которых /е(.Те) = 0°,
зависят от 0, то метод максимального правдоподобия в значи­
тельной мерс теряет свой смысл (мы приняли здесь соглашение
/е(жв) = 00, если /о(ж) -> «о при х 1 х 0 или х t же). Проще всего это
понять на примере параметра сдвига, когда / е( ж) =/ ( ж —0 ),
/(ж) > 0, /(0) = оо. Тогда /о(Х) = оо при 0 = х1} 0 = хп и, стало
02 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

быть, 0* припимает по крайней мере п зпачешш, совпадающих

с элементами выборки. Существо этого эффекта в том, что в этом
случае «Есплески» /еСЮ не дают возможности судить о положе-
иии точки «истинного» максимума /е(Х), обусловленного влия­
нием всей выборки (ср. с §§ 24, 25). Чтобы получить таковой,
следовало бы каким-то образом
к fe(x) «сгладить» выбросы j 0(X).
Оценки м. п обладают следу­
ющим важным свойством инва­
риантности относительно замены
параметра.
_______________ Т е о р е м а 1. Пусть [К0) есть
~ ' ~(Г ф ункция, осуществляющая вза­
имно однозначное отображение
Рис- 1* множества 0 на множество В.
Тогда если 0* есть о. м. п. по вы­
борке X параметра 0, то p* = {U0*) будет о.м. п. по выборке X
параметра () = р(б) для параметрического семейства {Qp = Pe(P)}PsB,
где 0(р) есть ф ункция, обратная к {Кб).
Д о к а з а т е л ь с т в о теоремы мы опускаем ввиду его очевид­
ности.
Отметим, что пеявно мы уже пользовались теоремой 1 в при­
мере 1, где в поисках о. м. п. для о2 искали максимум L по о и
затем взяли (о2)* = (о*)2.
Другой пример использования этой теоремы — отыскание
о. м. п. в случае X6=La ст2, т. е. в случае, когда распределение х с
логнормально: In х ^ Ф а ог. Для таких средпее а и дисперсия
d2 равны соответственно (см. § 2)
а — exp {a -f- а 2/ 2}, сР ~ а2(.е°2 — l).
Если обозначить а* и (d2)* о. м. п. для а и d2, то в силу свой­
ства инвариантности получпм для функции (а, (V) = (Ца, а2) (см.
пример 1)

П П
где Y = (ylt . . . , Уп), Уг = 1п Х Ь Sy (у* “ у ) 2«
г -1 L " i= l

Приближенному вычислению о. м. п. в более сложных ситуа­

циях посвящен § 26.'
В заключение этого параграфа сделаем следующее замечание. Мы уж е
говорили, что о. м. п. является оценкой подстановки. Но о. м. п. при опре­
деленных условиях можно рассматривать и как оцепку обобщенного мето­
да моментов. Действительно, предположим, что функция / е (ж) дифференци­
руема по 0, и законно дифференцированно по этой переменной под знаком
 О СРАВНЕНИИ ОЦЕНОК 93

интеграла в равенстве
j /еИ И{Ах) = 1.
Тогда

O-.J f'0(x)p{dx)=* j =
■= j Р (*» 0) /о (*) Ц (<*-г) = М0г (хА, 0).
{/eW^o}
Таким образом, если мы в (4.6) положим g(x,
0) = 1'{х, G), то получим для
оценки по обобщенному методу моментов уравнение

j V (х, G) Р * (dx) = J V (х, 0) Р е (dx) = О

или, что то же,
Z,"(X, G) = 0.
Это есть уравнение для б. м. п.

§ 7. О сравнении оценок
Мы видели, что существует много весьма естественных; под­
ходов к получению оценок. Возникает вопрос — как сравнивать
между собой разные оценки и какие оценки следует предпочи­
тать другим? Мы выделим два подхода к сравнению оценок —
среднеквадратический и асимптотический.
Первый из них основан на сравнении среднеквадратических
уклонений. Второй подход применим лишь к выборкам большого
объема, так как он основан на сравнении «рассеиваний» распре­
делений для (б* — G) У/г при больших п. Основанием для такого
сравнения служит обычно вид предельных распределений для
(0* —0)У/г нри п -> сю (если таковые существуют). Соответствую­
щие предельные теоремы дают нам условия, при которых распре­
деление (0* — б)Утг при больших п можно приближать с помощью
упомянутых предельных распределений.
В этом параграфе предполагается, что оценки сравниваются
при каком-то одном неизвестном, но фиксированном распределе­
нии выборки Р.
1. Среднеквадратический подход. Одномерный случай. Это
подход используется при рассмотрении оценок по выборке X лю­
бого фиксированного (не обязательно большого) объема. Он со­
стоит в сравнении средиеквадратических уклонений М (0* — б)2.
П р а в и л о 1. Оцепку 01? в соответствии со средпеквадрати-
ческим подходом, мы будем считать лучшей, чем 02, если
м ( о Г - о ) 2< м ( е * - е ) \ (1)
94 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ 2

Широко распространено представление о том, что среднеквад-

ратическая погрешность является наиболее подходящей числовой
характеристикой точности оценки, хотя это обстоятельство со
многих точек зрепия является спорным — ведь можно сравнивать,
скажем, величины М | 0* — 0 |, также описывающие средние зна­
чения уклонений 0* от 0.
Несомненное преимущество характеристик М (0* — 0)2 состав­
ляет тот факт, что (0* — О)2 есть аналитическая функция разпости
0* —0. Это делает многие рассмотрения более удобпыми, а так­
же позволяет приближать, как мы увидим позже, значения
М /(0*—0) для гладких функций /.
Наряду со средиеквадратическим уклонением для описания
свойств оценок часто используется также величина смещения.
О п р е д е л е н и е 1. Смещением оценки 0* называется вели­
чина ^
b = М0* — 0.
Оценка 0*, для которой Ь =»О,.называется несмещенной.
Среднеквадратическое уклонение связано со смещением и дис­
персией оценки равенством
М (0* — 0)2 = D0* - f 63,
так что для несмещенных оценок среднеквадратическое уклоне­
ние совпадает с дисперсией.
Само по себе свойство несмещенности представляется, оче­
видно, желательным свойством оценок, поскольку оно означает,
что в данной последовательности оцениваний среднее значение
оценок будет совпадать с истинным значением параметра. Fcnn
этого свойства нет, то оценка называется смещенной.
П р и м е р 1. Рассмотрим следующие три оценки для среднего
значения 0 = Мхг распределения Р:

еГ = Д е; = с*, йз = х»>+*<">, <2)

где — выборочная медиана, х(й), /с = 1 , . .., п,— значения вариа­
ционного ряда, так что = x((rc+i)/2)> если п печетпо, и —
1 '
— ~2 (х (п/г) + x(n/2+i))> если п четно (при и = 1, 2 все три оценки

совпадают). Все оценки являются несмещенными, если распреде­

ление Р, из которого извлечена выборка, симметрично относитель­
но 0(Р ((—°°, 0 —£)) = Р((0 + f, °°)) при любом 0). Это следует
из того, что распределение всех трех опенок также будет симмет­
ричным относительно 0. Для х утверждение о несмещенности
М х = 0 очевидно и без предположения о симметрии.
Вычислим средпеквадратические уклонения оценок (2). Для
простоты мы ограничимся случаем Р = U 0.i, п = 3, для которого
 О СРАВНЕНИИ ОЦЕНОК 95

оценки (2) перейдут в

еГ = х, е* = *«>, е3* = - ^ 4 М -
Имеем
i
Dxj = J {х - 1/2f d x = 1/12, М (еГ — е )2 = Dx = Dxx/3 = 1/36.
о
Далее, в силу определения медианы Ы недетно) {Е* <•*} :
= | f ; ( * » i / 2 ) и, стало быть,
П
Г (? ,* < : г ) = Р ( р : (х ) > 1 /2 ) = -2 Р ( п К О ) = Л ). (3 )
*=(«+1)/2
Для ?г = 3
Р (F J (я) = 1) = Р ^ п г {Xi< х}^ = /?3

Р ( з F*s (х) = 2 ) = 3F2 (ж) (1 — F (ж)).

Вероятность Р( £*^( гг, гг + г/гг)) складывается из вероятностей
событий вида (xi е= (гг, гг + г/гг)Нх2 < гг){х3 > гг). Так как всего
возможно 6 таких комбинаций, , то Р( £*^( гг , гг + г/гг)) = 6/(гг) X
X F {u )ii ~ F (и))du, и, следовательно, £* имеет плотность, равную
(это вытекает и из (3))
6/(гг)7Г(гг) (1 —F iu)),
U

где F (гг) = j / (/) dt = Р (хх < гг). В случае Р — U 0ii эта плотность
—оо
будет равна Qtxil —х) при х ^ [0, 11, так чтб
1
М (V Y = J Gx3 (1 - х) dx = сfа - А) =
О
Dt* = М К*)2 - (ME*)2 = ± i = -А

Пам осталось найти дисперсию оценки

0з—-.. 2-- Х (1 ) + Х (3)

Рассуждая аналогично предыдущему, нетрудно убедиться, что

вероятность P (x (i) (и, и + da), х {3) ^ iv, v + dv)) при u < v равна
tifiu )l(v)iF iv) —F iu))du dv. Поэтому для P = TJ0,i
I V

M ( o j) 2 = J J j 6 (к — u) du dv.
О О

Значение этого интеграла равно 11/40 (вычисления читатель

96 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

может провести самостоятельно), так что

D03* = м (е 3*)2- ( м о ’ )г = 1140 ~
JL _ J_
4 ~ 40 *

Итак, оценка 0* оказалась наилучшей. Для' других зпачений

п и других распределений Р положепие может оказаться другим.
Мы увидим, например, что для Р == Фа сг паилучшей оценкой для
а будет 0* = х.
П р и м е р 2. Несмещенные оценки дисперсии, Рассмотрим
оценку для дисперсии

s2 =
а также оценку
= V 2 Ui - Mxi)a = i 2 X? + (MxJ> - 2TMx,

<обе по принципу подстановки) в том случае, когда Мхг извест­

но. Оценка S I, очевидно, является несмещенной. В то же время

^ = = м^ ) 2=

= | 2 <х* - Мх.)а - (* - М х. ) 2 = & (х - Mxi ) 2 < ,

Таким образом, оценка S 2 является смещеппой,

MS2 = Dxx - Dx = ( l - 1 ) Dxj.

Это соотношение показывает, что мы можем рассматривать и в
случае неизвестного Mxj несмещенную оценку дисперсии, равную
•?0 = j 4 l ^ = S4 - 1 2 ( x i - r ) 2, MiSo = Dxj.

Перейдем теперь к асимптотическому подходу к проблеме

сравнивания оценок. В этом случае правпло для предпочтения
оценок выбирается однозначно.
2. Асимптотический подход. Одномерный случай. Пусть даны
две оценки 01 и 02 такие, что
(в? — в) 1/я ( 02— О) У " л
> -— € > Q, А - & Q. О)
I 2
где Q — некоторый предельный закон расиределсппя, один и тот
же для 0i п 0*, a a2>Oi . Тогда при больших п распределения
(б* — б) УГ^ / сгг» г = 1,2, будут близки к Q, и несомненно, что
«рассеивание» б* вокруг 0 будет больше «рассеивания» 01,
и нам следует предпочесть 01.
 О СРАВНЕНИИ ОЦЕНОК 97

Таким образом, существо асимпотического подхода состоит в

сравнении ’предельных распределений оценок.
Мы уже видели и будем убеждаться в этом и в дальнейшем,
что многие возникающие естественным образом оценки, в том
числе и оптимальные (об этом ниже), являются асимптотически
нормальными, т. е. для них справедливо (4) при Q = Ф0,1. Это
позволяет нам сформулировать следующее естественное правило
сравнения а. п. оценок.
Пусть даны две а. н. оценки Ох и 02 с коэффициентами и
2
соответствеппо.
П р а в и л о 2. Оценку 0х следует признать лучшей, чем 0
если с ф < о 2.
В дальнейшем, при использовании этих и других правил, мы
будем наряду с термином «лучше» использовать, где это требует­
ся, также слова «не хуже», «хуже», «пе лучше». Они будут со­
ответствовать знакам неравенства =^, > , ^ между crj1 и (или
между М(еГ — е )2 и М (О* — е )2
в Ш ). Если = с 2, то оцепки
мы будем называть асимптотически эквивалентными. Предлагае­
мое соглашение естественно, и в дальнейших определениях мы
оговаривать его каждый раз пе будем, а будем ограничиваться
лишь определением отношения «лучше» или аналогичных ему.
Отметим, что в классе а. п. оценок мипимальпость рассеива­
ния 0* означает, что величина
lim Р ( | 0* — 0 | < и / V п )

будет максимальной при каждом и. Это обстоятельство делает

указанное правило для сравнения а. н. оценок бесспорным.
Асимптотический подход при всей своей естественности об­
ладает существенным недостатком: он применим лишь к выбор­
кам большого объема и лишь е классе а. н, оценок.
Отмеченные два подхода в известном смысле близки друг к
Другу — в обоих случаях дело сводится к сравнению дисперсий
или величии, близких к ним. Конечно, величина erf/ п в (4) при
Q — Фо.1 может существенно отличаться от М (0* —0)2. Однако
примеры, иллюстрирующие этот факт (мы предлагаем читателю
построить их), носят, как правило, искусственный характер.
Дальнейшее изложение этой главы во многом связано с пост­
роением оценок, оптимальных для каждого из двух введенных
подходов.
П р и м е р 3. Пусть Х(==- Г а д . В примере 1 § 4 было показано,
что обе оценки

являются оценками но методу моментов. Кроме того, является

3 А. А. Боровков
Q8 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

также о. м. п. Было установлено, далее, что обе оценки а. и. с

5 *
коэффициентами, соответственно, а и-^ а 2, так что оценка а х
лучше, чем а* с точки зрения асимптотического подхода. Тот же
результат при п ^ 2 мы получим для среднеквадратичного под­
хода.
Приведем теперь пример, показывающий, что в зависимости
от свойств распределения одна и та же оценка может быть луч­
ше или хуже, чем некоторая другая фиксированная оценка.
П р и м е р А. Рассмотрим задачу об оценке 0 = Мхх, если из­
вестно, что и Р — симметричное относительно точки 0
распределение (ср с примером 1). В этом случае медиана рас­
пределения £ совпадает с 0. Мы рассмотрим две оценки для 0
(обе по принципу подстановки): среднее 0д = х и выборочную
медиану 02 — С*-Пусть, для определенности, п нечетно. Из след­
ствия 2.2.1 при к = (п + 1)/2 следует, что если функция распреде­
ления F непрерывно дифференцируема в точке 0 = £, то
(Е*-Е) 1 ё Ф „ , 1, t(x ) = F '(x ).

Иными словами, в этом случае £* является а. п. оценкой с ко­

эффициентом = 1/(Af1 (£)).
С другой стороны, а. и. оценка х имеет коэффициент of = Dxj.
Таким образом, если

то мы должны предпочесть оценку х. Если знак неравенства бу­

дет обратным, то £*. Следует отметить, что числа j
(х — QfdF (.г)
и /(£) представляют очень мало связанные между собой харак­
теристики распределен ия.
Рассмотрим важный частный случай, когда мы оцепиваем па-
•j
раметр а по выборке А § Ф „ „2 -В этом случае / (а) = /(С )= —~7= >
о у 2л
так что
о2— 2~ О"
„2 Л
сг -—Од.
о ___ ____ о 2

Это значит, что статистика х в данной ситуации лучше, чем £*.

Однако, как мы видели, нетрудно построить пример распределе­
ния, для которого предпочтительнее будет статистика £*.
17ример с медианой весьма поучителен и в другом отношении.
Он показывает, что скорость убывания степени рассеивания —
— Е; может быть любой. Чтобы убедиться в этом, достаточно об­
ратиться к замечанию 2.2.1. В условиях этого замечания норми­
рующим множителем, который обеспечивает сходимость £* —
к предельному распределению, является величина н1/(2т), где у —
 О СРАВНЕНИИ ОЦЕНОК 99

любое неотрицательное число (см. (2.12)). Множитель }'п соот­

ветствует лишь гладким распределениям.
Приведем теперь один реальный эксперимент с выборкой объ­
ема /1 = 101 из нормальной совокупности Ф 0,1 и посмотрим*),
как значения х и приближают 0 при п — 11, 21, 51, 101. По­
лученные данные приведены в следующей таблице:

п '■ -11 21 51 101

X —0,283 —0,254 —0,148 —0,072

t* —0,291 —0,292 —0,078 —0,044

В этом примере оценка £* при тг = 51,101 ведет себя лучше,

что есть результат случайного отклонепия. Чтобы почувствовать
преимущества х, надо было бы провести много таких экспери­
ментов.
Посмотрим теперь, как выглядят два сформулированных вы­
ше подхода к сравнению оценок в многомерном случае, когда 0
есть вектор (0t, . . 0J .
3. Среднеквадратичный и асимптотический подходы в много
мерном случае. Асимптотический подход, как и прежде, мы бу­
дем использовать лишь в классе а. п. оценок. В этом случае все
дело сводится к сравнению многомерных нормальных распределе­
ний (предельных для (0* — 0)У?г), которые полностью описыва­
ются матрицей вторых моментов с2 (см., например, теорему 3.2А).
Если рассматривать среднеквадратнческий подход к сравнению
точных распределений 0*, то дело также сведется к возможности
сравнивать два распределения в R h на основании знания момен­
тов- (0* —0) второго порядка. Таким образом, в обоих случаях мы
должны уметь сравнивать по «степени рассеивания» матрицы
моментов второго порядка.
Рассмотрим наиболее естественные способы сравнения.
Пусть Qt и Q2 — два произвольных распределения в R h. Обозна­
чим и £2 какие-нибудь случайные векторы, обладающие эти­
ми распределениями: Ег ^ Qi.
О и р е д е л е п и е 2. Мы будем говорить, что среднеквадрати-
ческое рассеиваппе распределения Qt около точки a ^ R h не боль­
ше, чем рассеивание Q2, если для любого вектора а = (щ, . . ak)
М ( |, — a , a f М (£„ — а , а)2, (5)
и
где ( х , а) = 2 х г°\ есть скалярное произведение.
i—1

*) Выборка А' построена с помощью случайных чисел, взятых нз таб­

лиц [8] (взяты первые 101 число на стр. 434),
у*
100 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ 1 [ГЛ. 2

Мы будем говорить, что рассеивание для Qi меньше, чем для

Qz, если в (5) имеет место зпак строгого неравенства хотя бы
для одного а. х
Если а = M£i = М£2, то неравенство (5) означает, что по лю­
бому направлению а дисперсия распределения Qt (т. е. дисперсия
проекции | i на а) не превосходит такой же величины для Q2.
Если d] — | d'i]! — матрица вторых моментов Qh 1^=1, 2, то,
раскрывая скобки в (5) при а = 0, получим для любых аи , . ак

2 dgW j< .2 (6)

i,j=l i,j=l
Это соотношение па языке матриц мы будем обозначать
d \< d l ' (7)
Опо означает неотрицательную определенность матрицы d\ — d\.
Таким образом, среднеквадратическое рассеивание Qi около
нуля не превосходит такового для Q2 тогда и только тогда, когда
для матриц моментов второго порядка имеют место неравенства
(6), (7).
Правила предпочтения оценок в многомерном случае можпо
сформулировать следующим образом.
Среднеквадратический подходу оцепка 0^ лучше, чем 02, если
среднеквадратичное рассеивание Gi около точки 0 меньше, чем
такая же величипа для 02.
Если df есть матрица вторых моментов 0; — 0, то утвержде­
ние «оценка лучше, чем 02 » означает, что d\ <С d2.
Асимптотический подход: оценка 0а лучше, чем 02, если сред­
неквадратическое рассеивание около пуля предельного распреде­
ления для (01 — 0) V п меньше, чем такая же величина для (02 —
- 0) Vn.
Другими словами, если (0/ — 0) V п (=> Ф о о2, то утверждение
«оценка 0* лучше, чем 02 » озпачает, что < о2.
Можно показать, что если 0г и 02 — две а. и. оценки и 0*
лучшем, чем02, то
lim Р ((0Г - 0) V n g 5 ) > lira Р ((0* — 0) УТг е В ) (8)
)1 - > о о Г !-> о о

для любого центрального эллипсоида *) В.

h

*) Ради краткости условимся область ^ (h j x ixj ^ с называть эл-

i,j= 1
ll
липссидом в R h, а поверхность 2 (h j x ixj ~ с —' эллипсом.
 О СРАВНЕНИИ ОЦЕНОК 101

Мы видим, что в обоих случаях сравнение оценок сводится

к установлению неравенств для матриц моментов второго поряд­
ка.. Некоторое отличие состоит в том, что в первом случае момен­
ты не обязательно Центральные.
Установим теперь некоторые соотношения, эквивалентные (6),
(7). Положим
v (0*) = М (0* — 0) F (0* — 0)т

и обозначим через множество всех неотрицательно определен­

ных матриц F = i l гл-jH. Если Idyll есть матрица вторых моментов
0* — 0, то,' очевидно, v (0*) — 2 v^d#.
Л е м м а 1. d%^ d\ тогда и только тогда, когда
для любых F e '0 +.
Д о к а з а т е л ь с т в о . В одпу сторону утверждение очевидно,
так’как матрица На^Н и для такой матрицы
a ( = м (еГ - ё)
Vе?) ( - е)т «=2
vaеГ
(см. (6)).
Чтобы доказать утверждение в обратную сторону, заметим,
что частичный порядок, основапный на неравенствах (5), инва­
риантен относительно вращепия осей координат. Именно, если
С — матрица ортогонального преобразования и 6* лучше 02 для
параметра 0, то С лучше для параметра QC. Это следует
из равенств
(0*С - 0С, а) =» ((в? - 0) С, а) = (0? - 0, аСт)
и определения 2.
Пусть теперь df <С d£, т. е.
2 д ^ а {а-3 < 2 d i f a ^ . ^ * (9)
Это означает, что v (0*) < v (0*) для матриц F вида F 0 = На,-а,11,
а стало быть, н для диагональных матриц F diag ^ 33+, поскольку
последние представимы в виде суммы к матриц вида Va. Пусть
теперь F — произвольная матрица из §3.ь С есть ортогональное
преобразование такое, что C T V C — F diag. Тогда
р (оГ) = м (е? - e)F(e* _ е)г - м (е,* - 0)cr,llag сДе? - о)т.
Из сделапиых выше двух замечаний и из (9) следует, что правая
часть этого равенства меньше, чем ,
м (е* - е )£ Е ,1авс г (е* - е)г = м (е* - e ) v ( e t - е)т = »(е*). <
Существует и другой способ сравнения рассеивания (см. [37]),
который предполагает, однако, что оба распределения Q, и Q2
не вырождены в R k и имеют нулевое среднее. В этом случае мат­
102 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

рицы центральных вторых моментов ctf будут положительно оп­

ределены, и для них существуют обратные А г = (df) г.
Пусть dl есть матрица вторых моментов распределения Q и
Л = id2) - 1.
О п р е д е л е н и е 3. Эллипсоидом рассеивания распределения
Q называется эллипсоид

Ш т< А + 2,

который однозначно выделяется среди всех эллипсоидов следу­

ющим своим свойством: если рассмотреть равномерное распреде­
ление U на этом эллипсоиде (т. е. распределение в R h с посто­
янной плотностью внутри эллипсоида и нулевой плотностью вне
его), то первые и вторые моменты Q и U совпадают (см. (37J,
стр. 333).
Л е м м а 2. Пусть матрицы d], I — 1,2, невырождены. Сред­
неквадратическое рассеивание Qj около н у л я не больше рассеива­
ния Q2 тогда и только тогда, когда эллипсоид рассеивания для Q,
лежит в эллипсоиде для Q2.
Д о к а з а т е л ь с т в о . Пусть эллипс tA d T — 1 лежит внутри
tA 2tT= i . Как известно, существует певырождеппое линейное
преобразование t — uL, которое переводит эллипс tA itT = 1 в еди­
ничную сферу S h а эллипс tA 2tT = 1 — в эллипс S 2 с главными
осями по направлениям осей координат. Это означает, что Л, =
еэ L A J J = Е (единичная матрица), А 2=== L A 2L T ~ diag (Х2, . . .
Х*2) , 0 < Х | < 1 , / = 1, Так как 1 = Е , Л " 1 =-.
= diag (ХГ2, *. •, ХГ2), то эллипс t A ^ t 0 — 1 будет инверсией "от­
носительно единичной сферы iSt эллипса S 2, и, следовательно,
он будет располагаться в Si. Так как А ^ 1 — {L T)~1A ZL " 1, то,
делая «обратное» преобразование и = tL T, мы получим, что эл­
липс tA Z ltT — td \l= 1 леяшт снаружи от t A ^ t 1 = td \tT = 1. Оче­
видно, что такое же соотношение справедливо для эллипсов
td \t — с и td%tl — с. Но это означает, что равенство td\l? ~ с
влечет за собой td*lT — с ^ td \tT. Утверждение в обратную сто­
рону доказывается точно так же. <1
Важно заметить теперь, что, в отличие от одномерного слу­
чая, сравнение рассеиваний распределений с помощью матриц
вторых моментов устанавливает лишь частичный порядок па
множестве всех распределений. Например, матрицы d t = ^ и
j /2 0\
2 = ( 1) ПС лУчше 11 пе хуже одиа другой, так как для век­
тора а = (1, 0) (6) справедливо, а для вектора а = (0, 1) неравен­
ство будет обратным. Это существенное неудобство введенного
порядка, хотя сам по себе ои сомнений не вызывает.
 СРАВНЕНИЕ ОЦЕНОК В ПАРАМЕТРИЧЕСКОМ СЛУЧАЕ> 103

Мы можем сделать множество оценок (или множество рас­

пределений) вполне упорядоченным, еслн будем сравнивать, ска-*
жем, М | 0* — 0 12, где М есть евклидова норма в /С, так что
ь
м I в* - е |2= м 2 (е* - е,)2. (io>
i=l
Такой способ упорядочивания является уже спорным, так как в
разных обстоятельствах точность по различным направлениям
может цениться по-разному. Чтобы как-то учесть это обстоятель­
ство, можно в качестве обобщения рассматривать меру точности
v (0*) = М (0* — 0) V (0* — 6)т ,
где V — неотрицательно определенная матрица (случай (10) со­
ответствует V = Е ).
Из леммы 1 следует, что еслн рассеивание 0* около 0 мень­
ше, чем рассеивание б*, то v (0*)<С к(0.2 ). Обратное, вообще го­
воря, неверно — выполнение неравенства tf(6 i)< Ii;(0 * ) для ка­
кой-нибудь одной матрицы V (предложенный выше полный поря­
док основан на фиксированной матрице) не означает еще, что
рассеивание G* около 0 мепыпе, чем рассеивание 62.
Перейдем теперь к рассмотрению важного параметрического
случая, когда оцениваются неизвестные параметры распределе­
ний из параметрических семейств.

§ 8. Сравнение оценок в параметрическом случае.

Эффективные оценки
В предыдущем параграфе мы выделили два подхода (средне­
квадратичный и асимптотический) к сравнению качества оценок.
Введем теперь некоторые понятия, связанные с этимн подходами
в параметрическом случае, когда распределение выборки X при­
надлежит некоторому семейству 'SP — {Ре). Символами Mq и Do
мы обозначаем, как и прежде, математическое ожидание н дис­
персию по распределению Р е.
1. Одномерный случай. Папомпим, что в соответствии со сред
неквадратическим подходом мы должны говорить, что 0А лучше,
чем 02, если
4 (6) = Мо (еГ - е)2< м 0(о: - е)2= 4 (е>. (i>
По в параметрическом случае df(Q), 1 = 1 ,2 , суть функции
от 0, и мы должны говорить «0Х лучше 02 в точке 0», еслн
<*,(©)< </2(0).
Аналогичным образом дело обстоит при использовании асимп­
тотического подхода, когда сравниваются а. и. оценки при боль­
ших объемах выборки п путем сравнения их предельных рас­
104 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

пределений. Оценка 0^ считается лучше, чем0*, в точке 0, если

в соотношениях
( в ? - е ) Ц п ^ Ф оо?(0), = 1 ,2 , (2)
справедливо щ(0) < о2(0)*).
Таким образом, в обоих случаях задача сравнения оценок
приводит к вопросу о сравнении функций, скажем, d,(Q), 0 е 0 .
Это множество неупорядоченное, и в классе всех оценок можно
ввести частичный порядок следующим образом.
П р а в и л о 1. Оценка 0* лучше, чем 0*, если d1( Q ) ^ d 2(Q)
(или соответственно сц(0) с2(0)) при всех 0 е 0 и хотя бы для
одного 0 выполняется строгое неравенство дфв) < d 2(6).
Если оценка 0* такова, что для нее существует оценка 0 ц
которая лучше, чем 0*, то в таких случаях говорят, что 0* —■
недопустимая оценка.
Остановимся сначала на среднеквадратическом подходе в од­
номерном случае и рассмотрим существующие тут -возможности
сравнивать оценки. Прежде всего, следует отметить, что наилуч­
шей оценки в смысле приведенного определения, вообще говоря,
не существует. То есть не существует оценки 0* такой, что для
любой другой оценки ©i справедливо неравенство d(0) di(0),
где dt{Q) определено в (1), d(0) соответствует 0*.
Действительно, если взять оценку ©i = 0L =» const G 0 , то
d* (0) = Me(0* — 0)2 == 0 ’ при 0 = 01} и для наилучшей оценки
0* (если бы такая существовала) будет цыполщсгься d~ (0,) =
= Ме1(0* — 0Д2 = 0. Поскольку 0t произвольно, то d2(0) ^=0. Но
это возможно лишь в «вырожденном» случае, когда наблюдения
одпозпачно определяют значение параметра 0. Например, когда
X или X Ue,o+i и 0 = И , 2, .,.} .
Таким образом, ниж няя огибающая всех функций d2(0) равна
нулю, но в «невырожденных» случаях пи для какой оценки 0*
эта фупкция не реализуется.
Задачу можно сделать более содержательной, если искать
наилучшие оценки 0* в тех или иных подклассах оценок, которые
выбираются достаточно разумным образом. Одпим из возможных
способов выделения таких подклассов является фиксирование
смещения 6(0).
О п р е д е л е н и е 1. Оценка б0 ^ К называется эффективной
в классе К , если для любой другой оценки Q*<^K Ме(0о — 0) 2^
Me (0* — 0)2 при всех 0 ^ 0 .
Особую роль играет класс К0 несмещенных оценок — это
класс оценок, для которых 6(0) = 0.

*) Мы уже отмечали, что в широком классе случаев d‘f (0) = п~*о\ +

+ о (/I-1 ). Однако из определений чисел d‘f (0) и о 2 (0) это не следует,
 СРАВНЕНИЕ ОЦЕНОК В ПАРАМЕТРИЧЕСКОМ СЛУЧАЕ 105

Эффективные оценки в классе K Q= {0*: МоО* = 0} несме­

щенных оценок называются просто эффективными. Так что эф­
фективные оценки — это несмещенные оцепки с минимальной
дисперсией.
Само по себе свойство несмещенности, как уже отмечалось,
является несомненно желательным, так как оно означает отсут­
ствие систематической погрешности при использовании оцепки.
Вопрос о существовании оценок с данным смешением 6(0) (в
частности, несмещенных оценок) сводится к разрешимости ин­
тегрального уравнения относительно g(x):

§ g ( x ) Y 0( X e ^ dx ) = O'-f 6(0), (3)

где g(.X) — 0*; левая часть этого уравнения представляет собой

Ме0*.
П
Если выполнено'условие ( ^ ) и f o(x) = IX /е (я 0 есть функ-
i= l
ция правдоподобия, то уравнение припимает вид

J g И /е (#) Ц {dx) = 0 + 6(0). (4)

Следует отметить, что решение (4) для заданной 6(0) существует

далеко не всегда, и, в частности, не для всех семейств {Ре) суще­
ствуют несмещенные оцепки параметра 0. Рассмотрим, например,
схему Бернулли с неизвестным параметром р (вероятностью ис­
хода {х! = 1}) и допустим, что нам надо оценить параметр 0 =
= ф(р), где ф — заданная функция. Тогда уравнение (4) для не­
смещенной оценки будет иметь вид

2 g И /е {х) = 0
X
или, что то же,

2 G (k) p h (1 — р)п~к = ф (/>), (5)

л=о
где G (к) = 2 g (х ), Ah есть множество точек а?, у которых к
X(=Ah
координат равны 1. Но левая часть (5) есть полином от р степе­
ни п. Это означает, что уравнение (5) может быть разрешимо,
если только ф(р) есть полином степени не выше п.
Рассмотрим теперь класс К ь оценок с фиксированным смеще­
нием 6(0) и допустим, что существует эффективная в Кь оценка.
Т е о р е м а 1. Эффективная в К ь оценка единственна с точ­
ностью до значений па множестве для которого Р еС4) —
= 0 при всех 0 е 0 , ,
юс ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Доказательство. 1Густь , 0* — две эффективные в К ь

оценки. Обозначим

d — DoOf, Д; = о? — е, е* - А -1 , г = o ,i.
Так как

( A + A . J + ( A° 7 At)8 = А\
(0 )
2
Ло + Д1 - о* — е, д0- д 1= о ; - е г ,
то
Ме (в* - О)2 + А М0 (0о* - 0? ) 2 = D + С (0). (7)

Но 0* *= К ъ, и, стало быть, Ме(0* — О)2^ D + Ъ~(0). Из (7) вы­

текает тогда, что ,
Ме(о* -еГ)2<0,
©Г= ©о П. В .* ) . <\
Проведенное обсуждение проблемы сравнения оценок относи­
лось к средпеквадратпческому подходу. К нему же относится но
существу и следующее
О п р е д е л е н и е 2. Оценка Oj <= К называется асимптоти­
чески аффективной (а. э.) в К , если при п -> оо для любой другой
оценки 0* из К и каждого 0 е 0 ..
ме(е* - е ) 2
lim s u p < ; 1. (8)
П —* о о М е (0* — 0)" ;

Мы перейдем теперь к асимптотическому подходу, с которым

определение 2 также тесно связано. Задача здесь, как и прежде,
состоит в сравнении функции о(0), характеризующих предельное

*) Справедливо следующее утверждение, обобщающее в известном

смысле теорему 1. Если 0^ — эффективная в Кь, а 0* — произвольная в
К ь оценка, так что h— то коэффициент корреляции
р(0*» Q*') между оценками В* и б* равен

р К - e*) = VA.
Доказательство читатель может провести самостоятельно, убедившись,
чго при р(бо* и соответствующем выборе а оценка
0* = (1 — ос) 0* + а0* е К ъ

будет удовлетворять неравенству D0B* < Dy0*, противоречащему эффек­

тивности 0*.
 СРАВНЕНИЕ ОЦЕНОК В ПАРАМЕТРИЧЕСКОМ СЛУЧАЕ 107

нормальное распределение, но проблема в целом несколько упро­

щается. Дело прежде всего в том, что сравнение происходит
лишь в классе а. п. оценок, Который мы в дальнейшем будем
обозначать К Ф. Этот класс К Ф мы можем немного сузить, по су­
ществу не обедняя его. Именно, мы будем рассматривать класс
К Ф>2 <= К Ф а. п. оцепок 0*, обладающих тем свойством, что для
них сходимость
(в* — в) ^ & Ф О.О2(0)
происходит вместе с двумя первыми моментами:
M e(6* — 0) V n - > 0, Ме (0* — 0)2п ->■ or2(0). (9)
Отметим, что первое из этих двух соотношений нетрудно полу­
чить из второго с помощью теоремы непрерывности для момен­
тов (§ 1.5).
Сужение К Ф до класса К Ф_2 мало обедняет первый из этих
классов по двум причинам. Во-первых, а. и. оценки, в которых
(9) нарушено, практически не встречаются (мы отмечали, что
для этого обычно нужны искусственные построения). Во-вторых,
для 0* е= Кф по лемме Фату
lim inf Merc (0* — 0)2 ^ <J2 (0)
П-»00

(мы имеем дело с интегралами от неотрицательных фупкций),

так что Ме«(0* — 0)2 при больших п может отличаться от о2(0)
лишь в сторону больших значений. По оценки с таким свойством
вряд ли могут конкурировать с оценками, для которых (9) вы­
полнено.
Таким образом, при асимптотическом подходе мы можем в
качестве класса а. и. оценок, в котором производится сравнение,
рассматривать класс Кф_ 2. Он будет для нас удобнее.
Пусть К — некоторый класс оценок, такой что К <= K^>t 2. Тог­
да следующее определение будет эквивалентным определению 2.
О п р е д е л е н и е 3. Оценка 01 е К называется асимптоти­
чески эффективной в К, если для любой другой оценки 0* К
O i ( 0 ) < ° 2(0) (10)
при всех 8 ^ 0 , где о2(0) и о2(0)— коэффициенты рассеивания 0*
и 0J соответственно.
Эквивалентность определений вытекает из того, что для 0*
е Я Ф>2
Мо (0* — б)2 == - (1 + гп (0)), г« (0) -> 0 при п —*■со.
В этом случае соотношение (8), означающее, что
М в ( е Г - 0 ) 2< м о (0* - е > 2(1 + г'„(0)Х К де^о,
для любой очевидно, эквивалентно неравенству (10). <1
108 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Упомянутое ранее некоторое упрощение проблемы сравнения

при асимптотическом подходе состоит в том, что здесь мы срав­
ниваем лишь дисперсии предельных законов. Роль смещения
6(0) оценок здесь исчезает, поскольку в классе К Ф, 8 в силу (9)
выполняется соотношение 6(0) = o i l /Уп), означающее «почти не­
смещенность» оценок или «асимптотическую пренебрегаемость»
смещения с точки зрения соотношений (2).
Аналогично теореме 1 может быть получена
Т е о р е м а 2. Пусть K<^Kq>iZ. Тогда, если 0* и 0*— две а. э.
оценки в К , такие что + 0*) ^ К , то они асимптотически
совпадают, т. е.
Г п (е Г -е ^ )-^ -о , м 0 [ Г п ( о Г - е П ] г-^о.

Д о к а з а т е л ь с т в о . Нам достаточно установить второе со­

отношение, так как первое из него следует. Пусть

м ,.п = м еп (ef - е)2, д, = еГ - о, е* = -6l ^ ° г , г = 1. 2.

Тогда на основании (6) получаем
Men (е* - б)2 + 4- Меп(еГ - 6е)2 - (Л/ v . + Л /г,„)/2. (11)

Но 0* К и, стало быть, после перехода к пределу в последнем

равенстве мы получим в силу асимптотической эффективности 0*
lim М ен (01 — ©J) 2 ^ 0 . <]
71-> оо

Приведенные выше рассмотрения содержали лишь один из

возможных путей выделения оценок (в нашем случае — эффек­
тивных оценок), которые но ряду естественных соображений сле­
дует предпочесть другим. Однако возможны, конечно, и иные
подходы (напомним, что нам приходится сравнивать неупорядо­
ченные элементы.— функции did) или о(0)). Поскольку оценок
с наменыним при каждом 0 возможным значением did), вообще
говоря, не существует, то можно сравнивать, скажем, средние
значения j d ( t ) q [ t ) d t , где q { t ) ^ 0 , j q ( t ) d t * ~ 1, или макси­
мальные значения m a x /7(0). Это есть способы упорядочивания
6S0
множества всех оценок.
Первый из этих двух способов мы назовем позже байесовским,
второй — минимаксным. Байесовские и минимаксные оптималь­
ные оценки будут рассмотрены нами в § 11, эффективные оцен­
ки — в более поздних параграфах.
Более подробно проблема выбора оценок будет рассматривать­
ся в продолжении этой книги (см. предисловие).
 СРАВНЕНИЕ ОЦЕПОК В ПАРАМЕТРИЧЕСКОМ СЛУЧАЕ 10Э

2. Многомерный случай. Рассмотрим теперь случай, когда

О и 0* есть векторы из R k. Здесь задача сравнения оценок ста­
новится труднее. Дело в том, что в многомерном случае нам
пришлось ввести частичный порядок уже для сравнения оценок
при фиксированном 0. Для сравнения оценок на всем множестве
в , как и в одномерном случае, также приходится вводить частич­
ный порядок, но уже «в другом направлении» (ведь в основе
сравнения лежит средпеквадратичоское уклонение, которое есть
функция двух переменных: 0 и вектора а, на который проекти­
руется уклонение 0* —0).
Наилучшие оценки в «обоих направлениях» и составляют
предмет следующих определений.
О rip е д е л е ы и е 4. Оценка 0О является эффективной в клас­
се К , если для любой оценки 0* из К средпеквадратическое рас­
сеивание 0* около 0 при всех 0 ^ 0 не меньше, чем рассеива­
ние ©о -
Это определение эквивалентно следующему.
Векторная оценка 0о параметра 0 эффективна в К, если для
любого вектора а оцепка а* = ( о ,: , о) является эффективной
оценкой скалярного параметра а = (0, а) в классе оценок а* *=
■= (0*, а), 0* К , т. е. если при всех 0 е 0 , й е R \ 0* ^ К
М в К - е , « ) 2< М о ( о » - е , о ) 2. (12)
Как мы уже видели, это неравенство эквивалентным образом
записывается в виде dI (0) ^ di (0) или _
2 4j° (0) я i«j < 2 dijmaj
i,j i.j
при всех 0 0 , а е ]{\ где dr (0) = || dif (0) || и d%(0) = || d ff (0) | —
матрицы вторых моментов 0* — 0 и 0О — 0 соответственно.
Эффективные оцепки в классе К 0 несмещенных оценок назы­
ваются просто эффективными.
Поскольку определение С12) эффективности строится на ис­
пользовании одномерного случая, то из теоремы 1 петрудно уста­
новить, что эффективная оценка в классе К ъ оценок с фиксиро­
ванным смещением Ь ( 0 ) = М0* — 0 единственна.
Определение а. э. оценок в мпогомерпом случае аналогично
определениям 2, 3.
О п р е д е л е н и е 5. Векторная оценка 01 параметра 0 асимп­
тотическиi эффективна в К , если для любого вектора а оцепка
(©Г, а) является а. э. оценкой скалярного параметра « = (0, а)
в классе оценок а* = (0*, а), 0* = К.
Другими словами (см. § 7); среднеквадратическое рассеива­
ние предельного распределения (0^ — 0)1^ п для а.э. оценки яв­
ляется наименьшим. Это, в свою очередь, означает, что для лю­
1 10 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

бых 6* е /£, а е R h, 6 ^ 0 выполняется a'i (0) ^ о2 (0), или

2 0 $ (е) < 2 °ij (0) ала},
to i.j
где a2 (0) — I cr^j (0) I, Oj (0) = ЦоФ (0)|| суть соответственно мат­
рицы вторых моментов предельных распределений (0* — 0) V п
и (0Г — 0) V n .
Из рассмотрений предыдущего параграфа можно заключить,
что мпожество оценок в мпогомерном случае при фиксированном
О можно сделать упорядоченным, если качество оценки измерять
количеством (при средпеквадратическом подходе)
у (0*) = Ме (0* — 0) V (0* - 0)г = г (0*, 0), (13)
где V — неотрицательно определенная матрица. Аналогичное ко­
личество, связанное с матрицей вторых моментов предельного
нормального распределения, можно рассматривать и при асимп­
тотическом подходе в классе К Ф 2.
Двигаясь дальше по этому пути, можно сделать вполне упо­
рядоченным множество всех оценок и на всем множестве 0 .
Именно, можно производить сравнение средних
Jv(e*,t)f(t)dt, J ( t ) > 0, = 1,
или максимальных max г (0*, t) значении количеств к(0*, 0),
te e
определенных в (13).
Если окажется, что оценка, наилучшая при таком подходе,
будет оставаться наилучшей при любой неотрицательно опреде­
ленной матрице V, то это будет означать, в силу леммы 7.1, что
эта оценка будет наилучшей и в смысле частичного порядка,
установленного в' § 7 (т. е. усредненное среднеквадратическое
уклонение будет наименьшим в любом направлении).
Чтобы строить оценки, оптимальные в смысле определений,
рассмотренных в этом параграфе, нам понадобятся понятия и
свойства условных математических ожиданий и достаточных ста­
тистик.

§ 9. Условные математические ожидания

В этом параграфе мы напомним определение и основные
свойства условных математических ожиданий (у. м. о.). Более
полное изложение см. в Приложении III, а также в [11], [22],
[29], [43], [791.
1. Определение у. м. о. Пусть | и ц есть две случайные вели­
чины, заданные па вероятностном пространстве (Q, $, Р).
Условное математическое ожидание М (\1В) случайной вели­
чины £ относительно события В, Р ( /? ) > 0 , определяется
§ Р] УСЛОВНЫЕ МАТЕМАТИЧЕСКИЕ ОЖИДАПИЯ Ц1

равенством
М (IIН) = -Мр(- ^ ;>, <1)

где М (£; В) ^ j s rfP = М (Чь}. 1в — I в (*") есть случайпа

"в
личина, равная индикатору множества В.
Допустим, что £ и т) независимы, J9 — {rj= :r} и P ( B ) > 0 . Тог-
да для любой измеримой функции (р(х, у) согласно (1)

М [ ф ( | , » 1 ) / П " г ] = ---- к , , , . , ) ' ---- --- ------P(.i -ж) ~ °Мц> (£.*).

(2)
Последнее равенство справедливо, так как случайные величины
х) и / <я=*) как функции соответственно от £ и ц независимы
и, стало быть,
Мф (£, ж) Т{л^,х) = Мф (£, Т) м/{.^х} = Мф (£, X) Р (п = х).
Соотношения (2) показывают, что понятие у. м. о. может со­
хранять свой смысл и в случае, когда вероятность условия рав­
на 0 — ведь само по себе равенство
М (ф (£, л)/*1 = *1 = Мф ( |, х)

для независимых £ и ц представляется естественным и с пред­

положением P(tj == х) > 0 никак не связано.
Пусть 21 есть о-подалгебра Мы определим теперь понятие
у. м. б. случайной величины £ относительно 21, которое будем обо­
значать М (£/21). Определение мы дадим сначала для «дискрет­
ного» случая, но так, чтобы оно легко обобщалось.
«Дискретным» мы называем случай, когда о-алгебра 21 обра­
зована (порождена) не более чем счетной последовательностью
нёиересекающихся событий Л,, А 2, ...; U^4, = Q, Р Ы , ) > 0 . Этот
факт мы записываем в виде 21 = о(Л,, Л 2, ...), он означает, что
элементами 21 являются всевозможные объединения множеств
А 1» А г, . , .
С помощью случайной величины £ и системы событий Ы ,т
А г, . . . ) построим новую случайную величину £=*|(<й) следую­
щим образом:
М(£;^ь)
I = Уь = М ( ЦАи) = р при (о е Л ь к = 1 , 2 , . . .
Другими словами,
t - V М( ' ;Л>) г
6 ~ т | р ю Л л ’

где / А есть индикатор множества А.

112 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

О п р е д е л е н и е 1. Случайная величина £ называется у. м. о.

| относительно о-алгебры §1 и обозначается М (£/St).
Таким образом, в отличие от обычных математических ожи­
даний, у. м. о. М (£/§1) есть случайная величина. В нашем случае
она постоянна на множествах A h и равна на этих множествах
усреднепию | по A h. Если £ и $ независимы (т. е. Р(£е.£?; A h)
■=Р(&€еВ)Р(ЛО), то, очевидно, М Ц; А п) = Щ Р (Л,,) п | = ML
Если же §1 = ^, то % тоже «дискретна», % постоянна на мно­
жествах A h и, стало быть, |
Отметил! следующие два основные свойства у. м. о.:
1) | измерима относительно §1.
2) Д л я любого события А е §1
М (1; А) = М (L А).
Первое свойство очевидно. Второе следует из того, что любое
событие А е §[ представимо* в виде А ~ U Aj и, стало быть,
h Я
м (I; А) = 2 М (1 ; Л;Л = 2 щ Р lA h ) = 2 м (£; A h ) = М <& А).
h к к

Это свойство довольно ясно: усреднение* по мпожеству А величи­

ны £ дает тот же результат, что усреднение уже усредненной по
A jk величины | .
Л е м м а 1. Свойства 1), 2) однозначно определяют у. м. о. и
эквивалентны определению 1.
Д о к а з а т е л ь с т в о . В одну сторону утверждение леммы
уже доказано. Пусть теперь выполнены условия 1, 2. Измери­
мость £ относительно St означает, что £ постоянна на множествах
A h. Обозначим значение § па A h через yh. Так как А ь е St, то из
свойства 2 следует, что
М ( ! ; 4 0 = у*Р (A0 = M (L A h)
и, стало быть, прн и е Д v
%_ М(Е;Л„)
■ у р О«) • -
Теперь мы можем дать общее определение у. м. о.
О п р е д е л е н и е 2. Пусть £ есть случайная величипа на ве­
роятностном пространстве Ш, Р) и St<=$ есть о-подалгебра
У слоеным математическим^ ожиданием | относительно St называ­
ется случайная величипа обозначаемая М (i/St), которая обла­
дает следующими двумя свойствами:
1) | измерима относительно St.
2) Д ля всякого А е $1 справедливо М (£; А) = М (£; А).
В этом определении случайная величина g может быть как
скалярной, так и векторной.
 УСЛОВНЫЕ МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ 113

Сразу возникают вопросы: существует ли такая величина Е,

и единственна ли она? В «дискретном» случае мы видели, что
ответ на эти вопросы положителен. В общем случае справедлива
Т е о р е м а 1. Если М | Е 1 конечно, то функция Е = М (£/$0
в определении 2 всегда существует и единственна с точностью
до значений па множестве вероятности нуль.
Д о к а з а т е л ь с т в о . Предположим сначала, что Е скалярпа,
Тогда функция множества

Q (Л) = J 1<Я> = М ( |; Л), Лей,

А

будет мерой на (Q, SI), которая абсолютно непрерывна относи^-

тельпо Р, поскольку Р ( Л ) = 0 влечет за собой Q C 4 )= 0 . Следова­
тельно, по теореме Радона — Никодима ([11], Приложение 3)
существует St-измеримая функция Е = М (Е/51), единственная о
точпостью до значении на множестве меры нуль, такая что

Q (Л) = f 1
А
В общем случае положим Е — Е+ ~ 1 Е+ — шах (0, > О,
Е” = max (0, -Е ) > О,
Е = Е+ ~ Г ,
где I* — у. м. о. для Е*. Этим доказано существование у. м. о., так
как Е будет удовлетворять условиям 1), 2) определения 2. Отсю­
да же следует и единственность, так как предположение о не­
единственности Е будет означать неединственность §+ или До­
казательство для векторных Е сводится к одномерному случаю,
так как свойствами 1), 2) будут обладать координаты Е, существо­
вание и единственность которых нами доказана. <]
Существо проведенного доказательства достаточно прозрачно:
ведь по условию 2 для всякого А ^ S l задано М (Е;^-) — J Е^Р>
л А
т. е. заданы значения интегралов от Е по всем множествам A s §1.
Ясно, что это должно определять St-измеримую фупкцию Е одно-
значпо с точностью до значений на множестве меры 0.
Смысл М (E/St) остается прежним — грубо говоря, это есть
усреднение Е по ^неделимым» элементам St.
Если St = S, то, очевидно, Е = Е удовлетворяет свойствам 1), 2)
и, стало быть, М (Е/$0 = Е-
О п р е д е л е н и е 3. Пусть Е и 11 — случайные величины на
(Q, $, Р), St = о(г)) есть о-алгебра, порожденная случайной вели­
чиной г). Тогда IV!(E/St) называется также условным математиче­
ским ожиданием величины Е относительно т).
8 А. А. Боровков
i!4 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Иногда ради упрощения записи мы будем вместо М (|/а(г)))

писать М (£/?}). Это не приводит к недоразумениям.
Так как М (1/т]) по определению есть о(г])-измеримая случай­
ная величина, то это означает (см. [11], стр. 65), что существует
измеримая функция gix), для которой

М (S/n) = g (П). (3)

Но аналогии с дискретным случаем, мы можем истолковывать
здесь величину gix) как результат усреднения £ но множеству
{г) = х). (Напомним, что в дискретном случае g(x) — М (|/г| =х).)
[ О п р е д е л е н и е 4. Если | = 1С есть индикатор множества
то М будет называться условной вероятностью
ViC/ЧI) событйя С относительно 9(. Если §1 = о(т}), то мы будем
говорить'об условной вероятности Р (С/ц) события С относи­
тельно 1].
2. Свойства у. м. о.
1) У. м. о. обладает свойствами обычных математических ожи­
даний (с м /[И 1 , стр 75) с той лишь разницей, что они выполня­
ются почти наверное (с вероятностью 1):
la) М (сЦ%) = сМ (Е/21), если с — const,
Щ М (SA+ * ,'* ) - М (£,/*) + М (£ ,/« )/
1с) если S l ^ l a П- Н-1 ma М (Sj/&)<[ М (S2/$l).
2) Справедливо неравенство типа Чебышева: если S вещест­
венна, S ^ 0, то для любого х > О
Р ( ^ ГЙ )< ® 1 ,

Это соотношение между у. м. о., как и равенства п. 1, выпол­

няется п. и. Такое же соглашение будет справедливо в дальней­
шем для всех соотношений между у. м. о.
3) Если о-алгебры Я и о(£) независимы, то М (S&) — М£.
Отсюда следует, в частности, что если £ и г) независимы, то
Если а-алгёбра 2С тривиальна, то, очевидно, мы
также получим М (|/2() = MS-
4) Д ля у. м. о. верны теоремы сходимости, справедливые для
обычных математичесших ожиданий, например, теорема о моно­
тонной сходимости: если Sn t с, S« ^ 0, то М (Sn/9t) f М (S/&) п. н.
5) Если г) скилярна и измерима относительно Я, M | S | < ° o ,
MISV1 < оо, то
М (nS/90 = цМ (S/2I).
Другими словами, ^-измеримые случайные величины ведут
себя относительно операции у. м. о. как постоянные (ср. со свой­
ством 1а).
6) Д ля у. м. о. остаются справедливыми все основные неравен­
ства для обычных математических ожиданий, в частности,
 УСЛОВНЫЕ МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ 115

неравенство Коши — Буыяковского

М (1 и , |/«) < [М ( й / а ) м ( i l / s t ) ] 1' 2 ,

н неравенство Иенсепа: если М1£| <С° о, то для любой выпуклой

втшз функции g ix )
*(М P K M f e »

7) Формула полной вероятности (свойство 2 определения 2

при А = Q)
М£ = ММ(£/2().

8) Последовательное усреднение (обобщение* свойства 7)):

если 21 <= 2С с: то
м {ущ= м (м (g/ao/st).
Доказательство этих свойств можно найти в Приложении III.
Очевидно, что свойства 1), 3 )—5), 7), 8) справедливы как для
скалярных, так и для векторных случайных величин £. Следую­
щее свойство у. м. о. мы выделим особо.
9) Известно, что функция q>(а) = М (£ — а)2 достигает своего
минимума при а = М£ (см., например, [11]). Аналогичное свой­
ство справедливо и . для у. м. о.: при a (to) = М (£/2() достигается
минимум М ( £ — я (со))2 среди всех 21-измеримых функций a ia ).
Действительно, М (£ — а (со))2 = ММ ((£ — а (со))2/21), но ai o)
ведет себя как постоянная относительно операции М(*/21) (см.
свойство 5)), так что
М ((£ - a (co))2/2t) = М ((£ - М (£/2t))2/2() + М ((М (£/21) - а (со))2/Щ,

и минимум этого выражения достигается при а (со) = М (£/21).

Это свойство можно рассматривать как определение у. м. о., экви­
валентное определению 2. Согласпо нему М (£/21) можно трак­
товать как «проекцию» £ на 21.
Свойство 9) допускает следующее обобщение на многомерный
случай, когда £ = ( | ь . .., £,) есть случайный вектор в R s.
9А) Пусть V — !1и«П — произвольная неотрицательно опреде­
ленная матрица размера s X s , а <=/?%
£(а) = ( £ - а Ш £ - а ) т
(в частности, при V = E мы получим £(а) = |£ — a l2). Тогда на
ф ункции а (со) = М (£/21) достигается минимум mi nM£( a) по
аел
классу А всех 21-измеримых функций.
Д о к а з а т е л ь с т в о этого факта протекает так же, как и в
одномерном случае. Обозначим a = М (£/2(). Тогда М £ ( а ) = *
= ММ (£(*)/«).
 116 «. ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

М & (а)Ш) -= М ((£ - a ) V ( l - а ? /Я ) =*

= М ((£ — a) F (£ — а ) 7 $ ) + М ((а — а) V (£ — а)т/% ) +
+ М (U — «) V (а - а )7 и ) + М ((а - а) У (а - a f /* ) - (4)
Так как a — а есть St-измеримый вектор, то по свойству 5)
М ((a - а)V (I - а)Т/И) = (а — a) FM ((! — а)г/Я ) = О,
М ((? — а) Г (а — a f / a ) = [М ((? - <*)/«)] К (а - а)т = 0.
Поскольку последнее слагаемое в (4) неотрицательно и равно ну­
лю при а — а, то утверждение доказано. <]

§ 10. Условные распределения

Наряду с у. м. о. можно рассматривать условные распределе­

ния относительно о-подалгебр и относительно случайных величин.
Б этом параграфе мы остановимся лишь на последних.
Пусть | и rj — две случайные величины на (Q, %, Р) со значе­
ниями, соответственно, в Л 3 и R k, и S33 — с-алгебра борелевских
множеств из R s.
О п р е д е л е н и е 1. Функция Р( В/ у) двух переменных у е Л * ,
В <= ^ называется условным распределением £ при условии ц = у,
если
1) При каждом В Р(В/г\) есть условная вероятность Р ( £ е
e f i / r j ) события { ^ е В } отпосительпо т], т. е. Р(В/ у) есть борелев-
ская функция от у такая, что для любого А е 53й
М (Р (Л/гj); I] е А) = J Р (В/у) Р (ц <= dy) = Р (£ <= В , i] ее Л).
А
2) При каждом у Р( В / у ) есть распределение вероятностей
по Л.
Функцию Р(В/ у) мы будем иногда записывать в более «рас­
шифрованной форме» в виде
Р( В/ у) — Р(£ еЕ Л/т) = у).
Мы знаем, что для каждого Л ^ S33 существует борелевская
функция gB(y) такая, что gaCrj) — Р(^ е Л/т]). Таким образом, по­
ложив P(B/jy) = gB(y)t мы удовлетворим условию 1) определе­
ния 1. Однако условие 2) при этом из свойств у. м. о. никак не
следует и выполняться совсем не обязано — ведь условная веро­
ятность Р ( | ^ Л / г 1) определена при каждом В с точностью до
значений на множестве N B меры нуль (так что существует мпого
вариантов у. м. о.), и это множество может быть своим для каж ­
дого Л. Поэтому, если объединение N = (J N b имеет не пуле-
S 101 УСЛОВНЫЕ РАСПРЕДЕЛЕНИЯ 117

вую вероятность, то может оказаться, что, например, равенства

•, Р (| е Bi D B J tj) = P ( i е B J 4 ) + Р(£ е B J rj)
(аддитивность вероятности) сразу для всех пепересекающихся
В i, B z из S3’ не выполняются ни для одного о из N, т. е. на оз-
множестве N положительной вероятности функция ga(y) не бу­
дет распределением как функция В.
Однако в нашем случае, когда £ есть случайная величина со
значениями в R s с о-алгеброй борелевских множеств S3S, gB{г)) —
= Р(£<=Б/ц) всегда можно выбрать таким образом, что gAy) бу­
дет условным распределением (см. [22], [29]).
Как и следовало ожидать, условные распределения обладают
тем естественным свойством, что у. м. о. выражаются в виде ин­
тегралов по условным распределениям.
Т е о р е м а 1. Д ля любой измеримой функции g (x ), отобра­
жающей R 3 в R, такой что М 1g (Q j <С оо, справедливо равенство
М (g (|)/il) = J g (x) P {dx/n). (1)

Д о к а з а т е л ь с т в о . Достаточно рассмотреть случай, когда

g(x) > 0 . Если g ( x ) — I A(x) есть индикатор множества А , то фор­
мула (1), очевидно, верна. Стало быть, она верна для любой про­
стой функции gn{x) (т. е. для функции, принимающей конечное
число зпачений). Остается взять последовательность gn t g и вос­
пользоваться монотонностью обеих частей в (1) и свойством 4)
§ 9. <
В реальных задачах для подсчета условных распределений
часто можно пользоваться следующим простым правилом, кото-
рое для наглядности мы запишем в форме

Р ( | а Д/п = У) = (2)

Очевидно, что формально оба условия определения 1будут удов­

летворены.
Если £ и ц имеют плотность распределения, то этому равен­
ству будет придан точный смысл.
О п р е д е л е н и е 2. Пусть условное распределение Р(В/ у)
при каждом у абсолютно непрерывно относительно некоторой ме­
ры р в R 3i
Р (g е= В1т\ = у) =. J / (x ly ) р (dx).
в
Тогда плотность f ( x l y ) называется условной плотностью | (отно­
сительно меры р) при условии ц ~ у .
Другими словами, измеримая по паре переменных х, у функ­
ция }(х/у) есть условная плотность £ при условии г] = г/, если
118 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [гл. г

- 1) Для любых борелевских множеств А <=R\ B c z R s

J j / (х/у) р (dx) P(rj e ^ ) = P ( ^ e В , i]€= A), (3)
VGAXGB

2) При каждом у функция f(x /y ) есть плотность распределе­

ния вероятностей.
Из теоремы 1 вытекает, что если существует условная плот­
ность, то

М(£ (£)/П) —J g И / (я/п) р (dx).

Если предположить дополнительно, что распределение г) име­
ет плотность q(y) относительно некоторой меры К в R '\ то (3)
можно записать в виде
j J i ( x ! y ) q ( y ) \i( d x ) ,k ( d y ) ^ (4)
1/GAхев
Рассмотрим теперь прямое произведение пространств R * и Rk
и на нем прямое произведение мер р X А (если С = В X А , В с
с=Л% A<=Rh, то р X К(С) = р(.В М Л )). В этом пространстве соот­
ношение (4) означает, очевидно, что совместное распределение
£ и г) в R “X R h имеет плотность относительно р X Л, равную
f( x , у) = j(x /y )q (y ).
Справедливо и обратное утверждение.
Т е о р е м а 2. Если совместное распределение £ и tj в R* X R h
имеет плотность j(x, у) относительно р X Л, то функция

f (х/у) = :f{qX( £ - , где (у) = J / (х, у) р (dx),

есть условная плотность £ при условии ц — у, а функция q(y)

есть плотность г) относительно меры А.
Д о к а з а т е л ь с т в о . Утверждение теоремы относительно q(y}
очевидно, так как J
q (у) A (dy) = Р (т) <= Л). Остается заметить,
А
что f (x/ y) = f(x, y) / q( y) удовлетворяет всем условиям в онреде­
лении 2 условной плотности (равенство (4), эквивалентное (3),
выполнено очевидным образом). <1
З а м е ч а н и е 1. Случайные величины | и ц в теореме 2
можно поменять местами. Тогда мы получим, что наряду с.
f (x/ y) существует условная плотность

случайной величины ц при условии £ = х. Это простое следствием

теоремы 2 будет играть существенную роль в последующем из­
ложении. Применительно к задачам статистики оно позволит"
§ 10] УСЛОВНЫЕ РАСПРЕДЕЛЕНИЯ 11П

нам в следующем параграфе получить формулу Байеса, которая

будет затем часто использоваться па протяжении всего курса.
I I р и м е р 1. Пусть Фа а2 есть двумерное нормальное рас­
пределение величии и | 2, где а = (а х, а 2), — МЕь п2 = ||ау ||,
оц — М ( |j — a-i) (£7- — aj), i, / = 1, 2. Определитель матрицы вто­
рых моментов равен
| о21= orucr22 — o f 2 = <jn o22 (1 — р2),
где р есть коэффициент корреляции между и | 2. Таким обра­
зом, если |р 1=5^1, то матрица вторых моментов не вырождена и
для нее существует'обратная матрица
I Р
4 V °11°2
Л = (о2)'
1
/° 1 1 а22
Стало быть, совместная плотность и £2 (относительно меры
Лебега) равна (см. § 2)
/ (*, У) = ------------------------х
2лап 0 22 V i - Р
^ 1— B‘"

* 2 р ( - т - с £ , ) ( г / - а 2) ( (/, - а 2)21]
1
О

охр j
/°Ha22 ‘ °22 J)
1---

I 2 ( 1 - р г)
Одномерные плотности и | 2 соответственно равны
(*-«1Г (V—ОСо)-
/(* ) =
У 2поч
у(у) =
] / 2л 22

Поэтому условная плотность | j при условии &> = у равна

/ (т, ?/)
/ (*/у)

___ —рхр —_________ «г — р | / ^ - ~ ( у — « 2) j j;

\ f 2лстп (1 — р“) \ 2eu (1 — p i
это есть плотность нормального распределения со средним
a L + Р Л / 7г~(У — а г) 11 дисперсией с и (1 —рг). Отсюда следует,
Г 22 _
в частности, что у м. о. | t относительно £2 равно

м (5i/Ss) = ai + Р (12 — «г).

Прямую x —a L -ф р ) называют линией регрессии

420 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

на | 2. Она Дает наилучшие среднеквадратические приближен

ния величины при данной | 2 =
П р и м е р 2. Рассмотрим задачу о вычислении плотности слу­
чайной величипы £ = ф(£, Г]),.где £ п ц независимы. Из форму­
лы (3) при A = R h вытекает, что плотность fix) распределения |
выражается через условную плотность f i x / у) равенством
/ {х) =: J / (х/у) Р (г) <= dy). (5 )

Применительно к рассматриваемой задаче под f (x/ y) надо по­

нимать плотность случайной величины ф(£, у), поскольку
Р( 6еВ/ т] -у) «Р( ф( С, у)бВ).
Формула (5) бывает очепь полезной при вычислении распре­
делений различных статистик. Например, в п. 6 § 2 мы могли
бы формулу (2.7) для плотности распределения Фишера выписы­
вать сразу, а не выводить ее из вида функции распределения.

§ 11. Байесовский и минимаксный подходы

к оцениванию параметров

Суть байесовского подхода состоит в том, что пеизвестпый

параметр 0 рассматривается как случайная величина с некото­
рой (известной или неизвестной) плотностью распределения q(t),
относительно меры А, которая, как и мера р в условии
01ц), чаще всего будет представлять из себя либо меру Лебега,
либо считающую меру. Плотность q(t) называется априорной,
т. е. данной до эксперимента. Байесовский подход предполагает,
что неизвестный параметр 0 выбран случайным образом из рас­
пределения с плотностью q(t).
Пусть, далее, f t(x), £ ^ 0 , х (^ с £ п, есть функция правдоподо­
бия, введепиая нами в § 6. Как мы отмечали, f t(x) при каждом
t есть плотность распределения в $вп. Поэтому функция
f i x , t) — f t (x)qi t )
есть плотность некоторого распределения в с£п X 0 относитель­
но меры р71X А, которую можпо интерпретировать как плотность
совместного распределения X и 0. При таком подходе в силу тео­
ремы 10.2 функция ft(x), x ^ g g n, есть условная плотность X при
условии 0 == t:
ft И = / (x/t), Meg (X) = М (g (X)/Q) .
В этих рассмотрениях формальная сторона дела требует, что­
бы f t(x) была измеримой по t и х функцией. В. дальнейшем
везде, где это потребуется, мы будем предполагать, что это свой­
ство имеет место.
В последующем параметр, как случайную величину, мы везде
будем обозначать через 0, в то время как для фиксированных
§ 11] БАЙЕСОВСКИЙ И МИНИМАКСНЫЙ ПОДХОДЫ 121

значений параметра мы часто будем использовать обозначеппя

t, и и др., так что
М*(Ж)«М(*(Х)/0«*).
Наряду с f(.x/t) мы можем выписать условную плотность
q{t/x) величины в при условии X —х:
/. (х ) п (t) С
q {tlx) = f {х)- f И = J ft (x) q {t) I {(it). (1)

Эта плотность определяет так пазываемое апостериорное (т. е,

после эксперимента) распределение 0, которое мы будем обозна­
чать Q*. Равенство (1) называется 'формулой Байеса для плот­
ности апостериорного распределения. В дальнейшем эта формула
будет играть существенную роль.
Свойство 9 у. м. о. применительно к 'байесовскому случаю
означает следующее: среди всех функций 0* = ф(Х) наилучшей
оценкой для 0 (в смысле минимизации М (0 — ф (X))2) является
функция
Oq — М (0/Х) = J tq ( tlX ) К {(it) я=я. J (2)

О п р е д е л е н и е 1. Оцепка 0 q, определенная формулами

(2), (1), называется байесовской, соответствующей априорному
распределению Q с плотностью q{t).
Отметим еще раз, что для байесовской оценки безусловное
средпеквадратическое уклонение
М (0* - 0)2 = ММ ((0* - 0)70) - ММе (0* - О)2 =

■ *= j M, ( 0 * - * ) * g ( f > X ( A ) (3)

принимает наименьшее возможпое значение. Соотношение (3)

показывает, что байесовская оценка минимизирует среднее зна­
чение (с данной весовой функцией q{t)'k{dt)) величины МД0* —
- о*. . .
Другими словами, если 0 выбирается случайно, с плотностью
q{t), то байесовская оценка является наилучш ей в смысле сред­
неквадратического подхода. Среднеквадратическое уклонение (3)
байесовской оценки можпо представить в виде (см. (1))
м ( 0J - е )2 = J м, (е5 - t f я ( t ) х=

J J ( t — 05)2f t (x ) q (t) X (dt) (.[” (dx)= j <>qJ (x) u" (dx) =

где О с е с т ь дисперсия апостериорного распределения Q*:

°0х= J (* - е«)2 ? W X ) k (d<) = J (« - М (б /Н )2 Qa- (dt).(4)

122 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Другой подход к сравнению оценок, который отмечался нами

в § 8, оспован на сравнении s u p Mf ( 0 * — t)2, где Г с: в — задан-
te r
вое подмножество 0 (Г либо совпадает с 0 , либо равно той его
части, относительно которой удалось установить, что 0 е Г ) .
О п р е д е л е н и е 2. Оценка 0* называется минимаксной,
если для любой другой оценки 0*

sup Mf (0* — t f ^ . sup Mf (0* — t)2,

ter te r

Другими словами, для минимаксной оценки достигается

inf sup (0* — t f ~ sup Mf (0* — t f , (5)

e* t e r te r

Установим некоторые полезные связп между байесовскими и

минимаксными оценками.
Т е о р е м а 1. Обозначим через 0q байесовскую оценку для
априорного распределения Q с плотностью q. Если существуют
оценка 0Х и распределение Q, такие что при всех t . v

М, (et - tf < J M„ (e j - и)2 q(и) К ( (G)

то оценка 0* минимаксна. -
Д о к а з а т е л ь с т в о . Пусть 0* — любая другая оцепка.
Тогда
sup Mt (0* — t)2 ^ f М< (0* — t f q (t) К ((dt) >
t J %
> J M, ( e j - 0* ? (t) (dt) > m ,(01* - 0*. <

Заметим, что для почти всех t , принадлежащих носителю

NQ= {t: q{t) > 0) распределения Q, в неравенстве (6) с необхо­
димостью должно выполняться равенство, так как в противном
случае мы получили бы

J Mf (Of — t ) 2 q (it) %{dt) < | Mf ( 0 j — t ) 2 g (t) %(dt),

что противоречит определению байесовской оценки.

Это замечание позволяет нам сформулировать следующий
критерий минимаксности оценки, эквивалентный теореме 1,
Т е о р е м а 2. Если оценка 0*
1) является байесовской для некоторого распределения Q,.
2) Mt (0* — t f ~ с — const при t е A7Q,
3) Mt (0* — для остальных t,
то 0* является минимаксной оценкой.
s lij БАЙЕСОВСКИЙ И МИНИМАКСНЫЙ ПОДХОДЫ

Если 0* — — 0* удовлетворяет этому критерию, то, оче­

видно,
sup Мt (0* - t f = f М, (0* - t f q (t) %(dt). (7)
't
Таким образом, минимаксная оценка — это есть байесовская
оценка, которая «выравнивает» погрешности Мг (0* — t f при
различных t. Это значит, что априорное распределение Q, соот­
ветствующее этой оценке, заставляет быть одинаково вниматель­
ным ко всем возможным значениям 0, а не ориентироваться, как
это делают байесовские оценки 6q, соответствующие другим ап­
риорным распределениям Q ^ Q , на какие-то выделенные (более
вероятные) значения 0. Поскольку в последнем случае мы ис­
пользуем дополнительную информацию о 0, то естественно, что
при оцепки 0q будут обладать меньшими значениями
безусловных средпеквадратических уклонений
I М, (е5 - t f Q (dt )< j М, (0
В связи с этим распределение Q в теореме 2, соответствующее
минимаксной оценке 0*, часто называют наихудшим.
Так как такое наихудшее распределение Q не всегда суще­
ствует (это бывает обычно в случаях, когда 0 — неограниченное
множество), то можно предложить следующий модифицирован­
ный критерий для отыскания минимаксной оценки.
Т е о р е м а 3. Если существует оценка 01 и последователь­
ность распределений Q(ft) с плотностями qw такие, что при всех t
Mi (e f - i f < lirn sup J M, (e*w - t f qm (t) X (dt),
tl-*Oo
то оценка 0i — миншшксная.
Д о к а з а т е л ь с т в о этой теоремы столь же просто. Для лю­
бой оценки 0* справедливо
sup Mf (О* — i f ^ J М t (6* — i f Q(h) (t) h (dt) ^

Отсюда следует, что

sup Mt (0* — t f ^ iim sup f Mt (0„(ft) — t f q{h) (t) Я, (dt) >
t /£-»00 J 4
> м ,(в Г - i f . <
П р и м е р 1. Пусть Х ^ Ф а л . Выясним, что из себя пред­
ставляет байесовская оценка Ыфо параметра а с априорпым нор­
124 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ ' [ГЛ. 2

мальным распределением = ф (0, h)t В этом случае мы должны

положить %{dt) = dt,

Апостериальное распределение Qx* будет иметь плотность

q{h)( t / X \ пропорциональную (как фупкция от t) qw (t)ft(X) или,
что то же, пропорциональную

Из равенства

следует, что

14-Tih*14“^1h
j|(
Так как байесовская оценка a Q(fe) параметра а равна математи-
ческому ожиданию апостериорного распределения, то отсюда по­
лучаем
* хпк. X
a Q<fc> 14-пк 1 1
i + Xk

ОТ

X не зависит. Стало быть, в силу (4) среднеквадратическая

ошибка байесовской оцепки равпа
к ? 1
.1-{-пк п
при к -»■ оо. Поэтому для оценки а* — х имеем

М, (X - t f = 1 = lini \ М< K m - gm (t) dt,

n k-*oo a v
п, стало быть, по теореме 3 оценка а* = х миыимакспа. «Наихуд­
шим» распределением здесь было бы равномерное распределение
на всей прямой («предельное» для Ф о.Д если бы таковое су­
ществовало *).
*) Интересно отметить, что оценка а* = х перестает обладать отмечен­
ным свойством, если X есть выборка из многомерного нормального распре­
деления, размерности большей двух ( х _ ; е й \ сс е й '1, я^ З), Подробнее
об этом. см. в [31].
§11] БАЙЕСОВСКИЙ И МИНИМАКСНЫЙ ПОДХОДЫ 125
%
В следующем примере множество © компактно и «наихуд­
шее» распределение существует.
П р и м е р 2. Пусть Х ^ = В Р, т. е. х,-, 7 = 1, , . п, принимают
значения 1 и 0 соответственно с вероятностями р и 1 —р, р е
е @ = [ 0 , 1]. Как мы знаем, в этом случае для оценки р* = х
справедливо
МР (х — p f = р (1 — р)1щ
так что критерий теоремы 2 пе выполнен. Рассмотрим оценку
- > 1
Р*= Х_Г
1 + ~Уп"
Для нее погрешность
\2
М " (р* - " ( 1+ ^ г Г м"(; - р + г й г - У Г
» / Р (1 — р ) , (1 — 2р) 2 \ _ 1
(1 + У « ) 2 V п 'г 4п } 4 (1 + у ^ ) 3

не зависит от р. Если мы убедимся теперь, что оценка (8) явля­

ется байесовской, то мы установим тем самым ее минимаксность.
Рассмотрим априорное распределение Q = Bw+1, w+1, где Bxltx2
есть бэта-распре деление с плотностью (см. п. 8 § 2)
Г (?vt -р Я 2) М —1 ,. f\^2~1

г .(*ъ)г (Ч) [ ] '

Тогда, поскольку -

/,<*> = t” 1(1 - i)n(1^ , J (I) - *" (1 - t f ,

то апостериорное распределение будет иметь плотность q(t/X),

которая как функция от t будет пропорциональна f t(X)q(t) или,
что то же, пропорциональна
у+ Ь г ^ _ ^N+U-x)n

Это означает, что апостериорное распределение совпадает с

®iv+xn-n,N+n(i-x)+i‘ Так как сРеДнее значение распределения
равно Xi/(^i + X2) (см. п. 8 § 2), то байесовская оценка
P q, соответствующая Q, будет равна
*~ N —хп-j-1 х-f-(Л' 1)/«
2jV + п + 2 ~ 1 + 2 (N + 1)/пя
При iV + 1 = Уп/ 2 эта оцепка будет совпадать с оцепкой р*г опре­
126 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

деленной в (8), и в силу теоремы 2 будет минимаксной. Распре­

деление Q будет наихудшим. Оно концентрируется с ростом п
около «наихудшего» зпачепия параметра р — 1/2, при котором
дисперсия оценки х, равная р(1 —р) / п = 1/(4/г), будет макси­
мальна. Сама оценка х не является минимаксной, так как
р (1 — р) 1 1

•Т — ° 47Г> 4 ( 1 + У У
В то же время ясно, что для всех значений р, лежащих вне
узкой окрестности точки р = 1/2, оценка х все же будет лучше,
чем Pq — это будет иметь место для всех р, для которых

р ( 1 - р ) < Щ + Т /у ^ р

В общем случае отыскание точных выражений (явных функ­

ций от X ) для байесовских и минимаксных оценок не всегда
возможно. Поэтому естественно использовать также асимптоти­
ческий подход.
Прежде чем вводить соответствующие определения, напом­
ним, что байесовские и минимаксные оцепки 0 q и 0 определя­
лись неравенствами
М (0$ - 0)2 - М (0* - б)2 < О,
sup Mt (0* — t f — sup м< (0* — t f о ^
mг t«=r
для любой оцепки 0*. Было бы неразумно определять асимптоти­
ческую байесовость и минимаксность оценок, просто добавляя к
левым частям знак предельного перехода lim , так как обычно
П ~*оо

для а. и. оценок Me (0* — в)2 ~ о2(0)//г н левые части в (9) будут

сходиться к пулю. Поэтому естественно рассмотривать, скажем,
отношение слагаемых в (9). Учитывая,' что в дальнейшем мы
будем иметь дело главным образом с оценками, для которых
Me ( б * — 0)2 имеет порядок малости 1In, можно эквивалентным
образом использовать следующее определение.
О п р е д е л е н и е 3. Оценка 0* называется асимптотически
байесовской или асимптотически минимаксной, если для любой
другой оценки 0* выполняется соответственно
lim sup [Ми(0Г — 0 ) г — М« (0* - О)2] < О,
П -» о о

lim sup [sup Мin (0Х

* — t )2 — sup М</г (б* — О2] 5^ 0.
77.—>оо Lf g P IS F

Отыскание асимптотически байесовских и асимптотически

минимаксных оценок возможно, как мы увидим, при весьма ши­
роких предположениях.
§ 12J ДОСТАТОЧНЫЕ СТАТИСТИКИ 127

В многомерном случае (когда 0 ^ Rft есть вектор) свойство 9)

у. м. о., как мы видели, сохраняется, и оценка
eJ = M(0/ X)
будет минимизировать
v (0*) =[М (0* - 0) V (0* - 0)2' *= ММе (6* - 0) V (0* - 0)т =1
= J M t(0 * — t ) V (0 * _ t f q {t ) I (dt)

для любой неотрицательно определенной матрицы V или, что то

же (см. § 8), минимизировать усредненное (с весом q(t)) сред­
неквадратическое уклонение 0* —0 по любому направлению
а е Д\
О п р е д е л е н и е 4. Оценка 0q называется байесовской, если
для любой другой оценки 0* и для любой неотрицательно опре­
деленной матрицы V
Ц е 5 )< р (в * ).
Оценка 0* называется асимптотически байесовской, если
lim sup [nv (0*) — nv (0q)] 0.
71—
>00
О п р е д е л е н и е 5. Оценка 0* называется минимаксной, если
для любой другой оценки 0* и для любой неотрицательной опре­
деленной матрицы V
sup М t (0* — t)V (0* — t)T — snp M t (0* — t) V (0* — t ) T ^ 0.
<sr fs r
Оценка 0i называется асимптотически минимаксной, если
lim sup Isup M (6* — 0 ^ (®* — 0* —
71-roo I (Е Г
— sup Mt/г (0* — t ) V (0* — f)T| < 0,
t=r J
В заключение этого параграфа еще раз отметим, что обозна­
чения MeS, P q (A), f Q(x) в байесовском случае мы можем
рассматривать, если потребуется, с повой точки зрепия — как
условные относительно 0 математические ожидания, вероятно­
сти и плотности М (*S70), Р ( А0 ) , /(ж/0).

§ 12. Достаточные статистики

В предыдущем параграфе мы рассматривали вопрос о постро­
ении двух типов оптимальных оценок — байесовских и минимакс­
ных. В этом параграфе мы введем понятие достаточной статисти­
ки, которое позволит пам строить эффективные оценки — другой
тип оптимальных оценок, выделенный нами в § 8.
Понятие достаточной статистики играет важную роль в мате­
матической статистике вообще и в теории оценок в частности.
128 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Условимся обозначать статистики, т. е. произвольные измери­

мые (скалярные п векторные) функции от X, символом S = S{X).
Пусть X €= Ре, Ру е ЗР= {Ре}. Рассмотрим условное относи­
тельно случайной величины S распределение Р e i X ^ B / S ) ,
порожденное распределением Р е в Р6п.
О п р е д е л е н и е 1. Статистика S = Si X) называется доста­
точной для параметра 0, если существует вариант условного рас­
пределения Р е(Х е _£?/£), не зависящий от 0.
Мы знаем, что Р е( Х ^ £ / S ) при каждом В есть у. м. о., и,
следовательно, существует функция Pi B/s), борелевская по s при
каждом В, такая что
Р e ( Z e f i / S ) = Pi B/ S) .
Мы можем считать (см. § 10), что Pi B/ s) как функция от В
есть условное при условии S = s распределение вероятностей.
Это распределение можно интерпретировать как распределение X
на поверхности S i x ) = s.
Но если S — достаточная статистика, то это распределение
не зависит от 0! Это означает, что знание того, где находится
выборочная точка X на поверхности Six) — s, не сообщает нам
никакой дополнительной информации о параметре 0. (Ведь яс­
но, что никто не стапет определять неизвестный параметр в при­
мере 1 Введения с помощью подбрасывания монеты, по той при­
чине, что распределение числа «гербов» пли «решек» при таком
подбрасывании от 0 никак не зависит).
Это важпое обстоятельство означает, в свою очередь, что вся
информация о параметре 0 содержится в зпаченпн статистики S.
Отсюда и происходит ее название — достаточная статистика:
грубо говоря, зпание Si X) достаточно для построения оценки па­
раметра 0; остальные данные, содержащиеся в выборке X , бес-*
полезны.
П р и м е р 1. Пусть X Щ . Покажем, что статистика S =*
П
= кх=* 2 x i является достаточной для параметра закона Пуас-
г=1
сона К. Нам надо убедиться, что распределение положения точки
П
X па поверхности 2 # i = s (s — целое) от % не зависит. Так как
г=1
П
Р (X = X, 2 x i ~ s) = Р (X = х) при 2 х г — S 1 т0
=1
i

Р (х = ж , . . . X = хп)
SJ. I 11 если 2 ] Xi S)
— Р (их = s) рл
P (X = a?/nx = s ) = * г~ (1)
О, если 2 * i ^ s .
£ 12] ДОСТАТОЧНЫЕ СТАТИСТИКИ 129

Поскольку х, независимы, 2 xi€§ то правая часть (1) равна

i—1
л\ -j И Х-л .
( * ' 1 — ~к X 1
(»1Г\ s!
е
Iе S T ) ■, ж,! »
- * П
i—1
Таким образом, условное при условии S — s распределение X
совпадает с полиномиальным распределением Вр (см. § 2) с п
равновероятными исходами (т. е. с вектором вероятностей
= (1/п, . . 1/ кВ п с s независимыми испытаниями. Очевидно,
ого распределение от X не зависит, так что S — пх является до­
статочной статистикой для X.
Понятие достаточной статистики было введено Фишером в
1922 году. Следующая теорема Неймана — Фишера носит назва­
ние факторизацнонпой теоремы, она устанавливает простой кри­
терий существования достаточной статистики.
Предположим, что выполнено условие (Ар) о существовании
с1Рд
ПЛОТНОСТИ /о (х) = - ф - (я).
Т е о р е м а 1. Д ля того чтобы S была достаточной статисти­
кой для 0, необходимо и достаточно, чтобы функция правдопо-
П
добия /о (а?) = п
/е (x i) была представима в виде
г=1
/о (X) = а}) (s (х), 0) h (,X) п. в. [|Лг], (2)
где каждая из функций > 0 и h > 0 зависит только от своих
аргументов, 0) измерима по s, h(x) измерима по х .
Понятно, что представление (2) пеодпозпачно. Компоненты
его определены с точностью до произвольной положительной
функции от Six).
В рассмотренном нами выше примере с распределением Пу­
ассона

1=1 1- 1=1 x i l
п
п х — 2 -И,
{—1

так что мы можем положить при S = пх

Ч> (К
,S) = e
1^1 x v
О т с ю д а в силу теоремы 1 будет следовать, что S = пх есть до­
статочная статистика.
9 А. Л . Боровков
ISO ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Д о к а з а т е л ь с т в о теоремы 1 мы приведем здесь лишь для

двух наиболее важных мастных случаев — для дискретного и
«гладкого». Доказательство теоремы Неймана — Фишера в об­
щем случае отнесено нами в Приложение IV.
В дискретном случае р есть считающая мера на счетном мно­
жестве 36 возможных значений x t, и, стало быть, / 0(.т) —
— Р е (х1= з:), х ^ З б . Пусть сначала выполнено (2). Тогда для
фиксированной точки х е 36,х

pG(X = жis (X) - ^ (х)) = (3)

р о (5 ( X ) = S ( x ) )
Так как { Х = х , S(X) = Six)} = { Х —хУ, то правая часть (3)
равна
Р9(Х = ж) ■
р е ( S ( X ) = 5 (*))
__ fp (х ) я)?(S (ж), 0) k (ж) . h (ж)
2 Ь {У) 2 'M-S (*М)А(У) 2 h(y)~
y : S( y ) = S ( х) y:S{y)=S(x) y :S ( y ) —S(jc)

Таким образом, Р е(Х==Л7 / S(X) — Si x) ) от G не зависит.

Наоборот, если левая часть в (3) от 0 не зависит, то, обозна­
чая ее через /г(ж), из (3) находим
Р е (X = х) =
~ - /е (х) = Р е (X = x - S ( X ) = S (х)) = h (х) Р е {S {X) = S (*)),
где P e(iS(X) = S(x)) — xl?(iS(ic), 0) зависит только от Si x) и 0. <1
Лишь пемногпм сложнее доказывается теорема 1 и в другом
важном частпом случае — «гладком», когда р есть мера Лебега
в Я, а статистика S (X ) предполагается гладкой функцией от Х у
такой что существует замена перемепных iji = S{x), у2— у2' х ) , . . .
Уп — уЛх), разрешимая относительно x t = x {iy u . . . , y n)t
®х\ I
с отличным от нуля якобиапом J = -j j - \ ф 0. В этом случае,
как это известно из формул классического анализа о замене
перемепной в интеграле, плотность случайной величины У ~
=( S( X) , у2(Х), . . . , уп(Х)) будет равна
goiy) =f e( x ) \ ] \ , у = (г/i, . . у п).

Плотность случайной величины ij\(X) = S{X) будет равна

g»i- O/i) = j gi) (У) dlJi • • • dUn = J /о И \ J \ d y 2 . . . d y n,

nu- 1
а условная плотность Y при условии S( X) = s, стало быть, будет
§ 12] ДОСТАТОЧНЫЕ СТАТИСТИКИ 131

определяться соотношением
, .. Of) /е IJ 1
' 4' ( ! ,/s ) = ^ = ^ r п р и й = 8-

После этих предварительных замечаний доказательство тео­

ремы 1 для «гладкого» случая проходит точно так же, как для
дискретного. Действительно, если выполнено (2), то
ЧР(*/«)■- Ч>(*.«)*(*) к I
I Il>(s, 6) IЛ
h )х( d y s . . . dy
цп~ 1

В этом отношении ■$(.■?, G) сокращается. Это означает, что услов­

ное при условии S { X ) = s распределение У, а стало быть, и X,
от 0 не зависит.
Наоборот, если q>(#/s) от 0 не зависит, то
, <Р.(у/«) Р(е1} (*) с,
/э (®) = ------- 17| при s = S (х).

Это означает, что выполнено (2) при ф (s, 0) = g e ) (s), h ( x ) ~

= ср( y l s ) i | / 1. <
П р и м е р 2. Пусть X £= Ф&03. Здесь параметр 0 = (а, а2)
двумерный. Имеем

/„ (X) ==П С = а-" (2л)-'2expI 2 (Х‘~

й » У й I 2ог

= а ехр

Полагая «S' = («Si, S 2), S y — nx, S 2 ь= 2 x i» мы получим пред-

ставление (2), где

, 9) = or— exp { _ 5 _ ^ 1 ± £ ) , h (X) = (2 к Г " ‘\

Здесь мы могли бы, коиечно, множитель (2я)“"/г отнести и к

функции чр, положив h{X) — 1.
Таким образом, мы получили, что статистика (St, S2) являет­
ся достаточной векторной статистикой для (а, а2). Из всей
информации, содержащейся в выборке, нам достаточно знать
х и 2 xf.
Мы предлагаем читателю найти достаточные статистики для
всех семейств распределении, приведенных в § 2.
S*
132 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Мы остановимся подробнее лишь на одном из этих семейств.

П р и м е р 3. Пусть ^ € = U 0ie. Здесь условие Ы„) выполне­
но относительно меры Лебега и

, f0_n, если 0 < Xi < 0 при всех i = 1, . . . , п,

J6v^)
10 ь противном случае.

Пусть X(i) = min Xj, Х(П) = юахХ|. Тогда, как мы видели в

примере 6.5 функцию / е(А) можно записать н виде / 0(А) =
= ^ (х („)} Q)h(X), где
(1, если х .- ,)^ 0 ,
А ( Х ) = [U
л в противном случае,

[0~п при 5 ^ 0 ,
0) = {А
(U в противном случае.

Эго означает, что £ ( А ) = х (п) есть достаточная статистика

для 0.
Аналогичным образом читатель может убедиться, что для
выборки X С§ и 0)1.)-е достаточной статистикой для параметра 0
является двумерная статистика Si X) — (x(J), х(п)). Такой же бу­
дет достаточная статистика и для двумерного параметра 0 =
= ia, Ъ), когда выборка извлечена из распределения Ua, ь.
Приведем два следствия теоремы 1.
С л е д с т в и е 1. Если S — достаточная статистика для 0, то
оценка максимального правдоподобия зависит лиш ь от S.
Точпее, о. м. п. 0* пе зависит от X при фиксированном Si X).
Это следствие очевидно, так как о. м. н. есть значение 0, при
котором достигается миксимум f eiX) = г1)(5(Х), Q)h(X), или, что
то же, максимум-ф(*$Ч А), 0).
С л е д с т в и е 2. Если S — достаточная статистика и ф ункция
*р такова, что отображение и — ф(г;) взаимно однозначно и изме­
римо в обе стороны, то S y~ ^ i S ) также будет достаточной ста-
чистиной.
Это следствие также очевидно, поскольку rp(iS, 0) в (2) можно
записать в виде ^(cp'HSi), 0) = ipiCS,, 0).
Справедлив еще один критерий достаточности статистики S.
Т е о р е м а 2. Статистика S является достаточной для 0 то­
гда и только тогда, когда для любого априорного распределения
Q параметра 0 апостериорное распределение Qx зависит от X
только через S( X) (т. е. остается неизменным на поверхности
S i X) = 8).
Д о к а з а т е л ь с т в о . Пусть S — достаточная статистика и
у it) — плотность Q относительно какой-нибудь меры Я. Тогда
апостериорная плотность qi t/ X) относительно этой меры будет
§ 13] МИНИМАЛЬНЫЕ ДОСТАТОЧНЫЕ СТАТИСТИКИ 133

по формуле Байеса равна

М* )? (0 y(S{X).t)q(t)
q[t/X) =
I fu <l (") (*0 j ^ (5 (x b u) QM ^
Докажем" теперь обратное утверждение теоремы. Выберем
априорное распределение так, чтобы q i t ) > 0 всюду на © и при
всех t
п (X ) = 1 (X ) = j / и ( X ) 5 (И ) I (du):

Если qit/X) — git, Si X)) , то, полагая ij;(s, t ) = git, s)/q(t), ki X) =

= /(X ), мы получим представление (2). <3
С л е д с т в и е 3. Если S — достаточная статистика, то see
байесовские оценки и минимаксные оценки, определенные с по­
мощью теоремы 11.2, зависят лишь от S.
В дальнейшем мы получим много других подтверждений того,
что достаточная статистика S содержит в себе исчерпывающую
информацию о 0.

§ 13 *, Минимальные достаточные статистики

Рассмотрим теперь вопрос о выборе достаточных статистик.
Ясно, что их может быть очень много. Например, статистика
S( X) S3 X , очевидно, всегда является достаточной. Эта достаточ­
ная статистика называется тривиальной достаточной статистикой.
Однако мы заинтересованы (и в дальнейшем станет ясно, поче­
му) в более «экономных» статистиках. Оказывается, далеко не
всегда можно построить достаточные статистики, которые были
бы существенно «экономнее» тривиальной достаточной статисти­
ки. К этому вопросу мы вернемся после того, как определим
более точпо понятия, связанные с «экономностью» достаточных
статистик. Для этого введем на мпожестве всех достаточных ста­
тистик (для некоторого параметра 0) частичный порядок.
О п р е д е л е н и е 1. Мы будем говорить, что статистика S {
подчинена <S2, если S y есть измеримая функция от S 2: S { — cp(52).
Это соотношение и означает, что <S, «экономнее» S 2.
О п р е д е л е н и е 2. Если S t подчппепа S2 п S 2 подчинена <Sf,
то статистики S { и S> называются эквивалентными.
Очевидно, Si эквивалентна S 2 тогда и только тогда, когда
Si — cp(.S2) и ср — взаимно однозначное измеримое в обе стороны
отображение.
О п р е д е л е н и е 3. Достаточная статистика S 0 называется
минимальной, если она подчинена любой другой достаточной ста­
тистике S.
Минимальная достаточная статистика является самой эконом­
ной. Если мы построили минимальную достаточную статистику
S , то при сохранении свойства достаточности дальнейшее сокра­
184 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

щение данных но сравнению с S невозможно. Остальные данные,

содержащиеся в выборке, .можно рассматривать как порожден­
ные некоторым случайным механизмом, не зависящим от 0. Они
не несут в себе никакой информации о 0.
Введенные понятия, как и неходкое понятие достаточной ста­
тистики, можно в слегка обобщенной форме излагать на языке
о-адгебр, который в ряде случаев оказывается более удобным и
наглядным. В самом пачале — в определении 1 предыдущего
параграфа — условное распределение Р е(Х е В/S) можно заме­
нить на условное распределение Р е(Х ^ В/ Ю относительно о-под-
алгебры $ cz 33^ и называть 31 достаточной о-алгеброй, если су­
ществует вариант Р е(Х ^ В/Ю, не зависящий от 0.
Факторизационная теорема при таком подходе сохранится,
если функцию ij:(£(X), 0) заменить на 91-измеримую по X функ­
цию i})(X, 0). Доказательство этой теоремы, помещенное в При­
ложении IV, по существу останется прежним.
Достаточную статистику теперь можно определить как ста­
тистику S, для которой порожденная ею о-алгебра oiS) будет
достаточной.
Подчиненность достаточных статистик (см. определение 1)
на языке о-алгебр не требует введения дополнительных понятий
и совпадает просто с вложением о-алгебр: подчинена S 2, если
oiSi) cz oiS 2). Таким образом, S { экономнее S 2, если о-алгебра
a( St) беднее (грубее), чем o{S2). Эквивалентность 5i и S 2 озна­
чает, что oi St) = o{S2).
М инимальная достаточная о-алгебра $ 0 определяется как о-ал­
гебра, которая вкладывается в любую достаточную о-алгебру.
Минимальная достаточная о-алгебра всегда существует. Чтобы
убедиться в этом, заметим предварительно, что в силу теоремы 2
Приложения IV существует распределение Q на © (притом диск­
ретное) такое, что все Р 0 абсолютно непрерывны относительно
распределения Pq = j PfQ (dt).
Это означает, что либо /q (X) = J / {(X) Q (<2£) ;> О при всех
X, либо из равенства Д,(Х) = 0 следует / е(Х) = 0 при всех 0.
В этом случае говорят, что Р0 доминирует семейство (Ре), так
что мы могли бы Р q взять в качестве меры р. Плотность рас­
пределения Ре относительно этой меры равна
</Р» (дЛ - /||W — Г (д- 0)
dr Q {x) П ;
Ясно (ср. с теоремой 12.2), что если S — достаточная статистика,
то К # , 0) зависит от ж лишь через Si x).
Т е о р е м а 1. о-алгебра % = с(г(Х, 0); 0 ^ 0 ) , порожденная
случайными величинами г(Х, 0) = / е(Х)/Д,(Х) при различных
0 ^ ©, является минимальной достаточной о-алгеброй.
§ 13] МИНИМАЛЬНЫЕ ДОСТАТОЧНЫЕ СТАТИСТИКИ 135

Д о к а з а т е л ь с т в о теоремы -весьма просто. Достаточность

$ 0 следует из факторизащюнной теоремы и того, что
/ 0ш = г(х, е)/< ш , ( 1)
где 1Q(X) не зависит от 0, а г(Х, 0) измерима относительно 91„.
Пусть теперь St есть любая достаточная о-алгебра. Тогда
/ 0(Х) = \|;(Х, Q)h(X), где функция \|;(Х, 0) St-измерима. Рассмот­
рим о-алгебру = оЦ:(Х, 0), 0 e 0 ) c St. Из определения г( Х, 0)
следует, что

и, стало быть, Stfl <= St* <= St. О

С этой теоремой и теоремой 12.2 тесно связано другое по­
лезное утверждение. Рассмотрим байесовскую постановку задачи,
когда 0 есть случайная величина с априорным распределением Q.
Пусть q(t) > 0 есть плотность этого распределения относительно
подходящей меры К на 0 . Тогда апостериорная плотность будет
равна

и, стало быть, минимальную достаточную о-алгебру St0 можно

рассматривать как порожденную апостериорным распределением:
« С = a(q(t/X); f е= О).

Отыскание распределений Q и Р 0, фигурирующих в теоре­

ме 1, обычно труда не составляет. Например, если носитель N р0
распределения Р е от 0 пе зависит, что имеет место для большин­
ства распределений, перечисленных в § 2, то можно взять
Pq —.Ре0 при любом 0о е ©;
Таким образом, мы располагаем теоремой существования и
конструктивным способом построения минимальных достаточных
о-алгебр *).
Однако в большинстве случаев нам все же будет удобнее
иметь-дело со статистиками. Основная задача этого параграфа —
отыскапне минимальных достаточных статистик.
Прежде всего, каким образом можно проверить, что данная
достаточная статистика S 0 является мипимальпой?
Одпа из возможностей состоит в использовании теоремы 1.
Если o{S0) совпадает с с-аЛгеброй, порожденной f e(X)/f Q(X), то
6Т0 есть минимальная достаточная статистика.

*) Существование мппимальпой достаточной о-алгебры §10 можно уста­

новить н иным путем, доказав, что 5(0 есть пересечение всех пополненных
достаточных о-алгебр.
136 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ (ГЛ. 2

I I р и м е р 1. Мы видели, что статистика S — пх является до­

статочной для параметра Я распределения Пуассона П>.. Это бу­
дет минимальная достаточная статистика, так как c(S) совпада­
ет, очевидно, с о-алгеброй, порожденной Д. (X )/,Д 1 (X ) ~
= е ^ 1 ^(X:/Xt)s (мы взяли здесь распределение Q, сосредоточен-
иое в точке )ч ).
Г1 р н м е р 2. Пусть X U0)e. Тогда статистика S = x(n) — max хд
является минимальной достаточной статистикой. Г» самом деле,
возьмем в качестве Q какое-нибудь распределение на 10, °о)
с плотностью q(t) > 0 при всех t > 0. Тогда

оо

f Q(X) = J ft (X) q (t) dt ~ ^ t nq (t) d t > 0

при всех X. При этом S = sup {0: f e(X)/ f Q(X) — 0). Это означает,
что S измерима относительно минимальной о-алгебры 5t0, g(S) <=
<= §10 и что, стало быть, ^-минимальная достаточная статистика.
Можно указать другой способ отыскания минимальных достаточных
статистик, такж е связанный с функцией правдоподобия. В самом деле, лю­
бая статистика и, в частности, достаточная статистика S порождает разби­
ение выборочного пространства на классы эквивалентности — т. е. па под­
множества точек х с одинаковым значением S (х).
Если S ь подчинена S2, т. е. S \ — ср(3'2) , то, очевидно, разбиение для
S 1 будет более крупным, так как классы эквивалентности для S 2
содержатся в классах эквивалентности для 5 ;. Таким образом, минималь­
ной достаточной статистике соответствует самое «крупное» разбиение сре­
ди разбиений, порожденных достаточными статистиками.
Можно рассматривать просто разбиения пространства на классы экви­
валентности, по связывая их непосредственно со статистиками. Класс экви­
валентности, содержащий точку х , обозначим D(x). Каждый класс однознач­
но определяется какой-нибудь одной своей точкой. Разбиение па классы
D будем называть достаточным, если
/ е (ж) = Ф (x , 0) h (x),
(2)
где <р (х, 0) = ф (х 0, 0) постоянно при х е D (х 0) (т. е. Ф (х, 0) = const внут­
ри класса эквивалентности). Е с л и классы D (х) определяются соотношениями
S (х) = s, то из теоремы 11.1 сразу вытекает, что статистика S (х) до ста­
точна тогда и только тогда, когда разбиение на классы D достаточно.
Рассмотрим теперь разбиение, построенное следующим образом: возь­
мем точку х 0 и объявим, что х принадлежит классу если отно­
шение

(3)
не зависит от 0. Очевидно, что при таком построении D ( x {) = D ( x ^ —
если так что правило (3) порождает разбиение
всего пространства на пенересекающпеся классы.
§ 131 МИНИМАЛЬНЫЕ ДОСТАТОЧНЫЕ СТАТИСТИКИ 137

Это разбиение соответствует разбиению, порожденному минимальной

достаточной статистикой S.
В самом деле, пусть S — минимальная достаточная статистика. Возьмем
произвольную точку х 0 Тогда на поверхности S (х) ~ S (л?0) отношение
/ е ( x ) / / Q(аг0) равпо h { x ) jh { х ^ и, стало быть, от 0 пе зависит. Таким об­
разом, разбиение па классы D не менее крупное, чем разбпепие для S.
С другой стороны, это разбиение достаточное. Действительно, каждой
поверхности D мы можем поставить в соответствие одну какую-нибудь ее
точку x D, по которой эта поверхность будет однозначно определяться. Рас­
смотрим функцию х 0 (х)^ которая определяется соотношением x Q(х) = x D<
если х е D. Тогда в силу (3) при ж е й
/е (**') = /о (x d) ^1 x d) ~ h (х о (д’’ х 0 (х })’
что означает выполнение (2).
Проведенные рассмотрения были не совсем строгими, так как мы не
связывали их с вопросом об измеримости функций, входящих в (4).
Сказанное можно резюмировать следующим образом. Пусть дана ста­
тистика S (X) такая, что S (х) ~ S (яго) тогда и только тогда, когда отноше­
ние (3) не зависит от 0. В этом случае S есть минимальная достаточная
статистика.
В отличие от подходов, связанных с теоремой 1, где рассматривались
отношепия fQ (х)/f q (x ) пяа fQ[x)/fQ^{x) при разных 0 и 0, (называемые
часто отношениями правдоподобия), правило, сформулированное выше, ис­
пользует отношение / е ( # )//е (л;п) при одинаковых значениях параметра 0.
В примере 4, например, отношение

h W lh К) = П Х г' = П Х г Л Х г-
П
пе будет зависеть от "К тогда п только тогда, когда х — хп = xi0» где
г—1
х |*о— координаты вектора х () Этого достаточно, чтобы заключить, что
S (х ) = х есть минимальная достаточная статистика.
Рассмотрим теперь с помощью предложенного правила пример, когда
«экономных» достаточных статистик не существует. Прежде заметим, что
вариационный ряд S v = ( х(щ х( 2)’ •••> х (п))» построенный по выборке X,
очевидно, всегда является достаточной статистикой, так как / е (X) —
п п
=П /e(xi)= n / 0 (x(fc)). Эта статистика «чуть-чуть экономнее» самой
i= 1 ' ft=1
выборки X. Отсюда, в частностп, следует, что любая мпш ш альная достаточ­
ная статистика инвариантна относительно перестановки координат х* в
выборке X.
Если плотность fo(x) симметрична, т. е. /е ( —х) — fe(x) при всех 0,
то, очевидно, будет существовать еще немного более «экономная» достаточ­
ная статистика, представляющая из себя упорядоченную по возрастанию
совокупность(х®, . . . , х£), которую мы обозначим
П р и м е р 3. Если Х(=Е КО0,т. е. если х ; имеют плотность распределе­
ния Коши с нараметром 0 = а

то статистика S 2 является минимальной достаточной статистикой,

138 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ 1ГЛ. 2

Действительно, в этом случае

' ‘ t- 1
так что

(5)

есть отношение двух полиномов от о2. Оно не зависит от о тогда и только

тогда, когда коэффициенты при соответствующих степенях о 2 в числителе
и 'знаменателе совпадают. Это, в свою очередь, имеет место тогда и только
тогда, ног да множества «нулей» {— ж|0} и {— а г | совпадают. Другими сло­
вами, для независимости (о) от о необходимо и достаточно, чтобы точка
= (^jfj . • •» ж*) имела координаты, которые отличаются от координат
ж* разве лишь перестановкой их мест. Это и означает, что S есть
минимальная достаточная статистика.
Совершенно аналогично можно показать, что S v является минималь­
ной достаточной статистикой для параметра а и, стало быть, для пара­
метра 0 = (а, о) распределения Ка> <j.
Другой пример, в котором S v будет минимальной достаточной стати­
стикой, мы получим, если рассмотрим семейство
= кРе1 -И * — «) ро2’ а е 1°. П«
где {Ре} — экспоненциальное семейство (см. § 15, в качестве Ре можно
взять нормальное распределение или распределение Пуассона) н где хотя
бы один из параметров а, 01? 02 неизвестен.
Докажем теперь теорему, указывающую простой «конструк­
тивный» способ отыскания минимальных достаточных статистик.
Для простоты изложения рассмотрим случай одномерпого па­
раметра 0.
T e o p je -ма 2. Пусть функция правдоподобия / е(ж) при всех х
как ф ункция от 0 непрерывна справа Сили слева,). Тогда, если
оценка м. п. 0* единственна и является достаточной статистикой,
то 0* есть минимальная достаточная статистика.
Д о к а з а т е л ь с т в о . Пусть S — произвольная достаточная
статистика. Мы докажем теорему, если покажем, что 0* измери­
ма относительно a{S) и, стало быть, 0* подчинена S.
В силу факторизационной теоремы
U (х ) = у {S (ж), 0) h (ж) п. в. [ р 1] , (6)
где h(x) — измеримая функция нож, ф(.?, t) непрерывна (справа
или слева) но t и измерима но s. Так как Р 0 не изменится, если
плотность /в(ж) изменить на множестве р"-меры 0, то мы можем
считать, что (6) справедливо при всех х.
В силу (6) точка абсолютного максимума /«(ж) является точ­
кой абсолютного максимума и для ф(Six), 0). Поэтому, в силу
§ 131 МИНИМАЛЬНЫЕ ДОСТАТОЧНЫЕ СТАТИСТИКИ 139

единственности 0*
{0* < f } = Гsup ф (S (X), 0 ) > sup ф (S (X), 0)1.
I 0<f 0ist /
Так как ф(5(Х), 0) при каждом S ( X ) непрерывна по 0 спра­
ва (или слева), то существует счетное всюду плотное множество
0 С= cz 0 (одно и то же для всех S ( X )) такое, что
sup ф (S (X), 0) = sup ф (S (X), 0 + (7)
е<г 0j «
9jS
Такое же соотношение будет справедливо для области 0 > t. Так
как ф(5(Х), 0^) измеримы относительно o(S), то в силу (7) зна­
чения sup ф (£ , 0) и sup ф (S , 0) будут случайными величина-
e<t
ми,. также измеримыми относительно о (S). Следовательно,
{0* < t) е о(&), и теорема доказана. <3
Условие достаточности о. м. п. 0* в условии приведенного
утверждения существенно, поскольку оценка м. п. 0* сама по
себе не обязана быть достаточной статистикой. Соответствующий
пример легко получить, рассмотрев любое семейство распределе­
ний {Ре) со скалярным параметром 0 и векторной (размерности
большей 1) минимальной достаточной статистикой S. В этом
случае оценка м. п. 0* также будет скалярной, так что с-алгебра
о(5) будет более богатой, чем о(0*), и, стало быть, включение
o( S) сг о(0*), вытекающее из минимальности S и достаточности
0*, невозможно.
П р и м е р 4. Пусть X g _ U eil+fl, © = R. Тогда, как мы ви­
дели в примере 6.4,
(1 ПРИ 0 < Х(1) < Х(„) < 1 + 0 ,
' \0 в противном случае,
так что / 0(Х) зависит от X только через х(1) и х(п). Это означает,
что S = (х(1), х (п)) есть достаточная статистика- Ни одна из ве­
личин х (1), х(п) в отдельности не является достаточной статисти­
кой, на что указывают следующие соотношения:
П
Р (Х(1) > и, Х(„) < v) = П р (х* е [и, v)) =
i=l
— (v — и)п при н > 0 , V< 1 + 0, v^> и.

Поэтому совместная плотность распределения (х(1), х (п)) будет

равна
п (п — 1) (г — м )'" 2 при и ^ 0, v < 1 + 0, v >■ и,
8 (и, v) .=
О в остальных случаях.
140 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Далее, P (x (t) > и) — (1 + G —и)п при 0 ^ и < 1 + 0, так что плот­

ность х(1) равна
gill) = 7?.(1 + 0 — и)п~1 при 0 и ^ 1 + 0.
Отсюда уже легко получить, что условпая плотность g( v/ u) ве­
личины х ()1) при условии х (1) = и (а стало быть, и соответствую­
щее условное распределение) будет зависеть от 0. Это означает,
что х(1) (как и х(П)) в отдельности не являются достаточными
статистиками. Так как в качестве о. м. п. 0* мы можем взять
0* = х(1) (см. пример 6.4), то мы доказали, что для семейства
U e> i-t-e о. м. п. 0* не является достаточной статистикой.
Мы предлагаем читателю с помощью теоремы 1 убедиться,
что (S '= (x (1), х(71)) является минимальной достаточной статисти­
кой ДЛЯ U е , н- в•
Условие о достаточности 0* в теореме 2 будет автоматически
выполнено, если предположить, что существует скалярная (для
одномерного 0) достаточная статистика S Q, для которой функция
ср в равенстве 0* = ф(5,0) будет взаимно однозначной (т. е. 0*
и Sc, будут эквивалентными).

§ 14. Построение эффективных оценок с помощью

достаточных статистик. Полные статистики
О п р е д е л е н и е 4. Оценка 0* называется достаточной, если
она является достаточной статистикой.
1. Одномерный случай. Мы будем предполагать здесь, что
0 — скалярный параметр. Пусть К ь есть класс всех оценок 0*
со смещением 6(0), так что 0* К ь, если «(0) = М(»0* = 0 -J- 6(0).
Для 0* е= К ь имеем
М0 (0* - 0)2 - М0 (6* - а (0))2 -f {а (0) - в)2 = De0* + Ь2 (0).
Индекс 0 у символов Me, De мы будем в этом разделе иногда
опускать.
Следующее утверждение было получено независимо Блекуэ-
лом, Рао и Колмогоровым.
Т е о р е м а 1. Пусть S — достаточная статистика, 0* е К ь.
Тогда ф ункция 0s = M e ( 6 *IS) является оценкой, обладающей
свойствами
1) eSeJSTb,
2) 0g зависит от выборки лишь через S (X ),
3) Me (0g — О)2 ^ Me (0* *— 0)2 при всех 0.
Последнее неравенство превращается в равенство, если только
0* --- 0s л . в. относительно Р й.
Другими словами, в классе К ь применение к 0* операции
Ме(*/£) равномерно улучшает оценку 0*.
§ iiJ ДОСТАТОЧНЫЕ СТАТИСТИКИ И ЭФФЕКТИВНЫЕ ОЦЕНКИ ш

Д о к а з а т е л ь с т в о . Тот факт, что является оценкой,

означает, что 0s не зависит от 0 и является измеримой функ­
цией от X . Независимость от 0 вытекает из свойств достаточных
статистик, так как распределение X при фиксированном S от 0
не зависит (Ме(0*/5) для произвольной статистики S, вооб­
ще говоря, от 0 зависит). В то же время, в силу свойств у. м. о.
0S есть измеримая фупкция от S , а стало быть, и от X. Таким
образом, 0S является оценкой, удовлетворяющей свойству 2)
теоремы.
Равенство
• MH0s - MflMo (0*AS) = M()0*f
доказывающее, что Os ^ Кь* также следует пспосредствсппо из
свойств у. м. о. Далее,
Ме (0* - 0т= м 0(е* - 0± 01У =
= М„(0*- - е )2 + М„ (О* - 0«)2 + 2Ме ( 0" - 0) (е* - 0 |).
Используя опять свойства у. м. о., получим
Мб (е! - в) (о* - ej) = м„м„ 1( е | - е)(е* - o,?)/s| =
. = м „ [ ( 02- е ) м в( е * - в |/ 5)] = о,
и, следовательно,
М0 (0* - 6)! = М„ ( е ; - 0)*- + Ме (в* - 0 5 )\ <]

Собственно, неравенство 3) теоремы 4 можпо получить не­

посредственно из свойства у. м. о. (M^AS))2 < М (|2/£ ), так как
тогда
(05 - О)2 = | Мо (6» - 0)/S)|= < Me [(6* - 0)!/SJ,
м е(е ’ - е ) =< м в( 0* - е ) 2.

Факт, изложенный в теореме 1, можпо пптерпретировать сле­

дующим образом. Пусть S и Т — две достаточные статистики,
0* — ф(77 и S подчинена Т, тогда Mo(0s — 0 )2 <1 Мн (0* — 0)2.
Другими словами, чем «экопомыее» достаточная статистика S
(или чем беднее соответствующая о-алгебра), тем оценки 0s
лучше. Таким образом, для построения оптимальных оценок мы
должны искать минимальные достаточные статистики (или м и -.
иимальные о-алгебры). При этом в качестве исходных оценок 0*
могут фигурировать и «плохие» оцепки, ие обладающие, напри­
мер, даже свойством состоятельности. Поучительным в этом от­
ношении является следующий
П р и м е р 1. Пусть Оценка Я* = х,, очевидно, явля­
ется несмещенной М Я * = М х , = Я ( 6( Я) =0) и не состоятель­
ш ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

ной, так как она от п по зависит. Минимальной достаточной

статистикой для К является статистика S — пх — хь Из при­
мера 12.1 следует, что условное относительно S распределение х,
есть распределение Bf n в схеме Бернулли с вероятностью ус­
пеха 1/п:

г (х1 = ш = *) = с5 ( |) * ( 1 - А ) ,' \

Следовательно,

В одном из последующих примеров мы покажем, что х — эф­

фективная оценка.
2. Многомерный случай. Получим теперь аналоги теоремы 1
для многомерного случая, когда 0 и 0* есть векторы из R k.
Как и в одномерном случае, вектор Ь (0) = Ме0* — 0 мы
будем называть смещением оценки 0* и обозначать К ъ класс всех
оценок со смещением Ъ.
Т е о р е м а 1А. Пусть S — достаточная статистика и 0* е К ь.
Тогда оценка 0s = Me(0*AS) обладает свойствами
1) ъ \ ^ к ъ,
2) 0S зависит лишь от S {X), ' '• *
3) среднеквадратическое рассеивание 0s не превосходит
среднеквадратического рассеивания 0* или, что то же, для лю ­
бого вектора а ^ R h
м в(е * - е ,а ) 2< М о (о * -е ,а )2. (i)
Равенство (при всех а) здесь возможно лиш ь в случае 0* = ©s
п. в. относительно Р е.
Д о к а з а т е л ь с т в о . Первые два утверждения очевидны.
Неравенства (1) следуют пЗ теоремы 1, поскольку все сводится
к рассмотрению одномерных оценок (0*, а) параметра (0, а), и
М0 [(0*, a)IS] — (0*, а). Если в (1) прп всех а справедливо ра­
венство, то при каждом а будем иметь (6s, а) = (0*, а) п. в. Это
и означает, что 0s = 0* п. в. <3
Таким образом, в многомерпом случае роль достаточных ста­
тистик та же: квадратичная форма aijaiaji где, о2 = Ио,-,-П есть
матрица вторых моментов для 0 s —0, будет тем мепыпе, чем
меньше а-алгебра o(S), порожденная S.
3. Полные статистики и эффективные оценки. Мы приведем
теперь весьма простой критерий неулучшаемости оценок, осно­
ванный на понятии полноты статистики S. Размерность стати­
§ HI ДОСТАТОЧНЫЕ СТАТИСТИКИ И ЭФФЕКТИВНЫЕ ОЦЕНКИ 143

стики S мы будем обозначать через I. Обычно она больше или

равна размерности к параметра 0.
Для двух измеримых функций / t(s) и / 2(s): IV IV мы будем
писать / t(s) = fiis) п. в. \Ф \, где Ф — семейство распределений в*
(II1, 0 !), если ftis) ~ f z(s) всюду, за исключением множества N
такого, что Р(ЛГ) — 0 для всех Р е ^ .
О п р е д е л е н и е 2. Семейство распределений ^ = {Ge} г;
(IV, S3'), зависящих от ft-мерного параметра 0 е 0 с: IV, называ­
ется полным, если равепство
j У С9) Ge (ds) — 0 при всех 0 е 0 (2)

влечет за собой y(s) = 0 и. в. [^З, Уравнение (2) рассматривается

в классе функций у: IV IV, для которых интеграл (2) су­
ществует.
О п р е д е л е н и е 3. Статистика S называется полной, если
семейство ^ ее распределений Ge, индуцированных распределе­
нием Р е в (<S?n, 23^)» является полным.
Уравнение (2) для статистик может быть записано в виде
Мер (S) — ^ ПРИ всех 0 e 0 c IV.
Т е о р е м а 2. Статистика S является полной тогда и только
тогда, когда при каком-нибудь fto(0) a(S)-измеримая*) оценка 0*
единственна в классе всех g{S)-измеримых оценок из К ь0.
Если о(8)-измеримая оценка единственна в К Ь(), то a(S)-us-
меримые оценки будут обладать свойством единственности и в
любом другом классе Кь.
Д о к а з а т е л ь с т в о этого утверждения почти очевидно, так
как наличие в K bQ двух о(5)-измеримых оценок 6i —
б* = (£>) означает, что [ ф* (s) Go (ds) — b0(Q), i — 1, 2,

J [<Pi (9) — Ф2 (9)1 (ds) = 0 при всех 0 g 0 ,

так что полнота S влечет за собой фДх) = ф2Ы п. в. [^3. Наобо­

рот, пусть j у (s) Go (ds) = 0 для всех 0 е 0 , 0* = фх (s) е К ь.
Тогда 0* = ф 1(s) + y(V) s Кь, единственность о(5)-измеримой
оценки означает, что y(s) = 0 п. в. \$ \. <3
Т е о р е м а 3. Если достаточная статистика S является пол­
ной и 0* ^ Кь, то оценка 0s = Me(0*/<S) является единствен­
ной эффективной оценкой в К ь.
Эта теорема дает нам достаточно простые критерии эффектив­
ности оценок.

*) Т. е. измеримая относительно о-алгебры a(S), порожденной S , и, ста'

добы ть, представимая в виде ф(Л'), где ф — оорелевская функция.
144 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Д о к а з а т е л ь с т в о . В силу теоремы 2 о(&)-пзмерима"я оцен­

ка в классе К ъ единственна.
Пусть 0** — любая другая оцепка из Кь. Тогда ©s* =•
— Ме(0**/£) е Кь и, стало быть, 0s — 0s п. в. [3?]. Отсюда и из
теоремы 1 следует, что
М„ (0S - е)2 = Ме (0.Г - 0)2 < Me (0** - в)\
и равепство возможно лишь при 0** = 0s п. н. <3
С л е д с т в и е 1. Если S — достаточная полная статистика,
а 0* — несмещенная оценка, то 0s есть эффективная оценка и
она единственна.
II р и м е р 2. В примере 1 с распределением Пуассопа мы
получили, что для Я* = х,
Яв = 1\М х,/£) = X,
где S — пх. Покажем, что S — полная статистика и, стало быть,
х — эффективная оценка. Уравнепие (2) для статистики S име­
ет вид
оо

^ у (к) е~пХ -Цгр—= 0 при всех Я ^ О,

h=О
или, что то же,
v iz) ~ 2 У (/?С)'/Т~ — 0 при всех z ^ 0. (3)

Это, очевидно, влечет за собой у{к) = 0, так как из сходимости

ряда (3), скажем, при z — 1 следует, что viz) аиалитична при
|z| < 1 и тождественно равна 0. Стало быть, коэффициенты у{к)
ее разложения в ряд равпы 0.
П р и м е р 3. Пусть X £= U0 е. Покажем, что статистика S —
= х<п) = шах Х| является полной. Достаточность (и минималь-
i«n
пость) S была устаиовлепа в примере 13.2. Распределение S опре­
деляется равенством
Р (S < s) *= (s/0)7\ 0 < х < 0,
так что S имеет плотность, равную nsn~x0_п при s е [0, 0]. Урав­
нение (2) в этом случае имеет вид
е
J Уи ' У ds = 0 ПРИ 0 е °°)-
о
е
Из равенства | у (s) sn_1 ds = 0 при всех 0 следует, очевидно,
о
что y(s)sn~l — 0, yis) = 0 п. в.
 ДОСТАТОЧНЫЕ СТАТИСТИКИ И ЭФФЕКТИВНЫЕ ОЦЕНКИ 145

Мы предлагаем читателю проверить, являются ли полными

достаточные статистики для других параметрических семейств.
В частности,, установить, ч т о а * = * |- ( 1 ^ есть единственная
эффективная оценка параметра а семейства Га, t (см. § 2).
Отметим теперь, что теорема 3 указывает на существование
связей между понятиями полноты и минимальности. 11а этот счет
справедливо следующее утверждение, дающее вместе с теоре­
мами § 13 критерий минимальности достаточных статистик.
Т е о р е м а 4. Всякая полная достаточная статистика S явля­
ется минимальной достаточной статистикой.
Д о к а з а т е л ь с т в о . Пусть §(<, — минимальная достаточная
a-алгебра (по теореме 13.1 такая существует). Предположим, что
Ме5 существует, п рассмотрим функцию ф £ — Me (&/2(0).
Так как % с o (S ], то г}: будет о(£)-измеримой, так что я|? = ty(S).
Обозначим Ge распределение S. Тогда при всех 6, очевидно,
Моф (S ) = 0 или, что то же,
J ф (s) Ge(ds) — 0 при всех 0 G 0 .
Отсюда в силу полноты S следует, что ^(s) = 0 п. в. [3?], % =
— {Ge>. Это озпачает, что S — Ме(5У§0 п. в. [$] и, стало быть,
S измерима относительно *) й 0, o(S) = Sl0.
Если MeS не существует, то надо вместо S рассмотреть ста­
тистику arctgS , которая, очевидно, эквивалентна S относительно
свойств достаточности, полноты и минимальности. <
Отметим, что обратное утверждение не верпо: минимальная
достаточная статистика не обязана быть полной. Соответствую­
щие примеры легко получаются в случаях, когда размерность I
статистики больше, чем размерность к параметра D. Например,
в § 13 мы видели, что совместная плотность минимальной доста­
точной статистики S = х,п)) для семейства U e, j+e равна
п ( п — 1) (у — и)п~'2 при и ^ 0 , y ^ l + 6, v > u ,
g e (и, v) =
0 в остальных случаях.

Если взять функцию уЫ, v) — ф(н — и) и сделать ортогональ­

ное преобразование (к — u)/V2 = t, (v + и) / у 2 = г, то интеграл
в (2) (по треугольнику и S5 0, v ^ 1 + 0, v > u ) будет равеи
f*
J у (и, v) go (w, v) du dv = n (n — 1) j ф (x ) x n~ 2 (1 — x) dx.
о
Очевидно, что интеграл в правой части от 0 не зависит и легко
подобрать функцию ф(;г) Ф 0, обращающую его в пуль.

*) Под St0 здесь г. а до понимать о-алгебру, пополненную множествами.

N, для которых Рц (Л) = 0 при всех 6.
Ю А. А. Еоротшов
146 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

§ 15. Экспоненциальное семейство

Пусть 0 = (0i, . . 0Й) есть fc-мерпый параметр и плотность
/ е(х) представима в виде

где все функции, входящие в правую часть, конечны и измеримы.

О п р е д е л е н и е 1. Семейства распределений {Ре} с плот­
ностью такого вида мы будем называть экспоненциальными се­
мействами и будем обозначать их символом <8.
Чтобы сделать представление (1) но возможности более одно­
значным, мы будем предполагать, что функции яо(0) — 1,
fli(0), . .., щ(0) линейно не зависимы на О.
Как мы увидим, экспоненциальные семейства занимают осо­
бое место среди параметрических семейств распределений, так’
как для них многие общие конструкции математической стати­
стики можно реализовать в явном виде.
Иногда экспоненциальными семействами называют семейства
распределений более частного вида*), когда аД0) = 0j.
К экспоненциальным семействам относятся, например, семей­
ства распределений {Фа>02}, {11я}, {В,,}, {ГаЛ} и ряд других.
П р и м е р 1. Рассмотрим распределение Г«, Плотность
7«, \(х) этого распределения можно представить в виде

Уа,к 0*0 = э?“~хё~ах = х~ г ехр |л In х — а х + In х > 0.

так что здесь можно положить

* ОС
U1 (х) = In X, и 2 (ж) = X, V (а, X) — ln -f-щ ,
ах (а, X) = X, а2 (а, X) = — а. <]
Функция правдоподобия для равна
П
/е (X) = ехр {(а6),
( S) + nV (в)} Ц h (х,),
где
а (0) = (а, (в) в* (0)), S = (S, , . . . , S k),
п
SJ = S j ( X ) = ' 2 (х{),
1=1

*) По существу это то же самое: мы придем к частному виду, если сде­

лаем взаимно однозначное преобразование 7 — 7 (0), 7 = (71, 7 *,) над
параметром 6, положив j j = «_,(В).
§ 15] ЭКСПОНЕНЦИАЛЬНОЕ СЕМЕЙСТВО 147

(a, S ) есть скалярное произведение. Отсюда и из теоремы 12.1

следует, что S есть достаточная статистика для 0. Мы докажем,
что S является минимальной достаточной статистикой.
Так как функции cj(G), Uj(x), V (0) конечны, то экспонента
в (1) всегда положительна. Это означает, что в качестве
распределения Q в теореме 13.1 (при котором все Ре абсолютно
непрерывны относительно Pq = J P*Q (dt)) можно взять распре­
деление, —сосредоточенное в любой фиксированной точке 6°.
Поэтому из теоремы 13.1 вытекает, что о-алгебра 910, порожден­
ная функцией

г ( Х , 6) = = ехр {(б (6) - (0»), + (6) - V (в»))},

является минимальной достаточной о-алгеброй.

Т е о р е м а 1. Статистика S является минимальной достаточ­
ной статистикой.
Д о к а з а т е л ь с т в о . Из линейной независимости функций
1, « 4(0 ), . .., аД 0 ) на 0 следует липейпая независимость аД0) —
—яД 0°), . . . , аД0) —аД0°). Это значит, что в 0 лайдутся к точегс
0\ . .., 0* таких, что значения = аД0О — « 4(6°) образуют мат­
рицу А с определителем, отличным от нуля. Это означает, в свою
очередь, что уравнения
(a(0j) —a(0°), S) — In r(X, 0j) - n { V № - F(00)), / = 1, k,
однозначно разрешимы относительно S и, стало быть, oCS)с
<= о ( г ( Х , 0 Д ; / = 1, . . . , к ) <=. Я 0. <3
В примере 1 мы рассмотрели Г-распределение и установили,
что для него справедливо представление (1) при 0 = (а, Я) с
фупкцйямп
U А х ) — In я, U2( x ) — x,
аДа, Я) = Я, аДа, Я) — —а.
Очевидно, что условия теоремы 1 выполнены, и статистика S =
= ( S l n х ь 2 хг) или, что то же, статистика ( П Х {, 2 хг) явля­
ется минимальной достаточной статистикой.
Если условия теоремы 1 несколько усилить, то статистика S
будет полной достаточной статистикой (в этом случае минималь­
ность S можно было бы получить как следствие полноты).
Т е о р е м а 2. Пусть Если функция а и мно­
жество 0 таковы, что я(0) зачерчивает k -мерный параллелепи­
пед, когда 0 пробегает 0 , то S — полная достаточная статистика.
.Условия теоремы относительно параллелепипеда, очевидно,
будут выполнены, если множество © «телесно», т. е. содержит
внутренние точки (а вместе с ними и сферы в R h достаточно
малого радиуса), а функции аД0 ) в окрестности какой-нибудь
«телесной» точки 0° являются линейно независимыми и гладки-
10 *
•248 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРЛМЕТГОВ [ГЛ. 2

ми. Тогда преобразование а = а(в) переводит окрестность точки

6° в телесное множество.
Очевидно, что пример 1 с Г-распределетшем удовлетворяет
условиям теоремы 2, так что статистика (П х ь 2 хг) является
полной.
Столь же просто читатель может проверить, что для нормаль­
ного распределения Фа о2 статистика ( S xi » S xi) является так-
зке полной достаточной статистикой.
Д о к а з а т е л ь с т в о т е о р е м ы 2. В нашем случае функ­
ции -фСгг, 0) и h(x) в факторизационной теореме Неймана — Ф и­
шера равны
0) — exp {(а(0), s )+ n F ( 0 ) } t
П
h (ж) = П h (x i)-
rl
Рассмотрим па (Rk, §34 пе зависящую от 0 меру
v (В) = j* h ( x ) i i l (dx),
s~ 4 b)

где есть множество всех ж, для которых S ( x ) e B .

Мы выделим в виде лемм следующие два вспомогательных
утверждения.
Л е м м а 1. Распределение С Р(В) = P e(S(X) е В) статистики.
S абсолютно непрерывно относительно v и имеет плотность в
точке s, равную ip(s, 0).
Д о к а з а т е л ь с т в о следует нз равенства
Ge {В) ~ j* -ф (S (ж), 0) h (ж) р” (dx) = j*\J) (s, 0) v (ds),
S(x)~n seb
которое является следствием замены переменных. <3
Л е м м а 2. Пусть Gj и С2 — две a-конечные меры в (R h, S371).
Тогда если ( е{а,и) G 1( d u ) = j e(a,u)G2(du) существуют для всех а
из некоторого параллелепипеда1 в R h, то Gt = G2.
Д о к а з а т е л ь с т в о . Чтобы упростить рассуждения, рас­
смотрим одномерный случай к = 1 и будем считать, что / —
= {ж; \х\ ^ а}. Тогда
hj (а) = f eavG} (du), / = 1, 2,
есть аналитические функции при Ы < а . Кроме того, при всех
b ^ R определены функции hj (z) = j*e{a+lb)vGj(du) комплексного
переменного z — а +ЛЬ. Ясно, что hj(z) будут аналитическими в
полосе Ы < а , —°° < Ь < оо. Так как h t( z ) = h 2(z) на отрезке
прямой 6 = 0, 1 я | < а , то hl ( z ) — h2(z) при всех z из указанной
§ 16] НЕРАВЕНСТВО РАО — КРАМЕРА II ЕГО СЛЕДСТВИЯ 149

полосы. Стало быть,

j eibuGL{du) = J eibuG2 {du). (2 )

Заметим, что так как h$ (0) = [ G ; {du) <T оо, to Gj можно считать
вероятностными мерами. Из теоремы'о взаимпо однозначном со­
ответствии между характеристическими функциями ц распреде­
лениями ([11]) и нз (2) следует, что G, = G2.
Если параллелепипед I имеет вид {х: \х — ccol^cc), то сле­
дует перейти к мерам G* {du) = е 0 Gj {du).
В многомерном случае к > 1 доказательство происходит точно
так же. <3
Мы можем перейти теперь пепосредствеппо к д о к а з а т е л ь ­
с т в у т е о р е м ы 2.
Нам надо доказать, что если ср — измеримая функция в
330 и существует
J Ф (s) Ge {ds) ~ 0 при всех 0 е 0 , (3)
то ф Ы = 0 п. в. [^ ], ^ = {G0}e<=e. Пусть <р = ф+ —ф“, где ф± 5*0.
Тогда пз (3) следует j ф+ (s) Go(ds) = j* ф- (s) Go {ds), или, в силу
леммы 1,
f <р+ ( 0 Ф (* , 0 ) v (ds) = J ф ” (•s) t 6) v {d s),

j* ф + ( 5) c(s,o(0))v (d s ) = j* (p~ (.<?) e(s,o(0))v {ds).

Если образовать о-копечные меры v ±(ds) = cp*(s)v(ds), то мы

получим
j” e(s-a) v + (ds) .= j* e(s,0)v~ (ds)

при всех а из некоторого параллелепипеда в Л \ Остается вос­

пользоваться леммой 2. <3
С л е д е т в и е 1. Если X 0 * 'е К ь,' и выполнены ус­
ловия теоремы 2, то оценка 0§ — М (0*Л5>) является эффективной
оценкой в К ь-

§ 16. Неравенство Рао — Крамера

и R -эффективные оценки
1. Неравенство Рао — Крамера и его следствия. Результаты
предыдущих параграфов дали нам ряд критериев эффективности
оценок. Однако эти критерии носили в известном смысле каче­
ственный характер. В этом параграфе мы продолжим изучение
вопроса об эффективных, оценках, по с несколько иной точки
зреиия. Выясним, прежде всего, какова минимальная величина
среднеквадратической погрешности, которую можно получить.
 450 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Мы рассмотрим сначала одномерный случай, когда 0 — ска­

лярный параметр. Относительно множества 0 будем предпола­
гать для определенности, что это есть конечный или бесконечный
интервал, замкнутый или открытый.
Для того чтобы ответить на поставленный вопрос, нам пона­
добятся условия регулярности па f e(x). Пусть, как и прежде,

= In U (*). l ( * , 6) = 2 ч,Н0). (0) = М„е* = е +

{=1
Предположим, что^ выполнено условие
СR). Ф ункции 1/}6(х) для п. в. [р] значений х непрерывно
дифференцируемы по 0 е 0 , интеграл

/(^ ( ^ ( ^ М е Г Г К ,® ) ] * . (1)

существует, положителен и непрерывен по 0. (Здесь и в даль­

нейшем штрпх означает дифференцирование по 0.)
Относительно интеграла (1) необходимо отметить следующее.
Если х вместе со своей окрестностью пе принадлежит носителю
iVpe = {х: /е (х) > 0} распределения Р е, то подынтегральная функ­
ция превращается в неопределенность типа 0/0.
Мы условимся считать это отношение равным нулю. Такого же
правила мы будем придерживаться относительно производной
I'(х , 6) ~ fe(x )/fe (х) при ее интегрировании. Этих оговорок
можно не делать, если с самого начала рассматривать интегралы
вида М е ф ^ , 0) лишь по области N p e.
Функция /(0) носит пазвание информации Фишера. Она иг­
рает важную роль в математической статистике и будет неодно­
кратно встречаться в дальнейшем. Некоторые свойства функции
/(0) обсуждаются в § 17.
Если множество О компактно, то непрерывность 7(0) в усло­
виях (7?) эквивалентна условию
sup Mg ([Г (xlt 0)]2; [V (хх, 0) | > N ) 0
е^е
при N -*■ °о, которое можпо пазвать равномерной сходимостью
интеграла 7(0) (см. Приложение VI).
Имеет место следующее неравенство для дисперсии оценок
0* со смещением Ъ.
Т е о р е м а 1 (неравенство Рао — Крамера). Если 0 * е 7 £ ь,
выполнено условие Ш) и Me (0*)2<1 с < оо, то
г\ о* Н Т" Ъ (6)1 /о\
° еВ > — ЕГЩ ‘ (2)
Если в этом неравенстве достигается равенство па некотором
отрезке. О ^ [ 0 М 02] <= © и Do0*I>O на этом отрезке, то ф ункция
§ icj НЕРАВЕНСТВО РАО — КРАМЕРА И ЕГО СЛЕДСТВИЯ 151

правдоподобия / е(X) при 0 ^ [01} 021 представима в виде

/ 0Ш = ехр (0*Ж 0) + В т Ш Х ) , (3)
где Ж 0), В(д) от X не зависят.
Обратно, если 0* = const или если справедливо представление
(3), то в неравенстве (2) достигается равенство.
Условие (3), очевидно, означает принадлежность распределе­
ния в SGn с плотностью / 0Ы к экспоненциальному семейству &.
С л е д с т в и е 1. При выполнении условий теоремы 1

М9 (0* - в)2 > + V (0).

Д ля любой несмещенной оценки 0*

' м <>(е* - " > 2> Ж г

Таким образом, в классах К ь паимепьшее возможное значение
среднеквадратических уклонений отлично от нуля и определяется
правыми частями выписанных неравенств.
З а м е ч а н и е 1. По поводу условия Me (0*)2 <7 с <7 сю можно
заметить, что при Ме(0*)2 = ° о выполняется D e 6 * = o o n нера­
венство (2) становится тривиальным. Условие Dy0* > 0 в силу
(2) можио заменить па (1 4 - б '(0))2 > 0.
З а м е ч а н и е 2. Наряду с условием (В) можно указать не­
сколько других условий, обеспечивающих утверждение теоре­
мы 1, которые будут отличаться друг от друга очень мало. Мы
остановились на том из них, которое нам будет удобнее в после­
дующих параграфах. Условия несколько иного вида будут при­
ведены в § 22.
Пам понадобится одно вспомогательное утверждение.
Л е м м а 1. Пусть выполнено условие (R ) и S — S(X) есть
любая статистика, для которой MoiS“ <7 с <7 оо при 0 ^ 0 . Тогда
ф ункция
«s(0) — Me<S = j S (ж) /о (ж) д 1(d x ) (4)
дифференцируема по 0, причем
as (6) = j S (х) /ё (х) un = 0). (5)
Это утверждение носит технический характер, а его доказа­
тельство существенно отяготило бы рассмотрения. Поэтому дока­
зательство леммы 1 отпесеио нами в Приложение VI.
Д о к а з а т е л ь с т в о т е о р е м ы 1. Полагая в (5) 5 ^ 1, по­
лучим йе(0) эа 1,
М0£ ' — 0, Me а (0) L' — 0. (6)
Используя снова (5) при £ = 0* и (6), получаем
М0в * // = а' (0), Мо (0* - а (0)) U - а' (0). (7)
152 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

По неравенству Коши — Буняковского

(.а' (0))2 < Ме (В* - а (В))2 Me ( L ' f (8)
или, что то же,
DnO* > (< + Ь' т *- . (9)
м0 ( L 'f ' ’

Так как случайпые величины Z; — Z4xj, 0) независимы, одина­

ково распределены и нмеют в силу (6) нулевое математическое
ожидание MeZj ^O, то M qUL = 0 при i¥=j, М%(L'f =>
*= — 2 MoZ^Zj = nMeZi =nI(Q). Вместе с (9) это доказы-
\ j ) i,j
вает неравенство (2).
Докажем второе утверждение теоремы. Для простоты будем
считать, что 0 совпадает с [01, 02] и что мера р,сосредоточена
на объединении носителей Р е, 0 ^ 0 . Знак равенства в (2) (или
и (8)) означает, что

J (0* — а (0)) /о (а?) цп (dx) =

1/2
| (0* — а (0))2 / е (эс) [in (dx) J f-in (dx)

при всех 0 ^ 0 . Так как первый интеграл в правой части по ус­

ловию положителен, то выписапное равенство возможно, если
только
/о И / V /е (х) = с (0) (0* — а (0)) V f в (х) п. в. [рп). (10)

Обозначим через А множество гг, для которых выполпено (10) и

|0 * |< о о . Тогда ц ( Л ) = 0 (А — дополнение к А). Фиксируем
ж е Л . В силу непрерывности f e(x) по 0 мы будем иметь /,(#) > 0
па некотором интервале (f,, tz) с 0 , и па этом иптервале в си­
лу (10)
L' (x, 0) = с (0 )(0 * -а (0 )). (11)
Заметим теперь, что из (7), (11), (2) следует

а' (6) = Мо (6* - а (0)) V = с (9) De6*, De0* = ^ т Ц - ,

(12)
c <6> l = j / i g E '
так что De0* непрерывна по 0 вместе с а'(0), /(0), а !с(0)1
вместе с а(0) равномерно ограничены на [0t, 021, и этим же свой­
ством обладает производная L '( x , 0) в (11). Но это означает, что
L ( x , t) конечно, f e( x ) > 0 всюду на 0 = 1 0 ,, 021, так что (11)
справедливо при всех 0. Нптегрируя (11) в пределах от 0, до 0,
§ 16] НЕРАВЕНСТВО РАО — КРАМЕРА И ЕГО СЛЕДСТВИЯ 153

получим
е в
L (.г, 0) = 0* J* с (t) dt — j* с
(t ) a it) dt + L (x , 0A),
% h
что эквивалеитио (3) для [p n] п. в. ос. Так как изменение /в(а?)
на множестве р п-меры 0 роли не играет, то (3) доказано.
Обратимся к последнему утверждению теоремы. Если 0* =
— const, то b'(Q) = —1 и обе части неравенства (2) обращаются
в нуль. Пусть теперь выполнено (3). Тогда, дифференцируя по 0
функцию ЫХ , 0), получим
L' i X, 6) = 0*Ж (0) + В' (в).
Из (7) следует, что а(0М '(0) + B'(Q) = 0. Поэтому
L'(X , 0) = Д '(0)(0* —а(0))
и, стало быть (см. (10)), в (2) достигается равепство. <3
В дальнейшем тривиальный случай 0* = const мы будем ис­
ключать из рассмотрений и будем предполагать, что DgO *)>0
всюду па 0 . Тогда справедливо
С л е д с т в и е 2. При выполнении условий (Ю для достиже­
ния нижней границы в неравенстве Р а о — Крамера необходимо
и достаточно, чтобы оценка 0* была достаточной и функция
т]:(0*, 0) в факторизационном равенстве имела вид
я];(0*, 0) = ехр {0*Д (0) + Ж0)},
где Ж 0) и 7?(0) — дифференцируемые ф ункции.
' С л е д с т в и е 3. Если выполнены условия (/?), 0 * ^ Х &, и в
неравенстве Рао — Крамера достигается равенство, то 0 * — эф­
фективная в Кь оценка.
Это утверждение следует из представления
Ме (0* - 0)2 = De0* - f b- (0).
Заметим, что обратное, вообще говоря, не верно: оценка мо­
жет быть эффективной в Кь, по нижняя граница -111h_ M l
nl (В)
для дисперсии может не достигаться.
П р и м е р 1. Пусть X С§ Га д. Здесь / в (X) = а 1е~апх. Усло­
вия (/?) в области 0 £ { а ^ б > О ) вынолнепы. Очевидно, S — их
есть полная достаточная статистика. Поэтому оценка сс* = х-1
= M « .( x '7 s ) является эффективной в классе К,, со смещением
Ь(а) = Мах-1 — а .
Заметим теперь, что так что при п > 1 (см. § 23
Мах-1
w = пМсс^-1 = —^-гСС.
п —1 /
’ , П 1 * /4 1\
Таким образом, оценка а ** = — а ’ 11 — — I будет при
п > 1 несмещенной.
154 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Аналогично при п > 2 находим (см. § 2, а также пример 4.1)

(а**)2= (
п- I ) 2 Ма5 -2 = ^— -а

Dr/a** = а 2 — l] = - А _
(_/г — 2 J /г — 2
Итак, при ?г > 2 оцепка а** является эффективной. Однако кри­
терий (3) не выполнен, так как
и ( Х ) = а - пе - а{п~1);а* \
Следовательно, в неравенстве Рао — Крамера нижняя граница не
достигается. В этом можно убедиться и непосредственно. В самом
деле, здесь /(#, а ) = In а — ах, Г(х, а) = 1 /а —х и

/(а) = М«|Г(х1,а))2= М«(±

\а —хЛ2=
] А а -4а-+ 4а = А-
а
Стало быть, при гг > 2
4 2 2

и/(0) ап п—
2 Daa* V *

Таким образом, достижение нижней границы в (2) есть более

жесткое требование, чем эффективность.
2. Л-эффективные и асимптотически Д-эффектпвные оценки.
Пусть выполнены условия (R ). В этом случае достижение ниж­
ней границы (точное пли асимптотическое) для дисперсии в не­
равенстве Рао — Крамера может служить важным показателем
качества оценок, тесно связанным с понятием эффективности.
О п р е д е л е н и е 1. Оценка 0* ^ К ь, для которой

Ме (6* - О)2 = .(1 ; ; / (в|е)2. + Ь2(0).

называется R -эффективпой (или регулярно-эффективной) в клас­

се Кь.
/^-эффективная оцепка в классе К 0 несмещенных оценок на­
зывается просто R -эффективной.
Оценка 0* называется асимптотически R -эффективной (а. R-э.)т
если
Ме (0* —

Мы видим, что в отличие от определений § 8, которые носили

более качественный характер, определения ^-эффективности осно­
ваны на сравнении с известными числовыми значениями, связан­
ными, главпым образом, с информацией Фишера, точнее, с коли­
чеством (тг/(0Х)_ |.
Для Д-эффективности 0* необходимо н достаточно выполне­
ние (3).
§ 16] НЕРАВЕНСТВО РАО — КРАМЕРА II ЕГО СЛЕДСТВИЯ 155

Из сказанного выше следует, что Л-эффектпвные оценки яв­

ляются эффективными, по не наоборот; Л-эффектпвные оценки
просто реже существуют, что является недостатком нижней гра­
ницы в неравенстве Рао — Крамера, а не оценок.
В существующей литературе по математической статистике
Л-эффективные оценки называются просто эффективными. Одна­
ко нам представляется более естественным сохранить термин
«эффективность» для наилучших оценок в более широком пони­
мании (см. определение 8.1).
Т е о р е м а 2. Если выполнены условия (R ) и R -эффективнал
оценка существует, то она совпадает с оценкой м. п.
Д о к а з а т е л ь с т в о . Мы уже видели, что выполнение (3)
влечет за собой равенство (см. (11))
Ь' {Х, 0) = ( 0 * -0 ) с (0 ) .

Кроме того, так как 6(0) — 0, то из (12) следует

с (0) - 1/De0* =? Ш (0) > О
для любых 0 е О . Это означает, что Ь' (Х, 0) < 0 при 0 > 0* и
L' ( X, 0) > 0 при 0 < 0*. Следовательно, при 0 = 0* достигается
максимум И Х , 0). <3
Приведенный выше пример 1 показывает, что эффективные
оценки, в отличие от Л-эффективных, могут пе совпадать с о. м. п.
В этом примере о. м. п. есть (х)“‘, в то время как эффективная
оценка равна — ( х )-1. Обе эти оценки являются, очевидно,
а .Л -э . оценками.
Рассмотрим класс К 0 оцепок 0*, для которых при п -* оо
16(0)1 «S е(0, п)Е)!п, |6'(0)1 ^ е(0, п),
M g (0*)2 < с < о о

при некоторой функции е(0, н ) = о ( 1 ) при п -> °° и каждом

6^0.
Каждый такой класс замечателен тем, что для него нижняя
граница в неравенстве Рао—Крамера имеет вид (1 + о(1))/[н/(0)!.
В § 20 мы увидим, что в ряде случаев при отыскании асимпто­
тически оптимальных оцепок можио ограничиться изучением
оценок 0* из таких классов.
Т е о р е м а 3. Пусть выполнены условия (Л). Тогда всякая
a .R -э. оценка из К 0 является а.э. в К 0 оценкой.
Д о к а з а т е л ь с т в о т е о р е м ы очевидно: если 0Х есть
а. Л-э. оценка, то
Ме(еГ-е)* = Д Е ^ .

Кроме того, как уже отмечалось, по неравенству Рао — Крамера

156 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

для всех 0* е R 0
lim inf Мен (0* - 0)2 > Г 1 (0) - lim М0и (©Г - 0)2. <3
П -» о о 7 1 - * ОС

Ясно также, что если a. R-э. оценка существует, то любая

а. э. оценка в К 0 будет a. R-э оценкой.
Позже мы увидим (см. § 25), что при некоторых дополнитель­
ных предположениях а. /?-э. оценки существуют всегда и, следо­
вательно, утверждение теоремы 3 справедливо и в обратную
сторону: а. э. в К 0 оценка является а./?-э. оценкой, т. е. для нее
Me (0* — 0)а — [и/
Т е о р е м а 4. Пусть выполнены условия (/?). Если 0 i , 62
принадлежат К 0 и являются а. R -э. оценками, то они асимптоти­
чески эквивалентны в следующем смысле:
]/» (е Г — о |)-^ о.
Р

Д о к а з а т е л ь с т в о этого утверждения проходит точно так

же, как в теореме 8.2. Так как 0* = (©Г + 0*)/2 е К 0, то на ос­
новании (8.11) и неравенства Рао — Крамера получаем
l i ms upMe r c ( ®i — 0г)2^ О . <1
?1 -» о о

П р и м е р 2. Оценка а* = х среднего значения а нормаль­

ной совокупности Фа а2 при известпом о2 является Я-эффектив-
иой оцепкои. В этом легко убедиться, проверпв, папрпмер, усло­
вие (3). Другая возможность состоит в сопоставлении Daa* =
= о2/ п с наименьшим возможным значением {nlia))~i дисперсий
несмещенных оценок. В нашем случае
Их , а) = —In У2ло — (х — а ) 2/ (2о2),
1'(х, а) — (х —оО/а2,
I (а ) = Ма [Z' (хА, а))2 = Ма — а)2/о4 = I/o2,
так что Daoc* — {ill (a))-1 = о2in.
П
II р и м е р 3. Рассмотрим оценку 0* ~ S l = —^ (хд — а)2 пара-
i—I
метра 0 = о2 нормальной совокупности с известным а. Нетрудно
подсчитать, что Dy0* - - Мо (0* — о2)2 = 2оА/п. С другой стороны,
здесь
1 / t — а\~
(x V1»
I (х1. = — 20 “I ^5 -

/ (0)— Me Г ' (Х„ в)|3 - - ij - Mo [(х, - a f - ер = 2 L = * .

40 20 2а
Таким образом, здесь также D0O* = (н/(0))’-1, и оценка 0* — S \
является /(-эффективной.
§ 16] НЕРАВЕНСТВО РАО — КРАМЕРА II ЕГО СЛЕДСТВИЯ 157

Дисперсия несмещеппой оцепки S i = i — х^ Равпа

4
£-,так что она не является Я-эффективпой или просто эф­
фективной оцепкой о2. В то же время очевидно, что S q есть
&.R-э. оценка.
Если мы будем в качестве неизвестного параметра оценивать пе о2,
а 0 = 0, то /(-эффективной оценки мы пе получим. Несмещеппой оценкой

о будет оцепка о- У 1т г (т) S , так как

nSПА
где —у -у 2 (Х! — а ) 2 имеет распределение Н п = Т 1/ 2>П/-2, поэтому
о
(см. § 2)

о~1/2 Г' № ) м 0а* = о.

у«
(1)
Так как .S' есть минимальная и полная достаточная статистика» то о*
является эффективной оценкой. С помощью формулы Стирлинга нетрудно
убедиться, что о* = S (1 + 0 ( 1/й )).
Сравним теперь величину Dac* с нижней границей (n J (o ))~ l. Имеем

Л /т
D o * = М п | У ч у — 7- - - - -
Г(т) (l) (13)
° у 2
r2№ )
С другой стороны, здесь
1 (х — а)~
V (х, а) =

I (о) = Мс [/' (х 15 о )}2 = 4 г Ма [(хх - сс)2 - о 2] 2 - ~ t

так что (п !(о ))~ 1 — о 2/(2п). Но это значение отличается от (13). Их от­
ношение, например, для п = 3 равио 0,936. Таким образом, /{-эффективных
оценок едесь не существует. При п-*- оо коэффициент при о 2 в (13) ведет
1 / 1^
\-ак у
себя асимптотически как -г О I у }, так что о* есть о. R-э. оценка.
~п \ п j

3. Неравенство Рао — Крамера в многомерном случае. В этом

разделе 0 — (01} . 0ft) есть к-мерный вектор, так же, как ы
158 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

оценка 6* = (0*, , , , , 0^). К ак и прежде, положим

а (0) = Ме0* - 0 + Ъ(0), Ъ (0) = (6Х(0), . . . , bk (0))
,и рассмотрим классы К ь оценок с фиксированным смещением
6 ( 0 ).
Обобщение условий (7?) на многомерный случай будет выгля­
деть следующим образом. Обозпачим
I (х, 6) = log /е (х), l'i (х, 0) = -Щ-1 (х, 6),

/« (в ) = м вг;(х1,е ) г ;( х 1,в )
и предположим, что выполнено условие
(R). Ф ункции У/е(ж) непрерывно дифференцируемы по 6j для
п. в. [р.] значений х. Матрица
7(0) == ll/fj(0)H,
1ц (0) = J l'i 0) Ii (z; 0) /e И p (dx)
непрерывна no 0*), ее определитель 17(0)1 отличен от нуля.
Так как 7(0) есть матрица вторых моментов случай­
ных величии li = 1%(хь 0), то она будет положительно опреде­
ленной матрицей, так как для любого вектора а = (a lt . . . , a h) Ф
Ф 0 выполняется
2 cciajMelilj = Me ( 2 а ih У ^ О»
где равенство пулю исключается условием 17(0)1 =^0.
Неравенство между матрицами of ^ о\ мы, как и раньше,
2 Т 2 Г ^
будем понимать как неравенство а а га ^ ао 2а для любого векто­
ра-строки а = ( a t, , . a ft) Ф 0. Это эквивалентно, очевидно, тому,
что матрица о 2 — о \ неотрицательно определена. Строгое нера­
венство будет соответствовать положительной' определенности,
так что, например, 7(0) > 0.
Т е о р е м а 1А. Е сли Ъ * ^ К Ь и выполнено условие (R), то
для матрицы вторых моментов о2 = || Оц j| = Me (0* — а (0))г (0* —
— а (0)) любой оценки 0* вектора-строки 0 справедливо нера­
венство
0s > i (iB + О (8)) (0) (Е + (1-5).

где Е есть единичная матрица, D (0) = || Ъц (0)[|, (0) = —

*) Для этого достаточно требовать равномерную сходимость 1ц(0)

(см. Приложение V I).
§ 16 ] НЕРАВЕНСТВО РАО — КРАМЕРА II ЕГО СЛЕДСТВИЯ 159

Пусть 1о21> 0 (или |Е + Ж 0 )| > 0 ) при всех 0. В этом случае

знак равенства в (14) достигается тогда и только тогда, когда
распределение выборки принадлежит экспоненциальному семей­
ству специального вида, т. е. когда для некоторых скалярных
функций Ж 0) и h(X) выполняется
/о(Х) = ехр ((0*, Л(0)) + /?(0)Ш Ю , ' (15)
где вектор Ж 0) = (ЛД0), , ЛА(0)) имеет матрицу производных,
равную
дА, (0)
I I
Д ля несмещенных оценок 0*, очевидно,
c 2X n i m - 1
и равенство возможно лиш ь при выполнении (15), где НЛУН=
= n im .
Таким образом, если пам удастся найти несмещенную оценку
0* с матрицей вторых моментов [п /(0 )]-1, то она будет эффектив­
ной оцепкой.
Отметим, что
М0 (0* - 0)г (в* - 0) = а2 -[- Ът(0) Ь (0).
Д о к а з а т е л ь с т в о т е о р е м ы 1Л. Обозначим

L) = L] (X , 0 ) = S l'i ( х „ 0 ) , L ’ = L ' (X , 0) = , К ).
1=1

Тогда совершенно аналогично одномерному случаю устанавливаем,

что справедливы равенства
Ме/] (х„ 0) = 0, MeB?L] (X , 0) = 1 + bi} (0),
в которых bij(Q) непрерывны, или, что то же, равенства
M qL ' — 0, (16)
M e(e*)Ti ' = £ + f ( 6 ) , (17)
в которых матрица Z>(0) непрерывна. Отсюда получаем
Ме (6* — а (0))г L ' = E + D (0). (18)
Докажем теперь следующее неравенство (матрнчпый вариант
неравенства Коши — Буняковского).
Л е м м а 2. Пусть | и ц — матрицы одинакового размера (не
обязательно квадратные) со случайными элементами, матрица
Мгр]3 имеет обратную. Тогда
M£sT > Мг)|т. (19)
При этом равенство возможно лиш ь в случае £ = гц, z —
 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ {ГЛ. 2

Д о к а з а т е л ь с т в о . Так как для любой матрицы А справед­

ливо неравенство А А г ^ 0 (А А Т неотрицательно определена), то
0 < М (1 - zn)(5 - z i) f = M | f - zMr)|T - MSriTzr +
Полагая z = М&^гЧМгго)-1, мы получим требуемое перавепство.
Утверждение относительно условий равенства в С19) очевид­
но. О
Вернемся к доказательству теоремы 1А. Положим в С19) £ =
= (0* - й(0))т, х\ - (L' )T. Тогда
М о ^ т - Ме (0* - а (0))г (0* - а (0)) - о2.
Из (1G) и из независимости х£ получаем
M e W = Mo ( L ' f L ' = n l (0).
Наконец, из (18) находим
Me!nT = Me (в* - a (6 )f = + (0).
Неравенство (14) доказано.
Равенство в (14) возможно, в силу леммы 2, если только для
точек (х , 0) таких, что f e(x) > 0 , справедливо
(0* - а(0))т = (Е + D m ( n H 0 ) ) - l(L' )T
или, что то' же,
/ / = ( 0 * - а (0 )Ы (Я + Ж 0 ) )- 1]т/(0 ). (20)
Заметим теперь, что из равенства в (14) следует
\Е + /Х 0 )|2 = и1о2| -1/(0) I,
и отделенпость от 0 определителя Iо21 означает то же самое для
I/?+ 1X0)1 и означает существование равномерно ограниченной
обратной матрицы (Е + Н (0))-! . Поэтому производная V в (20>
будет ограниченной, f e( x ) > 0 всюду па 0 и само равенство (20)
будет справедливо всюду па ©. Если теперь s есть любой путь,
соединяющий точки 0л и 0 в области 0 , то
i (X, 0) = р £ ' , * ) + £ ( Х ,е 0).
S 1
где ds означает векторный элемент пути s, ( ( / / , ds) — (L', s'{l))dl
есть приращение L(X, 0) па этом пути, I — «длина» пройденного
пути). Стало быть, в силу (20)
U X , 0) = О * Ж 0 )+ 6 (0 ) + / / Ш , (21)
где 6(0) и 1({Х) — скалярные функции, Л(0) = (Л,(0), . .., Лл(0))
— вектор, зависящий только от своих аргументов. Это означает
справедливость (15).
§ 16] НЕРАВЕНСТВО РАО — КРАМЕРА П ЕГО СЛЕДСТВИЯ 161

Если выполнено (21), то

1 / = 0*ОЛу!1+ Я '(0),
где в силу равенства ЬАцН = 0 справедливо
В '(0) = -а(0)Н Л о11.
Умножая обе части равенства V — (0* —я(0))1Ыо!1 слева на
(0* — й(0))т, мы получим в силу (18), что для выполнения условия
(20), означающего равенство в (14), должно выполняться
IUo!1 = h[(E + Z )(0))-13i'/(0). <1
В многомерном случае сохраняют свою силу все замечания,
сделанные к одномерному неравенству Рао — Крамера, а также
определение R -эффективности, в которые следует внести лишь
очевидные изменения, связанные с размерпостью 0.
В частпости, а./?-э. оценками мы будем называть оценки 0*,
для которых
Мо (0* - 0)т (0* - 0) = о2 + Ьт(0) b (0) - (п ! (0))~1 + о (1/л).
Аналог теоремы 2 здесь будет выглядеть следующим образом.
Т е о р е м а 2А. Пусть выполнены условия (/?). ЕсЛп 0* есть
Я-эффективнал оценка, то это есть оценка максимального прав-
доподобия.
Д о к а з а т е л ь с т в о . Чтобы доказать, что //-эффективная
оценка является единственной точкой максимума, .достаточно убе­
диться, что 1/ (Х, 0*) = 0 и что при G = 0* + и, и¥= 0
(grad L(X, 0), и) = (L'{X, 0), 0 - 0*) < 0.
Но в случае существования //-эффективной оценки выполняется
(см. (20)) . . -
L \ X , О) = ( 0 * - 0 Ы ( О ) ,
откуда немедленно вытекают оба требуемые соотношения. Второе
следует из того, что
(L ', и) =» —ип1(в)ит,
где и/(0)ит есть положительно определенная квадратичная фор­
ма. <1
11 р н м е р 4. Рассмотрим двупараметрическое семейство нор­
мальных распределений Фа а%. Оно принадлежит экспоненциаль­
ному семейству, так как (здесь 0 = (0t, 02), 0i = а, 02 — о’)
462 . _ ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Оценка 0* = (©Г, ©г)? ГДе в* = х , 0* = *$о = n _l t 2 (xi — х )'г =

i==i

— - I ^ f 2 xi —х2)» является эффективной, поскольку она при­

надлежит Ко и статистика ( 2 х ь S хг2), как мы видели в § 15,.

является полной достаточной статистикой (см. теорему 14.4).
Оценка м. п. (х, ^ (х* — х)2) отличается от 0* лишь мпожн-
п—1
телем — - — при второй координате, что делает ее смещенной.
Для выбранной оценки 0* специальное экспоненциальное пред­
ставление (15) функции / е(АО реализовываться не будет, так как

/о {X) = (2л)-,,/2 ехр {— -Ц - 2 хг? + -4- 2 xi — 5ПГ ~ п 1п а] ^

I 2а а 2а
/о \ —п /2 I ип п* 4 п 7i па2 , {
.= (2л) - j - 02 — — (01 )2 — _
exp - j - 0jl _ п 1л о .
Iл 2а 2а 2а j
Это значит, что нижняя граница в многомерном неравенстве
Рао — Крамера достигаться не будет.
Наименьший эллипсоид рассеивания, определяемый, по тео­
реме 1А, матрицей /(0) (или /~Ч0)), будет достигаться лиш ь
асимптотически при п -> о°, так что оценка 0*, не являясь Д-эф-
фективной, будет а. Д-э. оценкой. Убедимся в этом непосред­
ственно.
Вычислим сначала матрицу /(0 ). Имеем

Й<*. 0) = - ^ . 4 ( * ,о щ ( x~ a f 1
2а 4 2а
(напомним, что 1ч есть производная но о2, а но но о, ср. с при­
мером 3). Поэтому
(х — а )2 \
1 ц (6) = Ме — — “V»

(х, — а )3 х. — а 1
[ L ~ ^ 2 ------ — , - j = о,
hi (в) = -А4о Мо ( К - а )2- а2р = А2а
Отсюда находим '
, [ о У п 0 1 ч

= lo 2avJ- (22>
Вычислим теперь для сравнения матрицу вторых центральных
моментов оценки 0*.
§ 1C] НЕРАВЕНСТВО РАО — КРАМЕРА И ЕГО СЛЕДСТВИЯ 163

Имеем

Mo (е,* - е,)2 - Ml, ( 7 - а )2 =

м в(е : — 0г)! - м» ( 5 ; - о!) ! =

М о № - 0.)№ - о 3) = о.
Последние два равенства устанавливаются непосредственным
подсчетом. Рассмотрим, например, второе из них. Нам достаточно
убедиться, что
Мо (* — ос) S i — 0. (23)
Но

[2 (х* — а )2 —(х — а )2]»

•S'o = - ^ т г

(х — a ) S i — „ („ - ‘ТУ[2(х ‘ — «)][2^ “ а )“] “ »(« — 1)'(х — *•

Поскольку
Me(х — а)3= Me (х, — а)3 = Me (х4— a) (х; —а)2— 0,
то (23) доказано.
Таким образом, матрица вторых моментов 0* —0 равна
Win о 1
|_0 2о41(п — i) j
Ясно, что различие между этой матрицей и матрицей (п1(в))~г
может быть существенным лишь при небольших значениях п.
4. Некоторые выводы. В заключение этого параграфа подв
дем некоторые итоги исследований, проведенных в последних ше­
сти параграфах. Главная их цель состояла в отыскании способов
построения оптимальных (в том или ином смысле) оценок и
установлепии нижних грапиц для их средтгеквадратических ук­
лонений. Врезультате можно указать следующие четыре основ­
ные направления, по которым можно идти в поисках наилучших
оцепок.
1. Построение байесовских (если есть апрнорпая информация
о 0) и минимаксных оценок.
2. Отыскание полных (или минимальных) достаточных ста­
тистик S. Тогда оценка 0s = Mo (d*/S) будет эффективной в
том классе К ь, которому принадлежит 0*.
3. Использование о. м. п. в тех случаях, когда выполпеп кри­
терий (3) теоремы 1 (или критерий (15) теоремы 1А), При этом
мы ташке получим эффективные (и даже Я-эффективные) оценки
в классах с фиксированным смещением.
11*
 ТЕОРИ Я ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПЛРАМЕТГОВ [ГЛ. 2
164

4. Количественный подход, основанный на сравнении средне-

квадратического уклонения Me (в* — 0)2 оценки 6*, которую мы
хотим использовать, с нижней границей R, определяемой нера­
венством Рао — Крамера. Если отношение Мй( 0*— Q)~/R бу­
дет близко к 1, то оценка 0 * может быть рекомендована к ис­
пользованию. На этом пути мы получим в дальнейшем весьма
общие результаты, связанные с построением асимптотически эф­
фективных, асимптотически байесовских и асимптотически мини­
максных оценок.
Сделаем также следующее замечание. 13о всех отмоченных
выше направлениях существенную роль играет форма зависимо­
сти распределения выборки Р« от оцениваемого параметра 0 .
На практике, однако, нередко возникают задачи оценки не само­
го 0, а некоторой функции от него ф(0). При этом нетрудно ви­
деть (см. пример со схемой Бернулли в (8.4), (8.5)), что оценка
Ф* = <р(0*) далеко не всегда будет обладать теми свойствами,
которыми обладала оценка 0* (несмещенность, эффективность и
т. д. Сохранятся лишь свойства асимптотической эффективности,
если ф гладкая функция). С этой точки зрения представляется
естественным с самого начала рассматривать задачу оценивания
функций ф(0) от исходного параметра 0. Мы отказались от та­
кого подхода, так как на этом пути многие основные результаты,
полученные нами, существенно усложнились бы. С другой сто­
роны, если ф осуществляет взаимпо однозначное отображение,
то задача об оценке ф(0 ) сводится к задаче, рассматриваемой на­
ми, путем «перепараметризации», т. е. введения нового парамет­
ра 7 — ф(0 ), которому будет соответствовать семейство распреде­
лений Gr = Р .,—1 (>). '

§ 17*. Свойства информации Фишера

Мы уже видели и будем убеждаться в дальнейшем, что ин­
формация Фишера играет важную роль в математической стати­
стике. В связи с этим выясним некоторые ее полезные свойства.
1. Одномерный случай. Информация Фишера

I (6) = Е (<**) - Me (V (*„ Щ?

появилась в рассмотрениях предыдущего параграфа. Величину

1Х (6) = Мо [£ ' (X , 0 ) f
принято рассматривать как меру количества информации, содер­
жащейся в выборке X относительно параметра 0. В теореме 16.1
мы доказали аддитивность информации: 7А(0) — и /( 0 ), т. е. что
1Х(Ю равна сумме информаций J г (0) = Мй [V (х*, б)}2 = 1 (0)-, со­
держащихся в независимых наблюдениях х 1}^ . .,
 СВОЙСТВА ИНФОРМАЦИИ ФИШЕРА 165

Докажем* еще одно свойство информации Фишера. Пусть S =

= S ( X ) — некоторая статистика со значениями в IV и ge(s) есть
плотность ее распределения, индуцированного распределением Р в
в (<%?", относительно некоторой меры X в (/?', S3'). В соответ­
ствии с предыдущими обозначениями величину

/ s (e) = M0 [(iog£e(S))T
мы будем называть информацией, содержащейся в статистике S
относительно параметра 0.
Отметим, что значение I s(0) ие зависит от выбора меры X.
Действительно, пусть X — какая-нибудь другая мера и v *= X + X.
Тогда X и X абсолютно непрерывны относительно v, а плотность
go (•■?) распределения S относительно меры v равна

$ (« ) = ge (-s-)4v =
Г" ,-р dX dX п
где ge — плотность относительно д. 1ак как и от 0 пе
зависят, то производные от логарифмов всех трех выражений
будут совпадать.
Т е о р е м а 1. Пусть плотности /е<Ы и g e(.s) удовлетворяют
условиям (Ю. Тогда
* / 5( 0 ) < /* ( 0 ) . (1)
Равенство адесъ достигается тогда и только тогда, когда S есть
достаточная статистика.
Д о к а з а т е л ь с т в о . Для любого В е S3' обозначим S~l(B) е
е множество х ^ ё в п^ для которых 5(ж) е fi, Тогда по оп­
ределению у. м. о.
J L' (х, 0) Р е (dx) = М9 [U (X , 0); X е= S -1 (5)] =*
S~^(B) *

= Me [M e (L '(^ ,0 )/ S); S s B ) . (2)

С другой стороны,

J L' (x, 0) P0 (dx) = ~ J /0 (ж) p" (dx) = ~ J ge (5) (ds) =*

S _ 1 (B ) S “ 1(B) в Л •

= J ^ № (S) X (&) = Me [(log go (S)Y; (3)

В
Сравнивая (2) и (3), мы видим, что и. в. [Р в1
M o(L4*,.e)AS) = ( lG g M S )) \ (4)
166 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ V 7" [ГЯ 2

Далее, имеем
0<М q [L' ( X ,0 ) -( lo g g e ( S ) ) T -
= I х (0) + I s (6) - 2М0£ ' (Ж, в) (log go (5 ))',.
где в силу (4)
МqL' (X, 0) (log gQ(S))f ^
*= M„ [(log go (S))'M0 ( £ ’ (X, 0)/S)[ = Me [(loggo (S))')s - /* (0).
Это доказывает неравенство (I).
Пусть теперь S — достаточная статистика для 0. Тогда
/ 9(Х) = г! (б', 0 Ш Х ). (5)
Возьмем в качестве Л, меру
X (В) — j* h (.х) p,n (dx).
>s ~4 b )
*
Тогда, как показано в лемме 15.1, распределение S будет абсо­
лютно непрерывно относительно а и будет иметь плотность ge(s),
равную £еЫ = ij)(s, 0). Отсюда в силу (5) получаем
I х (6) = Мо [£ ' (X, 0)[2 = Mo [(log у ( 5 , 6))'р = (6).
Покажем теперь, что из равенств / х(0) = / 8(0) при всех О
следует, что S — достаточная статистика. Действительно, / х(0)
есть дисперсия L ' ( X , 0), так что
I х (в) = Мо [£ ' (X, 0) - Mo ( V (X, 0)AS)p+Mo[Mo ( V (X, 6)/5)[2. (6)
Но в силу (4) последнее слагаемое равно
Me [(log go (Ж))']2 = I s (0).
Так как / х (0) — / s(0), то в (6) и. в. [Р е1 при всех 0
U (X, 0) — М0 (Z/ (X, 0)/5) = 0.
То есть L' ( X, 0) измерима относительно a(S) и, стало быть,
существует измеримая функция ср(S, 0) такая, что
L '(X , 0) = ф(S, 0), L(X, 0) = Ф(5, 0) + M X ),
/ 0(Х) - ехр [Ф (S, 0) + М Х )1. <
Мы уже отмечали, что достаточные статистики являются тем
единственным типом статистик, которые сокращают выборочные
данные без потери информации о параметре 0. Теорема 1 при­
дает этому утверждению точпый смысл примепптельпо к инфор­
мации Фишера.
П р и м е р 1. Пусть X Вр. Здесь
/ РЫ »- />*(1 — р)1"*,
где х равно 0 «ли 1, f P(x) есть плотность относительно
8 17} СВОЙСТВА ИНФОРМАЦИИ ФИШЕРА 167

считающей меры. Поэтому

I (х, р) ~ х In р + (1 — х) In (1 — р),
j, / ч х 1 —X
I (*./>) = 7 ~ 7 =

1 (Р ) = М ,л г ( * „ р )? = p ( j J + ( 1 - р )

Таким образом, информация одного наблюдения в схрме Бернул­

ли равпа (р(1 — р))~1 и достигает своего наименьшего значения
при р = 1/2.
Информация всей выборки равна тг/(р(1 — р)). Обозначим те­
перь v число «успехов» в выборке X (число единичных исходов)
и найдем информацию этого наблюдения. Плотности (опять от­
носительно считающей меры) для v будут равны
gp И = С*рх (1 — р)п~х, х = 0,1 , , . . , w,
так что log gv (х) = х log р + (п — х) log (1 — р) - f log

—х (х — n p f
2 с&>*а - рГ Н - - ^ | ) 2 = 2 СпРх (1 - р Г *
«=о ' ' а=0 (р (1- p)Y
п
Dv
( p ( l - p ))2 W I- Р Г
Это равенство полностью согласуется с теоремой 1.
Мы предлагаем читателю найти в виде упражнении инфор­
мации наблюдений для выборок из распределений, зависящих от
одномерного параметра и приведенных в § 2.
2. Многомерный случай. Пусть теперь 0 ^ /?'*, к > 1. В это
случае мы будем иметь дело с информационной матрицей Фи­
шера наблюдения х 4
I (в) = II/ у (в) I, / у (6) ^ М о щ Ц х , , Щ щ 1 (х„ в),

где предполагается, конечно, что функция / е(х) дифференци­

руема. <
Если положить
ф (* , в) = (ф 1 (*> % • » • » фй ( *» G)) =*

- ( Vf 7Jx\Y - 1 ( 5/е {х)

- 21ул(х» - у Ш Р * Г
dfe(г) ^
-ис-J.
то матрицу 7(0) можно записать также в виде
I (G) = f ф' (я, 0) ф (х , 0) ц (dx)t
к
1С8 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Мы уже установили в § 16, что, как и в одномерном случае,

информация Фишера аддитивна, т. е. информационная матрица
Фишера выборки X равна сумме информационных матриц от­
дельных наблюдений. Если обозначить

Н (0 ) = Й ( е ) ||/ /5(0) = Me±-L(x,e)±-L(x,e),

Ъ J

ТО 7х(0) = 72/(0).
Теорема 1 также сохраняется полностью. Пусть g eis) — плот­
ность некоторой статистики S = S ( X ) со значениями в /Г отно­
сительно некоторой меры Я. Обозначим

I s (0) = || 4(
0) |, / 5 (0) = Мв^ - b g (S) ^ log go (S).
i j
Это есть информационная матрица наблюдения S.
Т е о р е м а 1А. Если плотности feix) и geis) удовлетворяют
условиям Ш) § 16, то
/ 5(0) ^ / х (0), - (7)
т. е. матрица / х (0) —7S(0) является неотрицательно-определенной.
Равенство в (7) имеет место тогда и только тогда, когда S — tfo-
статочная статистика.
Д о к а з а т е л ь с т в о этой теоремы вполне аналогично дока­
зательству теоремы 1, и для сокращения текста мы его опускаем.
Это доказательство можно найти, например, в [30J, 131J.
П р и м е р 2. Б § 16 мы уже вычисляли информационную мат­
рицу для нормального распределения.- Вычислим теперь инфор­
мационную матрицу для двупараметрического семейства распре­
делений

где 0 — (ос, о), / — заданная дифференцируемая функция, для

которой существуют интегралы

/ | ■= j ** dx = М(0.„х{ (X,))2, i = 0 ,1 , 2.

Здесь l(x) — log fix), штрих f означает обычное дифференцирова­

ние, параметры а и о суть параметры сдвига и масштаба рас­
пределения с плотностью fix). Таким образом, нам известен вид
распределения, но лишь с точностью до линейного преобразова­
ния аргумента. Параметры ос и а нормального распределения
Ф сх с2, очевидно, являются параметрами сдвига и масштаба. Па­
раметр ос Г-распределения при фиксированном % является пара­
метром масштаба, как и параметр 0 в распределении U0, в.
 СВОЙСТВА ИНФОРМАЦИИ ФИШЕРА 1G9

Имеем
I {х, 0) = log / 0 (х) = — log о + I
01 ( х , 6) 1
0а о

0 1 ( х , 0) 1 {х — а ) г [ х — а \
Оо

Отсюда находим

1 .. Г — а v ( х. — а \Т2 1
^ ( e ) - 5 r M . [ i + - i ^ i ( - V ) J - 7 [Л -1 1 ,

так как 2 J х ~ а f ^х_ 2J / (х)dx = — 2. Таким обра-

зом,
1 1(7о
/(в ) =
а2||71 h - Ч
Если / — симметричная функция, то, очевидно, 1Х= 0.
Вырождение матрицы 7(0) означает, что ее определитель об­
ращается в нуль или, что то же,
(М(0;1)Г (хА) (1 + х > (х,))]* = М(ол) (Г (Xl))2 М(ол) (1 + хАГ (х,))2.
Это возможно лишь в случае, когда либо 1 + xV(x) = cl'(x) при
каком-нибудь с, либо V (ж) = 0. Из первого равенства следует, что
ci
1{х) = — In (я — с) + си / ( 4 = -^— .

Ясно, что такая функция j{x) не может быть плотностью

распределения. Аналогично рассматривается возможность 1'{х) —
= 0. Стало быть, /(0 ) положительно определена.
В частности, для нормального семейства [Фа о2} при 0 = (а, а)
г /А\ — _ L II1 0
^ а2 II0 2

так как в этом случае I (х) = — х2/2 — In У 2л, V {х) = — х, / 0 —

М(о,1)Х5=И, = M(0il)Xi = 0, / 2 = М(0.1,х{ = 3. Тот же самый
результат мы могли бы получить с помощью примера 16.4, если
170 ь ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

воспользоваться разделом 3 этого параграфа, где выяснено пове­

дение информационной матрицы при замене параметра (в при­
мере 16.4 0 = (а, а2), а не (а, а)). Мы предлагаем читателю
убедиться теперь, что в соответствии с теоремой 1А статистика
(х, 2 xf) имеет информационную матрицу
1 01
0 2 | = ’! / (0)-
3. Матрица Фишера и замена параметра. Рассмотрим вопрос
о том, как ведет себя информационная матрица при замене пара­
метра. Положим 0 = г(р), (3 е R'\ где v — дифференцируемая век­
тор-функция, и рассмотрим параметрическое семейство Рр1) —
" Рг> О ). Чтобы найти информационную матрицу У(3) для этого
семейства, мы должны найти производные
к
± l ( 4 l v ф)) = 2 Щ 1О .- " <Р» •

д*,(Р)
Если обозначить V = , то мы получим, что
*Р;
вектор производных в (8) Ц (xlt v ф)) представим в виде
Iq ( х х, v (P))Pt так что
А Р )= м „(гЩ ,, р(р» v)T(t'i(*,, i-'(P)) v)-- vTi (ищ
В частпости, если 0 = рС, С — IIс,-,-И, i, j — 1, , . 1с, то
V = CT и
Л р ) = с / ( 0 ) С Т. (0 )

Отметим, что если мы рассмотрим в параметрическом про­

странстве эллипсоид
( 0 - 0 1) / ( 0 ) ( 0 - 0 1)т < с , * (10)
то запись (10) этого множества инвариантна относительно ли­
нейного обратимого преобразования С над параметром 0. Имен­
но, если положим 0 = рС, <то в новых переменных множество
(10) будет иметь вид
(р — Pi)/(p)(,p — Pi)T < с,
где Pi *= 0,(7-’. Это немедленно получится, если подставить 0 =
= рС в (10) и воспользоваться (9).

§ 18*. Оценки параметра сдвига и масштаба*

Эффективные эквивариаитные оценки
Мы видели в §§ 12—-16 и будем убеждаться в дальнейшем,
пасколько полезным является понятие достаточной статистики
вообще и при построении эффективных оценок в частности. Круг
 ОЦЕНКИ ПАРАМЕТРА СДВИГА II МАСШТАБА 171

идей, связанный с использованием достаточных статистик, можно

было бы назвать принципом достаточности.
Принцип достаточности мы сочетали при построении эффек­
тивных оценок с другим принципом — принципом несмещенно­
сти. Оп состоит в выделении классов оценок с фиксированным и,
в частности, с нулевым смещением. Без фиксации смещения вы­
деление эффективных оценок было бы невозможно.
В этом ы следующем параграфах (а также в главе 3) мы
рассмотрим еще один важный принцип математической стати­
стики — принцип инвариантности.
Смысл введения всех названных принципов одни и тот же —
опи позволяют естественным образом сужать класс рассматривае­
мых оценок так, что в полученных сужениях оказывается воз­
можным отыскание эффективных оценок.
1. Оценки параметра сдвига и масштаба. Задачей об оценке
параметра сдвига называется задача оценки параметра а в се­
мействе распределений {Ра), обладающих свойством

P aU ) = P U - c c ) .

Здесь Р — некоторое фиксированное распределение, А — а =»

= {я: х + а ^ А }, и предполагается, что параметрическое множе­
ство 0 имеет ту же природу, что и 86. В случае 86 = R m можно,
конечно, рассматривать сдвиги 0 и «меньшей размерности», на­
пример скалярные, но тогда надо фиксировать направление (век­
тор е е 86) сдвига и рассматривать Р а(Л) = Р(А + ае). Мы бу­
дем рассматривать для определенности лишь первую возможность
и считать, что 0 = 86 = R m.
Заметим, что Р а-распределепие х, + с (с ^ R m) совпадает с
распределением Р а+С величины х,-, т. е. сдвиг всех наблюдений
па с приводит к выборке из распределения Ра+«. Зто делает
естественным рассматривать лишь те оценки a* — а*(X) пара-
метра а, которые обладают свойством

a*(X + e) = a*(X ) + c. . (1)

Здесь и в дальнейшем X + с означает вектор с координатами

(х, + с, , . х„ 4- с). Нарушение этого равенства означало бы,
что оценка а* зависит от начала отсчета, т. е. от выбора начала
координат в пространстве 86 = R m.
Аналогичный подход возникает при оценке параметра мас­
штаба, когда оценивается параметр о в семействе {Р0} со свой­
ством Р 0(А) = Р(А /о), о ^ (0, «о). Мы считаем здесь а скалярным,
хотя можно рассматривать и матричный случай. В этом случае
Ро-раснределение значений XiC совпадает с распределением Р ЙС
величин х„ т. е. умножение наблюдений на с приводит к выборке
из Р ос. Стало быть, в этом случае естественно ограничиться
172 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ {ГЛ. 2

рассмотрением оценок, обладающих свойством

оЧХс) = соЧХ), (2)
где Хс — (xiC, , , х пс), поскольку при изменении в с раз мае-*
штаба наблюдений во столько же раз меняется и параметр.
Следующие утверждения читатель может легко получить са­
мостоятельно.
Е сли семейство Р 0 удовлетворяет условию (/1Д то параметр О
будет параметром сдвига (масштаба) тогда и только тогда, когда

/е И = / (* — е), (/е И = j - /

Если = /? = ©, Х £§ Р« и а есть параметр сдвига, то

У — е = (е *, 4, . , е n)^= Qa, где для распределений Q, параметр
о = еа есть параметр масштаба. Это сразу следует из того, что
плотность ух= е 1 равна (см. [11], стр. 53)

±/(ln»-a)=-i-[f/(lni)].

Наоборот, если S& — (0, °о) — 0 , X ^ePq. и о есть параметр мас­

штаба, то У = In X — (ln-Xj, , . . , In хл) (== Qa , где a = In о есть па­
раметр сдвига распределений Qa.
Можно рассматривать задачу и об одновременной оценке не­
известных параметров а и о в случае,' когда Ра,о (А) —
*= 1 ^—- — j. Ь этих условиях в качестве оценки о естественно
рассматривать функции, обладающие свойством
а*(Х + с) = а Ч Х ) , оЧХс) = са*(Х). (3)

Оценки, удовлетворяющие в рассмотренных примерах усло­

виям (1), (2), (3), называются эквивариантиыми (общее опреде­
ление см. в § 19). Смысл введения таких оценок состоит в су­
жении класса всех рассматриваемых оценок, что упрощает зада­
чу поиска оптимальных оценок. Так, в § 8 нами было установ­
лено, что найти равномерно (т. е. при всех 0) наилучшие оценки
в классе всех оценок* невозможно. Оказывается, что в классе эк-
вивариантных оценок такие равномерно лаилучшие оценки уже
существуют и могут быть в ряде* случаев найдены в явном виде.
Иа примере оценок параметров сдвига и масштаба мы этот факт
п проиллюстрируем.
«2. Эффективная оценка параметра сдвига в классе эквивари-
антных оценок. Мы будем предполагать здесь, что выполнено
условие (Л^) и, стало быть, /а(т) = fix — а ) и что. ц есть мера
Лебега.
$ 18 ] ОЦЕНКИ ПАРАМЕТРА СДВИГА II МАСШТАБА 173

Обозначим через S 0 статистику

So = S D(X) = (х2 —X, , . . х„ —х,),
очевидно, инвариантную относительно сдвига: S 0( X + с) = SAX).
Через КЕ обозначим класс всех эквиварнантных оценок а*, т. с.
оценок, удовлетворяющих (1), и через l al 2 — квадрат евклидовой
нормы а ен
Т е о р е м а 1. Пусть «* = а*(Х ) — любая эквивариаптная
оценка с конечным значением М0а * . Тогда оценка
а* = а* — М0 (а* /£ 0) (4)
or выбора а* не зависит и является единственной эффективной
в К Е оценкой, г. е. Мк | а о — сс|2 = m in Ма | а * —а \ 1 при всех а
a*^Kj£
и Ма | ос* — ос Р — Ма | ссо — ос |2, если только М0 (a */S0) — 0 п. в.
Оценка о.0 может быть представлена в форме
# u fu (X) du j* uf (X — и) du
Ci о ~7l ! p • (.S )
j f u ( X) du j f(X-u)du

Оценка oc0 называется оценкой Питмена. Из (4) нетрудно

видеть, что она является эквнварнантпон и пссмещеттпой. Экви-
вариантпость следует из эквиварпаптпости а* и ипвариантиости
относительно сдвига функции V (S0) — М0 (ос*/£0), зависящей
только от S 0. Несмещенность вытекает нз равенств
Маос* = a + M„a* ( X — a) — U aV (S0), (G)
где MKT {S0) — M0F (5^), Maoc* ( X — a) = M0oc* (X). Последнее co-
отноптеиие вытекает нз того, что X — Р 0, ослиХ^§ Pa . По­
этому сумма двух последних слагаемых в (6) равна
М0ос* — М0 [М0 {a*/S0)] = 0; Мксс* = а .
Доказательству теоремы мы предпошлем следующее вспомо­
гательное утверждение.
Л е м м а 1. Пусть X Р0. Д ля любой статистики S == S(X)
с конечным математическим ожиданием М0 | S | < оо у. м. о. S ог-
носительно S a равно
J y ( X - u ) f u (X) du
М0 {S/S о) = ^ ( Х ) (7)
) / » (X) du

Д о к а з а т е л ь с т в о . Все функции под знаками интегралов

в (7) есть функции от X — и. Стало быть, после замены x t — u —
= v они будут функциями от (ц, х2 — Xt + 17, . , . , х п —xt + v).
Это означает, что правая часть (7) зависит лишь от S 0. В силу
174 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. Z

свойств у. м. о. нам для доказательства леммы достаточно убе­

диться, что для любого Л е o(S„)
M0(S1-i A ) ^ M 0 (S;A). (8)
Пусть Z = Z{S0) — любая ограниченная а(5 0)-измеримая ста­
тистика, тогда
Z (50) J 5 (* - и) f u {х) du
МGZ S l Г ------ /(х) d x ~
sen ) / и (*) du

Z (s 0) S ( x ~ и) f ( x — и) j (х )
II ^ f {х — {,-) uv
в
После замены х - и - ^ х во внутреннем интеграле получим
(S0(x) при этом перейдет в себя)
С f1 _Z (,y0).s (*)/(*)/(*+■■> dx du = Г г (So)S {х) 1 (х) dx =
е asn
in \ f { x + u — v) do J
е
Это доказывает (8). Изменение порядка интегрирования, ко­
торое мы дважды производили, законно в силу абсолютной ин­
тегрируемости S н ограниченности Z. <3
Д о к а з а т е л ь с т в о т е о р е м ы 1. Заметим прежде всего,,
что для эквпвариантпой оценки Ма | а* — а |2 пе зависит от «_
Действительно,
Ма |а * (X) - а |2 = Ма | а* ( X - а) |* = М01а* (X) |2.
Таким образом, для отыскания равномерно оптимальной экви-
вариантпон оценки надо найти а*, минимизирующую М0| а * |2.
Пусть а* — любая эквиварнаитная оценка а. В силу свойств,
у. м. о.
м„ | а* р = М0|а* - М0 ( a * IS t) ? + М01М0 (а*/S„) |г >
> М 0 | а * - М 0 (а»/5„)р. (9>
Остается заметить, что в силу леммы 1 оценка ос* —сс*— М0 (a*IS(i}
равна (5) п от выбора а * пе зависит. Равенство в (9), очевидно,
возможно тогда и только тогда, когда М0 (a */80) = 0 п. в. <]
И з доказательства теоремы видно, что особую роль в построе­
нии оптимальной эквпвариантпой оцепки играет статистика S 0=
= (х2 —хь . . . , х« — х,), инвариантная относительно преобразова­
ния сдвига. Инвариантность статистики есть качество в извест­
ном смысле противоположное достаточности, а конструкция оцеп­
ки 0* *= 0* — М0 (0*/»So) на основе произвольной оценки 0* пред­
§ 18 ] ОЦЕНКИ ПАРАМЕТРА СДВИГА II МАСШТАБА 175

ставляет собой подход к улучшению оценки 9*, также в некото­

ром смысле противоположный подходу, при котором для улучше­
ния оценки 0* с помощью достаточной статистики S рассматри­
валась оценка 0« = Мо (В*/*!?). Противоположность состоит в
следующем. Достаточная статистика содержит в себе всю инфор­
мацию о параметре 0; инвариантная статистика — никакой. В по­
исках паилучпшх оценок мы искали минимальные достаточные
статистики; здесь, как мы увидим, нам нужны максимальные
инвариантные статистики (таковой является статистика S 0).
Оцепка 0 S есть «проекция» 0* на S, в то время как оценка 0О
получается вычитанием из 0* се «проекции» на S 0.
В конечном счете результаты, полученные этими двумя пу­
тями, часто совпадают, как это будет видно из следующих двух
примеров.
И р и м е р 1. Пусть — R, 1 е Фа, 4. Тогда

и (Х) = «Р { - <Х; - а)2} а

- — Ч н « р { - Т 2 ( ч ■- -*)2) •
У и (2л) 2

Здесь второй множитель как функция а есть функция плот­

ности нормального закона с параметрами (х, 1/и). Так как пер­
вый множитель от а не зависит, то он сократится в (5), и оцепка
Питмена будет равна а* = £. Таким же будет результат в много­
мерном случае.
'11 р и м е р 2. Пусть S8 = R, X Ue, 1+6. Тогда

Y) - I1 ПРИ Х(П) “ 1 ^ 6 ^ Х(1Ь

[О в остальпых случаях.
Поэтому
xd ) I
0* = J и du /(х(1) —х(п) + 1) = у (х(1) +х(п) —1).
/
Мы видим, таким образом, что в классе КЕ эквивариантных
оценок можно в явном виде строить эффективные оценки, при
этом не требуется никаких условий па гладкость /в(я), и сама
эффективность носит точный (не асимптотический) характер.
3. Минимаксность оценки Питмена. Обратим теперь внимание
на форму оценки Питмена. Грубо говоря, это есть байесовская
оценка для «равномерного на всей оси» априорного распределе­
ния. Так как указанного распределения не существует, то сфор­
мулируем высказанное утверждение бблее точно, Пусть #? = Я
176 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

и Q(V) есть равномерное распределение на [—/V, /V], т. о. распре­

деление с плотностью
nim (t) _ f ( 2 N ) ~ \ \t \ ^ N ,

Байесовская оценка, соответствующая Q(iV>, будет равна

* f U(J(W) (и) fu (X) du р I р
а (Х) = = \ u f u (X ) d u f u (X) du.
J ^ H u ) f u (X)du j JN

Очевидно, что при всех X оценка Питмена ао есть предел

а 0 = Нта^(лт). Это обстоятельство наводит на мысль, что одпо-
N - »оо

времеино будут сходиться и моменты второго порядка:

Ма ( а ф\) — « у -> Ма (а* — а ) 2.

Оказывается, что в области |а! < Л 7—У/V это так и есть, при­
чем сходимость будет равномерной по а в указанном интервале
значений а. (Доказательство связано с оценкой Ma (а * — N))1,
ноент в основном технический характер, и мы его опускаем.)
Но в таком случае мы можем воспользоваться критерием ми­
нимаксности оценок в теореме 11.3: если оценка а * такова, что
при всех а
Ма (a* — а)2 <1 lim sup J М/ (аых) — t\ 2 Q (A}(dt) (10)
N-*OO ' '
для некоторой последовательности априорных распределений Q(V)
(не обязательно равномерных) и соответствующих им байесовских
оценок то а *-— минимаксная оценка.
В нашем случае пг — Ма (сс*— а ) 2 от а не зависит. Поэтому
в силу отмеченных выше свойств сходимости
lim sup f М* (сс*(х) — f)2 Q(A) (dt) ^
iV—
>oo

^ lim sup f M t ( a ! (jv) — t ) 2 dt >

Лг-*О0 “ V *
] i\< N - Y n

;> lim sup 2 (iV — V iV) (m — e) = m — г

/V -? oo

при любом e > 0. Это означает, что свойство / 10) выполнено.

Таким образом, оценка Питмена является минимаксной в клас­
се $сех оценок параметра сдвига (то, что она минимаксна в клас­
се эквивариантиых оценок, очевидно, следует из эффективности).
 ОЦЕНКИ ПАРАМЕТРА СДВИГА И МАСШТАБА 177

Сказапыое можно иитерпретировать также следующим обра­

зом: «наихудшим» априорным распределением (см. § 11) для па­
раметра сдвига является «равномерное на всей оси» распределе-
ление.
Указанием на минимаксность оценки Питмена могла бы слу­
жить также отмеченная выше независимость Ма (а ,„ — а )2 от а
(ср. с теоремой 11.2 ).
4. Об оптимальных оценках параметра масштаба. Как мы уж е
отмечали, проблема оцепки параметра масштаба о может быть
сведена в известном смысле к проблеме оценки параметра сдвига.
Пусть для простоты §6 = (0, оо) = ©. Тогда, если Х^= Р0,Р 0(А) =*
= Р(А/о), то Y = 1и Х = (1пх1? . .., 1пхге)(= :Р а \ гДе а = In су, а рас­
пределение Pi1') имеет плотность величины y t = In Xj в точке у
( * И ^ '
^условие (Лц) выполнено, — ^ — — f { x )J> равную (см. [ 11],
стр. 53)

/ “ (») = / И л

Таким образом, мы можем оценить наилучшпм образом пара­

метр а с помощью оценки Питмена a* = a*(Y ), а затем положить
g*(X ) = ea*(Y). Нетрудно видеть, что о*(Х) будет эквивариаитпой,
так как
о* (с Х ) = (, “ * « Y + I" C> = C“ *< Y > +1"0 = са* ( X ).

Одттако здесь важно отметить, что оцепка Питмена минимизирует

М « (а * — а)2. Стало быть, полученная оценка о* будет миними­
зировать

(И)

а не величину Ма ( п * — сг)2, с которой мы обычно имели дело.

Но в задаче об эквивариантной оценке параметра о и неразумно -
было рассматривать среднеквадратическую погрешность, посколь­
ку она, в отличие от ( 11), зависит от преобразования сжатия,
примененного одновременно к о* и о. Аналогом инвариантной
статистики So здесь будет статистика (х 2/х,, x j x i ) . Наряду с
( 11) возможно, копечно, рассмотрение и других погрешностей.
Если, например, мы будем минимизировать величину

12 л . А. Боросиов
178 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

то наилучшей эквивариантпой оценкой будет

f а_п—2/ (Х/а) da ,
а* = А : , (12)
1 a- n - 3f (Х/а) da

<см. [63], стр. 191).

П р и м е р 3. О б н а р у ж е н и е и с т о ч п и к а и з л у ч е н и я .
Приведем пример реальной физической задачи, которая связана
ц оценками параметров сдвига и масштаба.
Предположим, что в некоторой неизвестной точке z трехмер­
ного пространства находится источник ^-излучения. Задача со­
стоит в том, чтобы используя плоский детектор (пусть он совпа­
дает с одной из координатных плоскостей) и фиксируя на нем сле­
ды излучения, т. е. следы взаимодействия у-кваптов, испускаемых
точкой z, с чувствительной поверхностью детектора, определить
координаты точки z.
Эта задача намного упростилась бы, если бы мы имели ис­
точник излучения заряженных частиц высокой энергии. Тогда
можно было бы поставить один за другим два параллельных
плоских детектора и фиксировать на пих точки прохождения
(т. е. взаимодействия с поверхностью экрана) всего лишь двух
частиц. Это дало бы нам направления полета этих частиц и вме­
сте с ними координаты точки z как точки пересечения этих на­
правлений. Одпако для слабого у-пзлучепия, используемого в
рентгеноскопии, это неосуществимо, и возможно введение лишь
одного детектора.
Направление, в котором распространяются излучаемые у-
кванты, случайно и имеет равномерное распределение па поверх­
ности сферы (если направление
определять точкой па сфере
с цептром в точке cz).
Чтобы упростить задачу, мы
рассмотрим ее двумерный ва­
риант. Пусть источник находит­
ся па плоскости переменных
(х , у) в неизвестной точке ъ =
== (ос, о), о > 0 . Угол направле­
ния излучения, составленный с
: осью Оу, имеет равномерное
. распределение на [ 0, 2л]. Ч ув­
ствительный детектор совпада­
ет с осью абсцисс. Результатами наблюдений будут точки
X i , х 2, в которых было зафиксировано взаимодействие у-кван-
тов с детектором (осью абсцисс).
Некоторое своеобразие этой задачи состоит в том, что объем
п выборки, полученпой за фиксированное время f, будет случай-
^ 181 ОЦЕНКИ ПАРАМЕТРА СДВИГА И МАСШТАБА 179

ным: число 7-квантов, испускаемых источником за время t, имеет

распределение Пуассона, число 7-квантов, достигших детектора,
также распределено по закону Пуассона, так как каждый квант
достигает оси абсцисс с вероятностью 1/ 2. Однако в нашем слу­
чае п и наблюдения Xi, х2, . . . независимы. Поэтому мы можем
рассматривать то число п наблюдений, которое получилось, и
считать его фиксированным (для каждого такого фиксированного
п распределение х, будет одним и тем же).
Итак, пусть даны наблюдения X = (xit ..., х„). Наша задача
состоит в оценке координат (а, о). Покажем, что X(==KKt0, т. е.
х, имеют распределение Коши с параметрами сдвига а и масшта­
ба о.
Действительно, условное распределение угла fi направления
движения 7-кванта с осью (0, —у) при условии, что квант
достиг детектора (ось абсцисс), будет равномерным на отрезки
I—я/2 , л/2]. Так как (х — a )/o = tg ^ (см. рис. 2), то
Ра.о (хх < х) = ^ + ~ arctg
Стало быть, плотность распределения Xi будет равна плотности
распределения Коши (см. § 2)
1 , _J________ 1______ _________ о______
V

а’° Л0 (l +((я—я)/сг)2) л(а2+ (х —а)2)*

Предположим теперь, что о известно, пусть, например, а = 1.
Тогда иаплучшей инвариантной оценкой параметра сдвига а бу­
дет оценка Питмепа, которая получается как среднее значение
а* — J и.ф (и) du распределения с плотпостыо
к (X) п
Ф (и) = ф (и, X ) =
\kv{X)dv
т , ки (X) =
fJi
Т Т к и ( Xi ) ,

к и (Xj) = А'ид (х*) = —.

- л (1 -j-(u — Xi) 2)

О. м. н. а* будет представлять из себя точку, в которой дости

гается ш ахф(н). Позже мы покажем (см. §§ 24, 25), что «,* и а*
асимптотически эквивалентны и имеют а. и. распределение с ко­
эффициентом 1/7= 2 (в рассматриваемом случае 7 = J ( k0)2/ k 0dx =
== 4л -1 J л,2(1 + х 2) 3 dx = 1/2). Из сказапиого следует, что погреш­
ность оценок а* и а* при больших п имеет порядок малости 1/У п.
Интересно отметить, что в рассматриваемой задаче можно до­
биться путем вмешательства в эксперимент и более высокой сте­
пени точности. Это можно сделать, поставив между точкой z —
— (а, 1) и детектором экран, параллельный оси абсцисс, с отвер­
стием П, через которое лишь и могут проходить 7-квапты. Поло-
12*
180 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

зкеппе экрана и отверстия выбираются экспериментатором и, ста­

ло быть, нам известны.
В этом случае распределение наблюдений па экране будет
разрывным и при небольших отверстиях Н будет близко к
Uaa, аа+Ь при некоторых известных нам постоянных а и Ъ. Вид
эффективной эквивариантной оценки ссн для такого распределения
был пайден в примере 2. Оценка ссн определяется крайними зна­
чениями выборки и имеет точность порядка 1/ n Hl где пн ^ п —
число элементов выборки, которые соответствуют квантам, про­
шедшим через щель (ин, как и л, па самом деле случайно и рас­
пределено по закону Пуассона). Так как в среднем пн пропорцио­
нально н, то при достаточно больших п мы получим 1/пн < 1/11 п.

§ 19*. Общая задача об эквивариантном оценивании

Рассмотрим группу G измеримых преобразований g прост­

ранства о6п в себя, обладающих следующими свойствами:
1) Каждое g отображает ^ л‘ на все пространство 9в'\ т. е.
для любого х г <= <№п найдется x t <= такое, что х г = g x v.
2 ) Отображения g взаимно одпозначны.
Измеримость g нужна для того, чтобы gX была случайной
величиной. Групповое свойство означает, что g2gi е К, если gi е G,
g2 е G; тождественное преобразование е и обратное преобразова­
ние g~l принадлежат G (так что g~lg ~ e).
О п р е д е л е н и е 1. Семейство распределений {Ре} называется
инвариантным относительно группы преобразований G (или, для
краткости, просто инвариантным), если для каждых g ^ G и 0 ^
е 0 существует единственное 0g е О такое, что соотношение X £5
СЁ Ре влечет за собой gX [ЕЕ Peg.
Значение 0g, однозначно определяемое 0 и g, мы обозначим
Qg — ^0. Тогда определение означает, что

Ре (gX е ^ ) = Р ^0 ^ А).

Так как в силу определения 1 условие (Л0) выполнено, то мно­

жество G всех преобразований g пространства © в себя образует
группу. Действительно, распределение g2giX дается одновременно
распределениями Р ^ ^ о и Р~, Из условия (И0) следует, что
i = ёъёх и что g i 1^ G ' (достаточно положить g2 = gГ1).
Преобразования g из G автоматически взаимно однозначны. Одиа­
ко изоморфизма между G и G может и не быть. Пусть, например,
-^€§Ф о,а2» це=(0, оо). В этом случае плотность / 0>о2 (Х) (функ­
ция правдоподобия) зависит лишь от 2 x i • Стало быть, если в
§ 19] ОБЩАЯ ЗАДАЧА ОБ ЭКБИВЛРПАПТНОМ ОЦЕНИВАНИИ 181

качестве G рассмотреть группу вращений (ортогопальных преоб­

разований е0”1), то условия определения 1 будут выполнены, но
£ = ё, и группа G состоит пз единственного элемента ё — тож­
дественного преобразования 0 = (0, °°) в себя.
Мы представляем читателю в качестве упражнения проверить,
что если {Р0} инвариантно отпосительпо группы G и Gi есть
подгруппа G, то {Р0} инвариантно относительно Gt.
При рассмотрении общей задачи эквпвариаптпого оценивапия
нам необходимо иметь несколько более общую постановку задачи
относительно сравнения оценок. До сих пор мы делали это с
помощью средпеквадратических уклонений, меряя погрешность
оценки величиной (0* —О)2. Мы будем теперь предполагать, что
измерение погрешности 0 * происходит с помощью функции
щ(0 *,.6 ) и что эта функция обладает свойством «однородности» *):
wigQ, £ 0*) = ш(0, 0 *) при всех 0. ( 1)
Именно этим свойством обладают функции ш(6 , 0*) — (0 —0 *)а
для параметра сдвига (преобразование сдвига) и ш( 0 , 0* ) = ^ ln - ~ j

или •— l j для параметра масштаба (преобразование сжатия).

Мы видели в п. 4 § 18, что задача отыскания паилучшей ин­
вариантной оценки может быть весьма чувствительной к выбору
меры погрешности w{ 0 , 0 *) оценки 0 *.
Обратимся теперь к проблеме оценивания для инвариантных
семейств {Р0}. Пусть мы имеем выборку X и по ней построили
оценку 0* = 0*(Х) параметра 0. Если мырассмотрим выборку
Y — gX^= Р-,,, то 0*(У) будет оценкой для £ 0. При этом ес­
тественно предполагать, что оценки 0*(Х) и 0*(F) связаны между
собой так же, как оцениваемые параметры 0 и £ 0, т. е. преобразо­
ванием g:
0*(У)=£-О*Ш. (2)
Р» силу ( 1) оценка 0 *(У) параметра £0 дает ту же самую ошиб­
ку, что п оценка 0*(Х) параметра 0. Таким образом, мы имеем
две «одинаковые» проблемы оценивания. Произведенные преобра­
зования g X и £0 можно интерпретировать как замены систем ко­
ординат. Тогда (2) означает, что оценка 0* не зависит от выбора
системы координат и удовлетворяет соотношению
" Q*(X) = r'Q * {g X ). (3)
Иными словами, если выбрана 0 *, удовлетворяющая ( 2), то без­
различно, какую из двух проблем оценивания, указанных выше,
решать, поскольку выводы о £0 во второй проблеме можно прев­
ратить в выводы о 0 в первой с помощью равенства (3),
*) Это свойство по обязательно в теории эквивариантного оценивания.
Можно лишь требовать существования £0* такого, что при всех 0 w (£0,
£0*) == к: (0, О*) (см. [03]).
482 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

О п р е д е л е н и е 2 . Оценка 0* параметра 0 инвариантного се­

мейства Р е, удовлетворяющая (3), называется эквивариантной*).
Рассмотрим какую-нибудь точку 0 „ е 0 и множество «экви­
валентных» точек 0 «= g0o, g <=(л. Такое выделение классов «экви­
валентных» точек делит все пространство © на подмножества,
называемые орбитами.
Т е о р е м а 1. Значение МеК?(0 , 0*) для эквивариантной оцен­
ки 0* постоянно на орбите, т. е.
Меи?(0 , 0 *) = M -Gw (g 0 , 0*)
при любых 0 е 0 и g ^ G .
Доказательство.
М6w (0, 0* ( X ) ) = Мун; (gQ,gQ* ( X ) ) =*
= МеН7 (#0,0* (gX)) = М-уЫ; (# 0 , 0 =*(X)). <
Если орбита {0: 0 = £0о, g ^ G } совпадает с © (как это имело
место для параметров сдвига и масштаба), то Меи; (0 , 0*) = const
на 0 . Выполнение этого равенства есть характерный признак
минимаксности 0 * (ср. с теоремой 11.2 ), так что наилучшие
эквивариантные оценки часто оказываются минимаксными в клас­
се всех оценок (подробнее см. [63]).
Из теорем § 11 вытекает, например,
Т е о р е м а 2. Если © является орбитой и эквивариантная
оценка 0* оказалась байесовской (или пределом байесовских оце­
нок 0 jv со сходимостью M qw(Q, 0*) = lim Mow (О, й ) 1 , то 0 * —
N-*ao J
минимаксная оценка.
Отметим также следующее важное свойство эквивариаптных
оценок. Нам будет удобно через v(g dx)/\{dx) обозначить плот­
ность меры vg, v e{B) — vigB), относительно меры v в точке x<^S&n.
Т е о р е м а 3. Пусть выполнено условие Ь4Д и p.n( g с1х)/цп(дх)
конечно и положительно при каждом g е G и п. в. [ц’Ч значений
х . Пусть, кроме того, о. м. п. 0* единственна при каждом X . Тогда,
если семейство Р е инвариантно, то 0* является эквивариантной
оценкой.
Д о к а з а т е л ь с т в о . Имеем
P ft*f 5П (dX) <dx)
и (X) = - fi (^ = m ax —"-/v ■ (4)
1 цп (йх) e pn (dx) }
в точке x=*X. Полагая У — gX, мы можем записать также

/e*(Y) ( Y 1 - * * • * > '* * * -

\х ) —
ж ? » * * *
^ { g d x )н цп
*) Такие оценки называют ипогда инвариантными. Однако отот термин
менее точен. Его лучше оставить для оценок, обладающих свойством
0*(#Х) — 0*(Х) (т. е. для случая, когда g — ё для любого g).
§ 201 ИНТЕГРАЛЬНОЕ НЕРАВЕНСТВО ТИПА РАО — КРАМЕРА 183

В силу инвариантности Рв и конечности \in{g d x )/p n{dx) > 0 это

эквивалентно тому, что
p j-ie * (y > (Ас' рг - 1е<‘,ж> рв (<**)
-— —------ = max — е= max — ,
pn (dx) -о pn {dx) о И {dx)
Сравнивая с (4) и пользуясь единственностью 0*(Х), получаем
g - ld * (g X )= Q * (X ). <1

§ 20. Интегральное неравенство типа Рао — Крамера.

Критерии асимптотической байесовости
и минимаксности оценок
Этот параграф можно было бы пазвать также «Неравенство
для среднеквадратического уклонения в байесовском случае».
В значительной своей части он относится к асимптотической тео­
рии оценивания.
Вопросы, связанные с асимптотическим подходом к сравне­
нию оценок, затрагивались нами и рапыне. Теперь, и главным
образом в §§ 23—29, они станут основным объектом изучения.
1. Эффективные и сверхэффективные оценки. В § 16, посвя
щенном неравенству Рао — Крамера, остался невыясненным сле­
дующий важный вопрос. Пусть выполнено условие (ft). Тогда
для несмещенных оценок

Правую часть этого неравенства называют иногда границей

Рао — Крамера. Она достигается для ft-эффективных оценок. Воп­
рос состоит в том, можно ли за счет выбора смещения сколько-
нибудь существенно улучшить ft-эффективные или a.ft-э. оценки?
Это есть вопрос о существенности границы Рао — Крамера и о
роли сметцепия.
Тот факт, что в отдельной фиксированной точке 0О значение
Мо( 0* — 0)2 может быть сделано значительно меньше, чем гра­
ница Рао — Крамера, нами уже отчасти обсуждался. Достаточно
взять 0 * = 09. Однако при этом в других точках эта оценка будет
очепт. плохой.
Можно привести другой, мепее тривиальный пример, где улуч­
шение достигается не за счет других точек. Пусть X ФаД, а s
^ ©— [0, оо). Тогда оценка а* = х является эффективной и даже
f t-эффектпвпой. Однако оценка а** = т а х ( 0 , х) в нашем случае,
когда 0 = [0, оо), будет, очевидно, лучше, поскольку она умень­
шает средттеквадратические уклонения, заменяя недопустимые
отрнцательпые значения на 0. Оценка а**, очевидпо, будет уже
смещенной: Маа** > а , но в точке а = 0 имеем /( а ) =■ 1,М 0(а*)2=
= 4 ■ м « (“ **)2 = " 5 < W W '
i84 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [гл . г

В этом примере улучшение связано с тем, что мы сузили об­

ласть значений оценки а* до множества 0 . Приведем еще один
пример (принадлежащий Ходжесу), в котором улучшение а* про­
исходит не за счет ограничения ©.
Пусть опять Х ^ Ф а л , а е © = (— оо, оо).
Наряду с эффек­
тивной оценкой а* = х рассмотрим при £) < 1 оцепку

а ** = { если \ * \ > п ~1/4’

ф х, если | х | <С ?г~1,л.
Нетрудно видеть, что при а > 0 по центральной предельной
теореме
**а ( | х | < п~1/4) < ; Ра ((х — а ) V п < ?г1/4 — а V п ) -»> О
при п -> оо. Аналогичное утверждепне верно при а < 0. Поэтому
а** при ос ^ О совпадает с х на мпожестве вероятности, сходя­
щейся к 1, и, стало быть, по теореме непрерывности при а Ф В
(а** — а) Y n (==$ Ф 0д.
При а == 0
Р 0 ( | х < /г-1 4) = Pti ( 1х У п | < nl/4) ->■ 1,
и а** па множестве вероятности, сходящейся к 1, совпадает с
рх, так что (а** — а) У п (Цэ Ф } ^2. Таким образом, при всех а
оцепка а** является а. и., (а** — а) У п €==>Ф 0 0«>,а), где
1 прп а Ф 0 ,
° (х) |^2 | ПрИ а

Таким образом, в точке а = 0 коэффициент рассеивания о2(0)

оказался меньше нижней границы Рао — Крамера, равной 1.
Асимптотически нормальные оценки в приведенных примерах,
когда коэффициент рассеивания для них о 2(0 ) ^ / - 1( 0 ) оказыва­
ется при некоторых 0 строго меньше /~Ч 0 ), называют иногда
сверхэффёктивными.
Однако оказалось, что эти примеры все же мало меняют пра­
вильную в целом картину о предпочтительности эффективных
оценок. Именно, Jle Камом было установлено, что добиться про­
иллюстрированного выше улучшения оценок можно, грубо гово­
ря, лишь в малом числе точек.
В этом параграфе мы покажем, что наряду с соотношением
inf М/ (0* — i f ~ 0 , справедливым при каждом t, для интеграла
о*
от М ,( 0* - г )2 уже существует положительная нижняя граница„
не зависящая от 0* и тесно связанная с аналогичным интегралом
от функции (нШ ))-1. Именно, мы получим в одномерном случае
S 20] ИНТЕГРАЛЬНОЕ НЕРАВЕНСТВО ТИПА РАО — КРАМЕРА 185

0 ^ 7 ? неравенство для
inf f Мt (0* — t f q (t)d t (1)
о* J

при любой весовой функции q i t ) ^ 0 , § q{t) dt ~ I, правая часть

которого ие зависит от 0* (в том числе и от смещения bit), при­
сутствующего в неравенстве Рао — Крамера) и близка к значе­
нию J /п, где

■ ^ It w d t -■ <2>
2. Основные неравенства. Прежде чем сформулировать соот
ветствующие теоремы, заметим, что иптеграл в (!) можно рас­
сматривать как безусловное математическое ожидание М (0* — 0)2
в байесовском случае, когда 0 имеет анриорпое распределение с
плотностью qit) относительно меры Лебега. В этом случае I —
- М /_ 1(0).
Обозначим через f ix , t) — f,ix )q it) плотность совместного рас-
пределеппя X и 0. fi{x), как и прежде, будет означать произволь­
ную ftix) по t.
Пусть, далее, N h сг © есть носитель функции h, определенной
на в : Nh = [t: hit) Ф 0), и N есть носитель fix, t) в ё6п X 0 .
. Т е о р е м а 1. Предположим, что /Да?) дифференцируема по
t, а функция Уlit) интегрируема па любом конечном интервале.
Тогда для любой финитной (т. е. равной 0 вне конечного интер­
вала) дифференцируемой функции hit) такой, что Nh с= N q, спра­
ведливо неравенство
Jyj /0* 0\2 ;___________ [М (h (f))/<7 (О))]-____________
ПЙЛ (#- (в ) [ Л C0)/ff ( 0 ) ] а) IV! 1Л." -(6 )/^ (0 )]*- " .

fJ h it) d t\
Г , ,
n 1I I { t ) h * { t ) ! q ( t ) d l - -| j ‘ { h ' ( t f ) / q ( t ) d t

Д о к а з а т е л ь с т в о . Имеем, в силу финитпости h i t) ,

J {ft (*) >'( t ) ) ' d t f d (/, ( x) h (I)) = 0,
j t (/, (x) ( d t=
h«))' - J
Стало быть, для любой 0*
J ( (0* — t) {ft {x) h {t)Y dtp ," {dx) =*
£8 n ®
~ f j* f t (x ) h (0 dlp?{dx) = f h (t) dt. (4)
ggU О 0
186 ТЕОРИЯ ОЦЕПИВЛНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Эти интегралы можно рассматривать, в силу условия Nh <= N q, как

интегралы но N. Стало быть, мы можем умножить и разделить
подынтегральное выражение в (А) на fix , t). Мы получим тогда
м [(в. _ е) y a jD £ $ Y . ] = j * (,) = М

В силу неравенства Коши — Буняковского отсюда следует

[M(fe (е)Д/(б))12

Остается привести это неравенство к виду (3). Заметим пред­

варительно, что
VW )
и что для почти всех*) t
U tL' (X , t) = 0. (6>
Первое из этих утверждений следует из соотношений
М, | £ ' (X , ОI < «М, | Г (х„ t) I < п (М, [Г (х „ ()Р }1/2 = п / 7 ( 7 ) ,

вытекающих из неравенства Коши — Буняковского. Чтобы дока­

зать второе утверждение, возьмем произвольную финитную функ­
цию gi t ), имеющую всюду непрерывную производную g'it). Тогда
J g (9 й (X) dt = — j g' (t ) f t {X ) dt.
Кроме того,
j lg(01 V l { t ) d t c oo.

Отсюда следует, что можно менять порядок интегрирования в сле­

дующем выражении:

J g (0 MtL' (X, t) dt ~ J J g (I) f t (ж)dt\in ( d x) =

S6n ®

^ ~ggnI вJ (0 И
s' h dtVn (dx) =—еJ (0 ё =—J (0=°-
%' dt

Выполнение этого равепства для всех g и означает справедли­

вость (6 ).

*) В § 16 мы доказали, что это равспство ври выполнении условий

(Я) имеет место при всех t. Здесь вам будет достаточно сю выполнение
для почти всех i.
§ 20] ИНТЕГРАЛЬНОЕ НЕРАВЕНСТВО ТИПА РАО — КРАМЕРА 187

Теперь мы можем преобразовать правую часть (5). Опуская

для краткости аргументы функций, получим
( / е (Х ) 4 0 ))'
+
/е (*) ч (0)

+
» [ ^ Ч + "(т У — 'К т М + “ (т У -
Здесь мы воспользовались тем, что в силу ( 6 )

М [ ^ M0Z/1 = f — МtL 'd t - О

LЯ J & 9

и что (см. § 10) Mq (L')2 = nI(Q). <

В последующих утверждениях мы везде будем предполагать,
что /Да?) удовлетворяет условиям теоремы 1.
Т е о р е м а 2. Если функция hit) — h0it) = q it)/Iit) является
финитной и дифференцируемой, то

+ (7)

где II
■ л ш 40*
З а м е ч а н и е 1. Неравепства в теоремах 1, 2 являются интег­
ральными в том смысле, что они относятся к интегралам от
(0* — I)2. В этом смысле неравепства § 16 можно называть
локальными.
Д о к а з а т е л ь с т в о . Это утверждение немедленно вытекает
из теоремы 1, так- как правая часть в (3) при h = q !l преобразу­
ется к виду P fin J + Я). <
Мы видим, таким образом, что нижняя граница возможных
значеппи М (В* — Э)2 при больших п лишь нсмпогим отличается
©т границы ~,7p(t) > равной зпачеиию М( 0 * — Э)2 для Я-эф-
фективпой оценки G*. Это указывает па целесообразность исподь-
аовапия эффективных оцепок, поскольку для них при любой функ­
ции q почти достигается экстремальное значение М (0* — В)2.
Оценка (7) неулучитаема, на что указывает
П р и м е р 1. Пусть Х(=§Фа л . Как мы знаем, в этом случае
Iia ) — 1. Пусть, далее, параметр а выбирается случайно с гладкой
плотностью qit), t е ( — <x>t о о ) . Тогда правая часть (7) превраща­
ется в in + Я )-1, где

л = ! ' т " < й = м i(in« (а))Т-

 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

В пашем случае байесовская оценка а ^ , соответствующая априор­

ному распределению Q с плотностью q и минимизирующая
М (а* — а)2, равна (см. § 10}
§ tq (t)ft (X)dt
CLq “
J <1 (0f ti x ) dt
Г tq (*) exp (nxt •— t \/ 2 ) dt Г tq ( t ) e x p (— n (x — t ) 2/ 2 ) d t
C=3 — = ■
—---------------------------------- . (8 )
j q (t ) e x p ( n x t — t 2n / 2) d t J q (t ) e x p (— n (x -— t ) 2l? ) d t

Нетрудно пайти асимптотическое представление зтего отношения

и показать, что

а « = * + ^ ) - + 0Ш ’ M(“ S -« ) 2= v - f + 0( 7 }
1 I- '
Одпако мы поступим проще, предположив, что q(t) — ■ ,— е~~ 1.
у 2л
Тогда, очевидно, Н = 1, и правая часть в (7) превращается в
1/(/г + 1). По в примере 11.1 было устаповлепо, что

М(a j — а )1

Тем самым неулучшаемость неравенств (7) и (3) доказана.

Т е о р е м а 3. Если интервал ( а —е, а + е) содержится в 0 ,
то для любой оцепки б*
шах Мг(0* — t)2^ ------------------- .._
*е(«-«,с+е) и max 1 (t ) -|- ji"t
te(«—Е,П+£)
Д о к а з а т e л ь с т в о. Воспользуемся неравенством
«+£
max (б* — t f -^ J М* (0* — t f q {^) dt,
i e ( u —г,а-\-г) п—г

справедливым для любой плотности <?(£), равной нулю вне

(а — е, й + е). Требуемое утверждение следует из теоремы 1, если
положить в ней

h ( I) = q(t) = j - cos2' п —, \t — a | < e .

Тогда
М, (б* - б )* > 1
» j / (0 q ( I) dt -P j*(q' ( l) f/q { t) dt
§ 20] ИНТЕГРАЛЬНОЕ НЕРАВЕНСТВО ТИПА РАО — КРАМЕРА 189

где
_ / п nt nt \2
I — 5 2 C O S т;—
' л т О2 п
I \9ог 2к s i n - ^2— с) £ ^
о 3Tf
c o s-^
1
1
я 2 sin 2 -^g-. <3
e“ J z £
—1
Можно отметить, что на функции gU) = cos2(я£/2) достигается
1
минимум функционала j* (qr {t))2/q (t)dt в классе всех диффе-
реицируемых плотностей q(t).
Из теоремы 3 вытекает, в частности, что интервал значений 0,
при которых оценка 0 * является сверхэффективной, не может
иметь длину большую, чем 0(1/1/п).
3. Неравенства в случае, когда функция #(6)/JT(0) не диффе­
ренцируема. Если функция h0 — q/I не удовлетворяет условиям
теоремы 1, то справедливо следующее полезное утверждение, по­
зволяющее оценивать асимптотику М (0* — 0)2 в общем случае.
Т е о р е м а 4. Пусть последовательность функций ht (t), зави­
сящих от параметра 8 > 0, такова, что каждая функция /?е удов­
летворяет условиям теоремы 1 и
1) М * Х М < ) .

2) ff(e )--= J d t < со.

Тогда для любого е > О
(J he (t) dty
М ( 0* — 0)2>
n j 4 -11 (e)
Д о к а з а т е л ь с т в о немедленно вытекает из теоремы 1, если
положить h = /г*.
Из теоремы 4 мы получаем следующее важное следствие.
Т е о р е м а 5. Если функция q интегрируема по Римапуу
J < °°, то

М( 0* _ е)г> 2-(1 + е„),

где бп = о( 1) при п-*- °°.
Д о к а з а т е л ь ьссттввоо.. Положим qE(t) = min q(t и),

если
Qe (0 =
0, если qe (t) <i e,
190 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

/ е (*) ==шах(е, /(*)),

f-f-B

he W = &Г J dV ^ k °
t—e
Очевидно, что функция /г8 финитна и дифференцируема при лю­
бом е > 0.
Из того, что q(t) интегрируема по Римапу, следует, что
<?еШ t q(t) почти всюду при е 0. Чтобы доказать это, убедимся,
что
ь
j [9 (*) — Че (*)) dt I °* (9)
а ,

И з интегрируемости дШ по Риману вытекает сходимость

2 <Z «( 2/c 6)26 t
ft v
2 ft «2* + 1 )8 ) 26 t
ft
при 6 0. Поэтому
ъ

f ge (t) dt > 2 <h* (2/.-e) 2e —

<Z n

■= T ( 2 <?•--( 4/' c) 4e + 2 f e ( ( « '+ . 2) e) J ®№ d t-

Соотпонюние (9) и вместе с ним сходимость qe(t) t q(t) доказаны.
^
Пользуясь теперь этой.. сходимостью, получаем -М 1 ) t1 я0(£)»
7 I J\

лг к1)

Кроме того,
11/ U\ I 1I + ~ е) с </(0
1 ®0 1 2е | / Л Н - б ) / в( *-е)

Н ( е ) < Д - ^ г ) * ?_1(() Л =
Мы можем воспользоваться теперь теоремой 3. Полагая е
е (я) = гг_1/5, гс -*■ °°, получим е(п) -*■ 0,
§ 201 ИНТЕГРАЛЬНОЕ НЕРАВЕНСТВО ТИПА РАО — КРАМЕРА 191

4. Некоторые следствия. Критерии асимптотической байесово-

сти и минимаксности. Один из основных выводов, которые можно
сделать из результатов этого параграфа, состоит, грубо говоря,
в следующем. Если существует a. R-э. оценка, то какую бы дру­
гую оценку мы ие взяли, мы не получим «в целом» (или «в сред­
нем») асимптотически лучшего результата. Этим фактом мы
воспользуемся позже в § 25. Здесь же мы приведем критерии
асимптотической байесовости и асимптотической мииимакспости
оценок, вытекающие непосредственно из теорем 2, 5.
О п р е д е л е н и е 1. Оценка 6Х, обладающая свойством
Мн (е; - е)2 = з + о ( i f - (Ю)
при /г -> оо, называется асимптотически R -байесовской.
Это есть оценки, для которых асимптотически достигается
нижняя грапица для средпеквадратических уклонений, определен­
ная в теоремах 2.5. Их можно было бы назвать также асимптоти­
чески R -эффективными «в целом» (или «в средпем»).
Напомним (см. § 11), что оценка 0* называется асимптотиче­
ски байесовской (относительно распределения Q), если для всякой
другой оценки 0*
lim sup [Ми(0* — 0)2 — Ми (0* — 0)2] ^ 0 . ( 11)
71-* со

С л е д с т в и е 1. Пусть выполнены условия теоремы 1 и функ­

ция q(t) интегрируема по Риману. Тогда асимптотически R -байе-
совская оценка является асимптотически байесовской.
Д о к а з а т е л ь с т в о . Пусть 0* — асимптотически ^-байесов-
ская оценка. В силу теоремы 5 для любой оценки ©*
lim inf М/г (0* — 0)2 ^ / .
Н —> оо

Отсюда и из (10) следует (И ). <1

Ясио также, что если асимптотически 2?-байесовская оценка
существует, то любая асимптотически байесовская оцепка будет
асимптотически if -байесовскои (ср. с замечаниями к теореме 16.3).
Из теоремы 5 вытекает также
С л е д с т в и е 2. Пусть выполнены условия теоремы 1 и функ­
ция q(t) интегрируема по Риману. Если 0* и 0*— две асимптоти­
чески R -байесовские оценки, то они асимптотически эквивалентны
в следующем смысле:
Мп (or - о*)2^- 0, (еГ - е*) V n о,
где сходимость по вероятности понимается относительно совмест­
ного распределения X и 0 в $8п X ©.
192 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [гл. а

Д о к а з а т е л ь с т в о совершенно аналогично доказательствам

теорем 8.2, 16.4. Исходным является равенство (8.11), которое в
силу теоремы 5 дает
lim sup М/г (в* — 0 *)2 ^ 0 . <]
п-*оо
В §§ 8 , 11 мы отмечали, что для сравнения оценок наряду со
средними значениями д(£) М*(0*— f f dt можно рассматривать
максимальные значения
sup М* (0* — £)2, Г cz 0 .
гег
В качестве Г берется либо все множество 0 , либо та его часть,
которая, по предварительным данным, содержит неизвестное зна­
чение 0 . Напомним, что оценка 0 * называется минимаксной, если
для любой оценки 0 *
s u p M f ( 0*— t ) 2 r ^ s u p Mf ( 0 * — t)2.
. . is Г is r

Оценка 0* называется асимптотически минимаксной, если для

любой оценки 0 *
lim sup sup [ Y n (в* — sl,P Mf [ ] / h (0* — OP*
is r »—
»oо is r
С л е д с т в и е 3. Пусть информация Фишера /(0) существует
и непрерывна. Тогда если для любого отрезка Г ©
lim sup sup Mi [ У n ( 0* — i )]2 sup / -1 (£), (12)
7i—
►эо te r ts r
то оценка 0* асимптотически минимаксна.
Д о к а з а т е л ь с т в о . Нам достаточно убедиться, что для лю­
бой оценки 0 *
lim inf sup Mi [ V n (0* — t)]2 ^ sup I ~ x (t). (13)
77-» oo is r is r
Для любого распределения Q на Г с гладкой плотностью qit)
относительно меры Лебега
sup Mi [ V n (0* — *)]2 ^ f Mf [ V 'n (0*— t)]2q (t) dt.
is r J
По теореме 2 интеграл в правой части для любой оценки 0* но
меньше, чем J — H Iп. Поэтому левая часть (13) больше или равна
/ = J / -1 (t) q (t) dt.
Ho q — произвольная гладкая плотность, и для заданпого е > 0
ее всегда можно выбрать в силу непрерывности / _1Ш так, чтобы
/ ^ sup I ~ l (t) — е.
tsr
Так как е произвольно, то (13) доказано. О . ,
 ИНТЕГРАЛЬНОЕ НЕРАВЕНСТВО ТИПА РАО — КРАМЕРА 193

Б заключение этого раздела сделаем одно важное замечание.

Оно состоит в том, что при отыскании асимптотически оптималь­
ных оцепок можно ограничиться классом R 0 асимптотически не­
смещенных оценок, введенным нами в § 16. Это вытекает из сле­
дующих соображений.
Мы уже отмечали, что правая часть неравенства теоремы 5,
равная J/n + o i l /тг), от смещения 6(0) никак пе зависит. В то же
время, если для построения пижней границы для М (0* — 0)2 мы
будем исходить из неравенства Рао — Крамера в § 16, то мы по­
лучим

М (В* - В)* > ю т j д (I) [— " ^ , )>- + Ъ- («)] dt.

Можно показать (ср. с [72]), что этот минимум по всем сме­

щениям 6(0 ) имеет (при некоторых предположениях па гладкость
qit) и lit)) тот же вид J/n + о(1/п) и, что для пас существенно,
достигается на смещении 6 (0 ), обладающем при /г-> °о свойствами
6 4 0 = 0 (1 ), б ( г ) = о ( 1/Уп).
Класс оценок 0* с такими смещениями и есть К 0 (см. § 16).
Выход 0* из класса К 0 делает границу //?г + о(1/?г) недостижи­
мой. Таким образом, при асимптотическом .подходе, когда а. и.
оценки сравниваются с помощью значений М (0* — 0)2 при глад­
ких qit) и lit), можно ограничиться рассмотрением оценок из
класса К = К Ф<2 П Ко (класс К Фш2 обсуждался пами в § 8 ), посколь­
ку оценки вне класса К 0 являются «недопустимыми» в указан­
ном выше смысле.
5. Многомерный случай. В случае 0 e / ? ft можно получить
аналоги для всех теорем этого параграфа и сделать те же вы­
воды, которые памп были получены для- одпомерного случая.
В частности, утверждение теоремы 5, одной из основных в
этом разделе, будет иметь вид
d2 ^ J/n + o i\/n ),

. где d~ -= j|dtj||, dij = M (0f — 0{) ( 6* — 0j), J = M/ " 1 (0).

Рассуждения, связанные с байесовскими и минимаксными
оценками, также сохранятся, если в качестве погрешности оценки
рассматривать значение
v (0*) = Ме (0* - 0) V (0* - 0)т ,

где V — неотрицательно определенная матрица. Байесовскими и

минимаксными оценками (или асимптотически байесовскими н
минимаксными) следует называть оценки, погрешности которых
удовлетворяют соответствующим неравенствам для любой неот­
рицательно определенной матрицы V.
13 А. А. Боровков
194 ' ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ {ГЛ. 2

§ 21. Расстояния Кульбака — Лейбл ера,

Хеллингера и у2. Их свойства
Результаты этого параграфа будут существенны для получе­
ния основных результатов асимптотической теории оценивания,
а также для результатов гл. 3.
1. Определения и основные свойства расстоянии. Пусть Р и
G — два распределения на {86, S3 ^>), абсолютно непрерывных от­
носительно меры р.. Обозначим
dP dG
dp — P ' dp ~ g'
N P — носитель распределения P: N P — {x : pix) > 0).
О п р е д е л е н и е 1. Расстоянием Кульбака — Лейбле pa меж­
ду распределениями Р и G называется величина

P i(p >G) = j 1п т { ^ Р (dx) = J l n 7 ^ f P ^ ) P ( ^ ) -

Np Nр

Па самом дело рДР, G) пе есть, конечно, расстояние или мет­

рика в общепринятом смысле, поскольку рДР, G) не есть сим­
метричная функция от Р и G. Тем не менее, мы увидим, что
рДР, G) очень по существу (со статистической точки зрения)
характеризует отклонение G от Р.
Из неравенства In (1 + v) — v ^ 0 и представления

р, (Р, G) = — J [in X — — l) ] (dx)

следует, что всегда рДР, G) 5s 0. В лемме С.1 было установлено,

что равенство рДР, G) — 0 возможно, лишь если Р = G.
О п р е д е л е н и е 2. Расстоянием у2 между распределениями
Р и G мы будем пазывать величину
MP,G)= J
К этому расстоянию относятся почти все замечания, сделан­
ные к определению 1. Название у 2 объясняется причинами, ко­
торые станут ясны позже.
О п р е д е л е н и е 3. Расстоянием Хеллингера между распре­
делениями Р и G называется величина
р3 (Р, G) = J ( / р (х) — V g {х)У Ц {dx).
NpUNG
Расстояние Хеллингера является уже симметричной функцией
Р и G, а значение Ур3(р , G) обладает всеми свойствами метрики
(между функциями Уpix) и Уgix) в метрическом пространство
§21] РАССТОЯНИЯ КУЛЬБАКА — ЛЕЙБЛЕРА, ХЕЛЛИНГЕРА И X* 195

, р.)). Нетрудно видеть, что

р3 (P ,G ) = 2 ( l - J V j g v . (dx)) < 2 . - ( 1)
Все T p ir введенных нами расстояния играют существенную
роль в различных задачах математической статистики. В какой-
то мере мы в этом убедимся.
Если с помощью этих расстояний характеризовать степень
близости распределений, когда отношение р /g близко к 1, то
окажется, что все они асимптотически ведут себя одинаково с
точностью до постоянных множителей. Действительно, пользуясь
разложением

получаем
р ,(Р , G) = — j In ^ - p n ( d x ) — l) Pl' (d') = - | M p >G),

(P, G) = j 1- P (*> = J ( Ур~ УёУ + V i J P <dr>*

~ 'lРз G).
Из последнего равенства следует также, что р2(Р, G ) ^ p 3(P, G).
Кроме того, pt(P, G) > р3(Р, G). Действительно, так как In (1 +
~{-х) ^ х, то
In j = 2; in (l + ( / f - l)) < 2 ( l ^ | - l).

Pi (P, G) = — j ill pp (dx) > — 2 ( J V p g \ i (dx) — l) = p3 (P, G).

В дальнейшем мы будем рассматривать параметрический слу­
чай и предполагать, что выполнено условие (ЛД. Нас будут ин­
тересовать расстояния р,-, i = l , 2, 3, между распределениями
Р — P(ij и G -- Рц2 в(е??,23^>), а также между соответствую­
щими выборочными распределениями (мы обозначим их здесь
Р?е\> Ре2) в (<^п, £)#?). (Отметим, что расстояния имеют смысл
для произвольных распределений и с природой пространств ни­
как не связаны.) Если Np„ cz N P(. , то мы можем записать
°1
Pi ( * V Pos) = J 1» т ^ - / 01ц (dx) = M0l In

M p v p„2) , = M% ( g g - i)* , (2>

(Vo,. Рог) = J ( V f h ~ Г К ) * » < * ) = М». ('V - *) •

13*
196 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ Ц'Л. 2

Если условие cz N p 0 не вынолпено, то p 2 (Р 01, Ро2),

Рз(Ро1> Ре9) будут больше соответствующих математических
ожидании в ( 2 ).
Отметим, что наряду с (2) имеет место следующее полезное
равенство, вытекающее из ( 1):
м 01 Y /в* (xi)//ei (Xi) = j ] 7 е 2И /ог (х) Р (<&) =

= 1 ~ Т Р з ( Ро г р в Д О)

Связь между расстояниямирД Р01, Р 02) и pi ( P ”1, Ро2) устанавли­

вается следующим утверждением.
Т е о р е м а 1.
Pi(pOi,pe2) = «Pi(Po1,Po2),
1 + Р2 ( р ег К ) = (1 + Р2(Р 01, Ре2))п, (4)

1- 4 рз К
р °J = - т р* ( р %. р »г)) ■
Д о к а з а т е л ь с т в о почти очевидно, если предположить для
простоты, что Лгре а (в общем случае выкладки по суще­
ству сохранятся, но станут чуть более громоздкими). Действи­
тельно, в этом случае мы можем воспользоваться равенствами
(2). Тогда первое из соотношений (4) немедленно следует из
того, что

111 ЫЛХ
(X)) 2df /в' (х°
P Лц(Хг)‘ ■
Далее, в силу (2)
1 ч- Р2 (Рбх» р б2) = М01 (/в 2 (Xj)//Oj (xi)) >
i - Рз(рв1. рс2)/г = м , , , Ц / й Щ ч м ,

п такие же соотношения справедливы для расстояний между

Р* и Ре 2 (с заменой в правых частях Xi на X). Так как

.. л /Л м Т Г.,
fl1\ ч т )
f fh ^ T
%Д [ч (xi)j ' L 11Ч Л) J j ’
( W X V

то отсюда при а = 2 и а = 1/2 мы получаем (4).

Доказательство теоремы в общем случае (т. е. если условие
Л/р02 cz N Pq не выполнено) мы предоставляем читателю. <
Из. теоремы 1 вытекает
§21) РАССТОЯНИЯ КУЛЬБЛКА — ЛЕЙБЛЕРА. ХЕ Л Л НИГЕРА И у} 197

Следствие 1.
Рз К , Ро,) < пр3 ( р 01, Ре2).
Действительно, 1 — Ц" < (1 — р)гс при любом ^ Зз 0. Полагая
Р = 1 — y Рз(р0,. Р«->)’ мы П0ЛУЧИМ 113
Рз К - Р%) = 2 ( 1 - Р") < 2 (1 - Р) = «р 3 (Ре,, Р е,). <
2. Связь расстояний Хеллннгера и других с информацией
Фишера. Среди трех введенных в предыдущем разделе расстоя­
ний наибольший интерес для нас в дальнейшем будет представ­
лять расстояние Хеллннгера. В то же время характер главных
утверждений, приводимых ниже (теоремы 2, 3), и характер дока­
зательств будет один н тот же для всех трех расстояний. Поэто­
му для краткости изложения мы ограничимся в этом разделе
изучением расстояния Хеллннгера, которое будем обозначать те­
перь (опуская индекс у символа р3)
Р (Ре,, р е2) = j [ Y K - У Щ I1<*>•
Положим г(0!, 02) = р(Р е1, Рев).
Л е м м а 1. Если при п. в. [р] значениях х непрерывна
по 0. 0! =т=02, то
(5)
в '- ^ | G' — 0" |“ 1Gj Gg |
0^ e 2
Если функция Vfo(x) при п. в. [р] значениях х дифференци­
руема по 0 , то
l i mi nf r ( e ' . e - ) (с
0/^6 | 0' — 0" I ^ '
О"-»!)
Кроме того,
1
Iе | е , р < 4 J 7 ~ е*> У)d,J -(?>

Здесь предполагается, конечно, что значепня 0 , 0 , 01, 02, 0

принадлежат ©.
Д о к а з а т е л ь с т в о . Чтобы проверить (5), достаточно вос­
пользоваться леммой Фату и непрерывностью / е0г) в соот­
ношении _ _
1:„, ;„с '(в ',» " ) . Г V h -X
198 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ ГГЛ. 2

Так как при 0 ! = 62 = 0 подынтегральное выражение в последнем

интеграле равно (/©)“/ (4/е), то мы получаем (G).
Чтобы доказать (7), положим а — 0 2— 01 и представим прира­
щение ]/~ /е 2 — ]/*,/ег в виде

2 v{ >< 2 „J 1/ V »

В силу неравепства Кошп — Бушшовского

Г1 I3 i /у ^2
/ , / • 7 — Г Н^+а?/
« 2 о 2 Г V
= ^ y F = = - ^ < - ) - 7^ ^ .

Пользуясь неотрицательностью подынтегральной функции, мы

можем менять порядок интегрирования в следующих соотноше­
ниях:

— g; 1 f ( j ( d y \ l-i (dx) = Г f / (0, + aJ) dij.

4 ж Vo V " » / 40J

Неравенство (7) доказано. <1

Положим г ( Д) = г ( 0 , 0 + Д). Из леммы 1 непосредственно
вытекает
Т е о р е м а 2. 7?слп функция У/0(.г) н/ж п.. е. [и] значениях х
дифференцируема по 0 и 7(0) непрерывна, го существует
, i ni j ^ > _ m . (8)
д-»о А 44
З а м е ч а н и е 1. Это утверждение останется справедливым и
для расстояний рь р2, если положить

г (А) = у р 2 (Ре, Ро+д), Г (А) = у рх (Ро, Ро+д).

Соотношение (G) доказывается при этом точно так же, как

в лемме 1. Доказательство же (8 ) может потребовать привлече­
ния дополнительных условий регулярности (близких к условиям
(7?)), обеспечивающих законность предельного перехода под зна­
ком интеграла.
Итак, рДРо, Ре+д), 7 = 1 , 2, 3, ведут себя асимптотически оди­
наково, и 7(0) характеризует скорость их стремления к нулю при
А 0 (ведь -г 7 (0) есть вторая производная Ли) в точке и = 0).
§ 21J РАССТОЯНИЯ КУЛЬБАНА — ЛЕЙБЛЕРА, ХЕЛЛННГЕРА И У? 199

Если положить г(,1) (А) = р (Ро+д, Р ?о), то из теорем 1, 2

будет следовать
,. г (п) ( А ) Ш (В)
bm — -f- = - Т - .
д-*о Д

Такие же соотношения сохранятся для расстояний р,, р2.

3. Существование равномерных границ для г(А )/А 2. Наличие
таких границ позволит нам в дальнейшем получить весьма но-
лезпые оценки для моментов отпошетшя правдоподобия.
Для того чтобы упростить изложение или избежать введения
других более громоздких условий, мы часто будем предполагать
в последующих рассмотрениях выполненным условие
С4с): множество 0 компактно.
С точки зрения приложений ото условие, означающее ограни­
ченность и замкнутость параметрического множества, как прави­
ло, не представляется ограничительным.
Ниже мы будем использовать также условие СЛ0), которое
было введено нами в § 6 и которое означает, что /ех /е 2 при
Oi Ф 02. При этом условии г( 01, 02) > 0 при 01^= 02.
Т е о р е м а 3. Если выполнены условия С40), (Лс) и 0 <
< /(0) ^ Ah < «з при всех 0 ^ 0 , то существует постоянная g > 0
такая, что для всех 0 1} В2^ 0
Г(0,, 0Л
{х *\<h. (9)

Д о к а з а т е л ь с т в о . Оценка сверху следует лепосредствеп-

ко из (7). Покажем теперь, что

inf !a> g > 0 . (10)

»1.»2 | ^1 и

Допустим, что (10) неверно, тогда найдется последовательность

(@Г , 02' ) такая, что
г(е<п> ,е {2п))
ejnj _ еоо |2 ->0 (11)

при га-»-*». В силу условия (у1с) м ы можем считать, не ограни­

чивая общности, что Bj1' 0! е 0 , 0(21)-*-О2^ ® . Если 01=^ 02, то
(11) противоречит (5), так как в силу условия 04о) г( 0 ,, 02) > 0.
Если же 0t = 0 2= 0, то (11) противоречит (6 ), так как 7(0) > 0.
Теорема доказана.
4. Многомерный случай. В этом разделе мы получим аналоги
утверждении и. 2, 3 для многомерного параметра (содержание
200 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

п. 1 с размерностью б не связано). Обозначим ц>(х, б) вектор-

функцию с координатами
1 й/о (х )
cpi (х, 6) = 00.
V и (*>
Тогда производная функции Т/в(.г) по направлению единичного
вектора to = (со,, . . сой) равна (( V /е (ж)) , co)=(grad V /е (.г), со)=
\
= — (ср (а:, б), to). Матрица Фишера /(б) равна в этих обозначе­
ниях
J (б) = j фТ (.г, б) ф (;г, б) р (dx).
Пусть 1и| означает евклидову норму и = (и,, . . иД.
В многомерном случае имеет место следующее обобщение
леммы 1.
Л е м м а 1А. Первое утверждение леммы 1 (см. (5)) при
к > 1 полностью сохраняется.
Если функция Уfe(x) при п. в. [р] значениях х дифференци­
руема по б,0 ' -►6 , б" = б' + (о" 6, со" со, Iсо " j = Ito 1 = 1, б 0,
то
.. . г г( 0\ 6") 1 г/П\ т
1ira in f ------------ 5> т (о/(б)со . (12)
16' - 0" \* ^ 4 v ’
Кроме того, если со, | t o i = l , есть вектор, коллинеарный б2—9 i,
так что 02= 01 + а (о, а = 1б2— б I, та,
1
~ ~ ~ ~ i < j - f to/ (9i + <*щ) (13)
10i - °-21 i
Д о к а з а т е л ь с т в о . Первое утверждение леммы 1 сораз­
мерностью ие связано. Второе вытекает из леммы Ф ату и соот­
ношений
л. . f r ( 0' , 0") . f ( V f&' ~ V ^ h v T (Й ч
lim inf — -т ^ \ lim inf T-L~ u (dx) ~
10' — 0" Г ^ 4 0 ' —. 0 ' г
т
CO .
= 4 J ^г>’e^’c°)2 *
li = т 0)1
Чтобы доказать (13), заметим, что *.
О
y j Z — Y K ~ Y j (ф е1 + у с°)>co) d y ~
0
1

= Y J(cp (x, 0! -ь m/co), CO) dy;

§21] РАССТОЯНИЯ КУЛЬБАКА — ЛКЙБЛЕРА, ХЕЛЛИНГЕРА II yv2 201

Г п
г (е ь 02) = X I* \ (ф (*> °1 + о;>) аУ ц (*И <
8В Lo
2 »1
< X I J ( ф( *, 0 i + <°)2 Ф ^ (rfj0

= x j (х » е1 + а^ю)’ ю)2 ** = 'T 'J 0)jf + fi#co) 0)7 dy- <1

о 8S^ о
Положим, как и прежде, г ( Д) =г ( 0 , 0 + Д). Из леммы 1А
вытекает .
Т е о р е м а 2А. Если функция Mfe(x) дифференцируема при
п. в. [pi] значениях х и матрица / ( 0 ) непрерывна, то для любого
вектора о единичной длины существует
lim г со/ ( 0 ) сог .
6->0 62
Как и в одномерпом случае, из леммы 1А мы можем получить
также следующее следствие. Обозначим S p /(0 ) след матри­
цы / ( 0 ).
Т е о р е м а ЗА. Если выполнены условия С40), (Ас), матрица
/(0) является положительно определенной в 0 , 4/г з= sup Sp / (0) <
о
<С оо, то существует постоянная g > 0 такая, что при всех 0 Ь
02 е 0
r(-e?-LB.j (14)
lei - 02|2
Д о к а з а т е л ь с т в о . Обозначим A i(0) и Дл(0) соответственно
минимальное и максимальное собственные числа матрицы / ( 0 ),
так что при со I = 1
А,(0) ^со/(0)сот ^ А Д 0 ). (15)
По условию теоремы Ai ( 0 ) > O всюду на 0 . Так как (ф, оо)2< |
< I Ф Г2 = . 2 ф!, то
j= i

( (ф»t0)2 М-(dx) .= со/ (0) сог <! Sp I (0)

SB

и, стало быть, Ah(0) ^ S p /( 0 ) < Ah. Из неравенства (13) по­

лучаем
i

гУ
| 01 - Н
02|з ^ т J Лл (01 + ауь^ dy ^ h '
202 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ ' [ГЛ. 2

Докажем теперь второе неравенство в (14). Предположим, что

оно не верно. Тогда, как и в теореме 3, найдется последователь­
ность ( 01° , 0-2п)), Oi?1>- > 0 l e 0 , ©а0 02 е 0 , для которой будет
справедливо (11). Если 0t Ф 02, то это будет противоречить (5).
Если 0! = 02= 0, то в силу компактности сферы Iсо 1 = 1 можно
считать, не ограничивая общности, что 0оП) = 0in) + 6со(п , co(il —*•
—>-со, | | = J со | = 1. По в этом случае (11) будет противоречить
(12), (15). <1
5 *. Связь рассматриваемых расстоянии с оценками. Рассмот­
рим расстояние Кульбака — Лейблера между распределением Р 0
и не зависящим от 0 распределением G:

Pi (G, Ре) = J In С (dx) — J In / 0 (х) С (dx).

Здесь от 0 зависит лишь второе слагаемое

^ (Р е. G) = J In /е (a-) G (dx).

С другой стороны, напомним, что о. м. п. определялась нами

в § 6 , как значение 0, при котором минимизируется d(Po, Р«)-
Если распределение x t дискретно, а р — считающая мера, то
выражение

d ( p ,* ,p i) = -

имеет смысл, pt (Р*, Ре) = ^ (Р о , Р*) — d (P 7t, Рп) и, следова­

тельно, мы можем считать, что о. м. и. минимизирует расстояние
Кульбака — Лейблера p 1(P n, I’o) между Ро и Рп. В общем
случае такое толкование можно принимать лишь условно.
Для дискретных распределений х, можно рассматривать так­
же расстояния Pi (Ре, Рп) при i — 2 , 3 и оценки, минимизиру­
ющие эти расстояния. Например, при i = 2 мы получим

о Г
Ра р
(Ре, Рп) /0(в|)

где л’, — число элементов выборки, попавших в точку аи для ко­

торой / 0(щ) = Р 0({щ}) > 0. Это есть статистика (см. §§ 7, 8 ),
в связи с чем это наименование присвоено нами и расстоянию р2.
Так как расстояния р* обладают близкими асимптотическими
свойствами, то оценки, минимизирующие эти расстояния, как это
выяснится позже, будут асимптотически совиадать.
§ 22] РАЗНОСТНОЕ НЕРАВЕНСТВО ТИПА РАО — КРАМЕРА 203

§ 22*. Разностное неравенство типа Рао — Крамера

Этот параграф стоит несколько в стороне от основного изло­

жения. В нем мы попытаемся хотя бы частично ответить на
вопрос о том, что происходит с нижпей допустимой границей для
Me (В* — В)2в нерегулярном случае, т. е. в случае, когда функция
/е(х’) пе дифференцируема по В пли когда / ( 6 ) = °°.
Мы начнем с примера, который показывает, что при этих ус­
ловиях поведение среднеквадратических уклонений оценок (или
их дисперсий) может быть совсем иным, чем поведение правой
части неравенства Рао — Крамера.
П р и м е р 1. Пусть U 0,a- Условие Ш) здесь не выпол­
нено, так как функция / е(л) разрывна. К ак мы знаем, для этого
семейства статистика S = max х, является полной и достаточной
(см. пример 14.3). Возьмем несмещенную оценку 6* = 2хх. Тогда
в силу результатов § 14 оценка Bg = 2 Mo( x 1/.S) будет эффектив­
ной. Вычислим значение Mo ( x l/S). Так как P e( 5 < z ) =
= (z/B)", z е [0, В], то S имеет плотность, равную nzn~1/ В” на
[0, ВКи нулю вне этого интервала. Для отыскания условного рас­
пределения P(B/s) = Р е(х! е= В /S = s) величины х 4 при условии
S = s воспользуемся правилом (10.2):
Р 0 (хг е dy, S ^ ds)
Р {dyls) ~ Р е ^ dy/S = s) ~ Р 0 ( 5 е ds)

Здесь числитель равен

d/l (п — 1) sr : ds
при y C s ,
в 0?
Рe(x 1 e r f y , 5 es ds) = ds
дП- при у = S,
G
0 при y > s .
(п — 1) di/
Отсюда следует, что Р (dyls) — при 0 ^ у < S, jP ({ s) / s ) =

= 1 / п . Таким образом,

/г ■— 1 7 . S S ( п — 1) га - f - 1
Мо(хг/5) Г г —u,S-— ау -\-----
п 2п + т 2п

в ; = * ( 1 + 4 ).
Имеем
о
D„0s = Mo(ej)2 - е2= j»-2(i + 4 ) 2 * - 02 =

\п (/г 2) ) п (п 2)• (1 )
204 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ ГГЛ. 2

Так как Qs эффективна, то для любой несмещенной оценки 0*

(2)
Таким образом, при больших п средпеквадратическое укло­
нение Мо(0 5 — В)2 будет иметь порядок малости 1/ п \ С точки
зрения нижней границы неравенства Рао — Крамера, имеющей
порядок 1/ /г, это ненормально высокая точность*). Можно пока­
зать, что это есть Дочпость, с Которой по выборке определяются
любые точки скачков / 6(х) (запрещаемые условием (/?)). Мы ви­
дели в примере 1Л об оценке медианы, что точки, где плотность
/е (.т ) бесконечна, можпо определить с еще большей точностью,
так что, грубо говоря, чем больше нарушение-регулярности в точ­
ке, тем точнее эта точка оценивается по выборке. Скажем, если
есть распределение, сосредото-
чепное в точке 0, то P 0(S ^ 0) = 2~" (5 = тахх,*), так что диспер­
сия 0* — 0 при 0* = S будет убывать с ростом п экспоненциаль­
ным образом.
Можно ли в этих условиях указать нпжнюю границу для дис­
персии оценок? Ниже мы получим неравенство, аналогичное не­
равенству Рао — Крамера, с помощью которого такие границы
можно строить при более слабых условиях регулярности, чем
условие (/?).
Мы будем предполагать лишь, что выполнено условие (Л,,),
хотя и оно не очень существенно (см. замечание в конце пара­
графа).
Обозначим через. Дф(0) приращение функции ср(0) на интер­
вале (0, 0 + Д), через N vpxi— носитель в 93п распределения вы­
борки: N p Q= {#: /в (ж) ф 0 ), и положим N n — Np^ (J N pe+&.
• Т е о р е м а 1 (неравенство Ченмепа — Роббинса). Пусть 0 &
е ©, 0 + Д ^ 0 , «(0) = М 00*. Тогда при любом Д Ф 0
( А а (О ))2 _ (А д (0 ))2

где р2 есть расстояние %2, рассматривавшееся в § 21. Д ля несме­

щенных оценок числитель здесь следует заменить на Д2.

г 2 (Д) - Р2
ГГА/в(.Т)12Р {.dx).
(Pe-j-д, Ре) - ) — (4)

*) Для параметра 0 существуют такж е оценки, дисперсия которых име­

ет порядок 1/и. Например, для оценки 0** = 2х имеем М0** = 0, D8** --
§ 221 РАЗНОСТНОЕ НЕРАВЕНСТВО ТИПА РАО — КРАМЕРА 203

Таким образом, чем больше расстояние р а( Р е + д , Р е ) менаду

Ре+д и Р е (при фиксированном Д), тем меньше нижняя граница
для D0*.
Если Ре+д абсолютно непрерывно отпосптельпо Р е, то/Ур0+Дс :
с : N p (} = N n и р 2(Ре+л, Ре) можно записать в виде (см. (21.2))
( т»п г>п\
Рз \.Р о + д » Р в /
м ^
ва0

А/о (хх)
аналогично г.2 (Д) = М(,
Ы х0
Если же распределение Р е+д не абсолютно непрерывно относи­
тельно Р е, то существует подмножество из ЛТе+д положительной
Ро+д-меры, на котором / е(.т) = 0, так что интеграл в (4) обраща­
ется в бесконечность, а само неравенство (3) становится тривиаль­
ным. Следует вновь отметить, что выражение Me [Л/е (^Q//o(-^)lJ,
понимаемое как интеграл по может при этом оставаться
конечным.
Д о к а з а т е л ь с т в о теоремы 1. Из сказанного выше следу­
ет, что не ограничивая общности мы можем считать, что Р е+д аб­
солютно непрерывно относительно Р 0, так что NpQ+&cz N pQ—
= ЛТ". Так как / е(«0 и / е + д ( # ) есть плотности в St?n, то
J Дfe(x)yin {dx) = 0.
Кроме того,
j* 0*Л/о (х) p.n (dx) = Аа (0).
Отсюда следует, что
j (в* — а (0)) Д/е И pn (dx) = Аа (0). (5)
Г\п
Па множестве N n мы можем подынтегральную функцию в (5)
представить в виде произведения
(0* _ 6))
а( У 7 ё Щ -у = = .

Применяя затем неравенство Коши — Буияковского, мы получим

(Д а (6 ))’- < j (0 * - 0 )2/ е (х ) [л*1 (d x ) ■ j (Iя ( * » ) . <

Л" ' Nn .

В дальнейшем, в соответствии со сделанным выше замечани­

ем, мы, как и в доказательстве теоремы 1, ограничимся случаем,
когда Р е + д абсолютно непрерывно относительно Р е (ведь иначе
неравенство (3) становится тривиальным).
206 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

С л е д с т в и е 1. Если выполнены условия регулярности,

обеспечивающие существование (см. замечание 21.1 к теореме
21.2 ) lira г 2 (А)/Д2 — 1 (6), то
А—
*О

(«'■ (6) ?

где а'+ (0) = lira sup

д-»о А
Чтобы получить (6 ) из теоремы 1, надо лишь заметить, что
мы можем выбрать последовательность А 0 так, чтобы — —>-■
- > а + ( 0). <
Неравенство (6 ) является по форме некоторым обобщеппем
неравенства Рао — Крамера (обобщением, скорее всего, фиктив­
ным, так как упомянутые условия регулярности, но-видимому,
влекут за собой существование а '( 0 )).
Неравенство (3) естественно называть разностным в отлично
от неравенства (6 ), которое можно было бы назвать дифферен­
циальным.
Таким образом, если г2(Д) ~ 7(0)Д 2 (это соответствует тому,
что /е дифференцируема), то из разностного неравенства Чепме­
н а — Роббинса следует дифференциальное неравенство Рао —
Крамера.
Однако если функция / е не дифференцируема, то поведение
г2(Д) при уменьшении Д будет иным.
Если, скажем, / е дифференцируема всюду за исключением ко­
нечного числа точек разрыва 0 = 0 (;г), зависящих от х , то мы
будем иметь
rz(Д) ~ с| ДI. (7)
Проще всего это выяснить на довольно типичном примере,
рассмотренном в начале параграфа.
Пусть X U0>0. Чтобы было выполнено условие об абсолют­
ной непрерывности Р е+д относительно Р 0, мы будем считать в.
случае Р 0 = Но. е, что Д < 0, IА1 < 0. Тогда
‘ 0 +Д
1 Iо при т е ( О ,0 + Д1,

А/е(ж) I “ -jj ПРИх е (0 "Ь Д» ®1»

\ 0 нри х ф [0 , 0],

<л > - 1 ^ йх = I [ т о ) ] 20 J - ¥ edx^

о о ут д
§ 22] «& РАЗНОСТНОЕ НЕРАВЕНСТВО ТИПА РАО — КРАМЕРА 207

Существенным здесь является наличие интервала длины, сравни­

мой с Д, на котором |Д / 0(т)! > с > 0 , где с от Д не зависит. Это
и обеспечивает порядок малости (7) для г2(Д).
Возвращаясь к нашему примеру, видим, что для несмещен­
ных оценок параметра 0
л2
D0* ^ max
Л+-Ш- + А2 Т - 1
V ^ е г 0(е + А)/
Каков порядок малости правой части этого неравенства при
тг-»- °°? Полагая |Д | = уд/п, получим
2
ВО* ^ Дг max
v ( 1+ J L + £ Y*
V п п(п^у))
Ясно, что выражение со знаком max асимптотически эквивалент­
но h = max i/V(<?7 — 1) ~ 0,65, так что
ег
D 0 » > - tП -(A + o (1)).

Эго неравенство имеет ту же по порядку малости правую часть,

что и неулучшаемое неравенство ( 2 ), однако постоянный мно­
житель при 0V t f в ( 2 ) «лучше» и равен 1.
Наряду с (7) могут возникать и другие скорости сходимости
г 2(Д) к нулю при Д 0. Мы можем получить, например, и г2( Д) ~
~ сДа, а < 1 , если / е(х) имеет линии 0 = 0(;г) Ф const, при при­
ближении к которым / е( д г ) о о ; и г2(Д) ~ сД“, 2 > а > 1 , если
непрерывна по 0 , по не дифференцируема, а удовлетворяет лишь
условию Гельдера в окрестности некоторой линии 0 = 0(х) Ф
Ф const. Нетрудно видеть, что порядок малости
*2
max-
д (1 + сДа )п — 1
при а < 2 будет определяться зпачением Д — (у/сп)1/аг так что
1 i,2/a
D0* > —- m ax (1 -| о Ж ).
, (еп)** у « * -1 V
В «регулярном» случае а = 2 максимум но у достигается в пре­
дельной точке у = 0 (Д = 0).
В заключение этого параграфа отметим, что оценки для D0*
аналогичным образом могут быть получены и для взаимно но
абсолютно непрерывных Р е и Р 0+д. Для этого в (5) подынтеграль-
иую функцию следует умножать и делить на У/ 0(л) + / 0+д(х),
а не на У/Дх). Условие М Д также не столь сугцествепно, так
как меры Р 0 и Р 0+д всегда абсолютно непрерывны относительно
4 (Ра + Ра+л).
208 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

§ 23. Вспомогательные неравенства

для отношения правдоподобия.
Состоятельность оценок максимального правдоподобия

В §§ 12—16 мы изучали вопросы, связапные с существовани­

ем и с отысканием в явном виде эффективных и /^-эффективны х
оценок. Мы видели, что существуют они далеко не всегда, а най­
ти их удается, лишь когда функций правдоподобия имеет спе­
циальный вид или когда мы знаем в явном виде полную доста­
точную статистику (первое из этих условий часто влечет за
собой второе (см. § 15)).
Мы перейдем теперь к построению асимптотически оптималь­
ных оценок. Здесь условия их существования будут значительно
более широкими. Соответствующие результаты будут опираться
прежде всего на асимптотические свойства функции

z (и) = = exp { И Х , В + - L (X, 0)}. (1)

п
*где, как и раньше, L ( X , 0) = 2 Н хь 0). Число 0 в (1), как пра-
i=i
вило, будет считаться фиксированным и представлять собой ис­
тинное значение параметра, т. е. такое, что X е Ро. В этом
случае 7Ли) есть функция двух переменных и и X и, стало быть,
вместе с фукцией правдоподобия ]в+и(Х) будет случайной функ­
цией переменного и. Функцию Z (u ) мы будем называть отноше­
нием правдоподобия, она играет важную роль в математической
статистике. Основная задача этого и следующего параграфов —
изучить свойства 7Ли).
Будет установлено, что 7(и) близко к нулю вне окрестности
точки и = 0. В окрестности этой точки 7{и). сближается в из­
вестном смысле с дельта-функцией, точнее, 7{v/~\in) сближается
асимптотически при п °° с функцией плотности нормального
закона.
В §§ 23—26 мы будем рассматривать лишь одномерный слу­
чай. Случай многомерного параметра будет рассмотрен отдельно
в § 28.
Важную роль в последующих оценках будет играть расстоя­
ние Хеллипгера

г {и)= р (Р0+„, Ре) = J ( V - V * H )V

между распределениями Pe+u и Р 0. Оно рассматривалось нами

в § 21. Напомним, что

О < г (и) = 2 ( l — J V h+u (т) / е (х) a (dx)) < 2 ,

 § 23] НЕРАВЕНСТВА ДЛЯ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 209

так что

Mr =J V / o + u (/о

M0Zl/2(u) = ( l - r ( u ) / 2 ) n. (3)
Относительно параметрического семейства {Р0} мы будем
предполагать в этом и последующих параграфах, что наряду
с Ы.,,) выполнены условия (И0Э (/н, (х) Ф /о г(х) при 0 , Ф 02) и
iA c) (0 есть компакт). Несущественность с точки зрения прило­
жений последнего условия мы уже отмечали. Это связано с тем,
что в реальных задачах из априорных соображений обычно бы­
вает возможпо указать границы возможных значений 0. Для
простоты там, где это потребуется, мы будем предполагать так­
же, что 0 выпукло (в одномерном случае это означает, что 0 —
== [а, 6], —оо < а < Ъ < оо).
Кроме того, в этом параграфе мы будем предполагать, что
функция У/ 0 дифференцируема для п. в. [р] значений х, а ин­
формация Фишера

строго положительна и ограничена в 0. При этих условиях

в теореме 21.3 было доказано, что при всех допустимых 0 и
0 + и (т. е. таких, что 0 ^ 0 , 0 + и е 0 ) для величины Ли) =
== р(Р е+«, Ре) справедливо неравенство
inf-^->g>0. (4)
и
1. Основные неравенства. Обозначим для краткости р(и) ==
= Z 3/t(u) и будем считать, что все перечисленные выше условия
выполнены.
Т е о р е м а 1.
MoZ ^ kX * - " * " 2' 2, M op(u)<<r'*s“2/i, (3)

Mo I 'p(м) К 4 nlВ
V( -I
Из рассмотрений § 21 следует, что для значений и — o il)
вместо g в этих неравенствах можно брать значения, сколь угод­
но близкие к 7(0).
Д о к а з а т е л ь с т в о . Имеем в силу (3), (4)
M0Z 1/2 (к) = (1 — г {и))2)п <; ехр {— пт {и)/ 2 } ехр {— ngiP! 2 }.
Далее, в силу неравенства Коши — Бупяковского
Мор (и) < [MeZ1/2 (u).M oZ(it)]1'* = [M 0Z 1/2 (u )]1'2 <
14 л А. Воровиов
210 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Используя спова неравенство Коши — Буняковского и соотно­

шение
р ’ ( 0 = T Z / ( X , 0 + u ) Z w (u),

находим
Me I Р' (U)| = •§- Мо IL ' ( X ,0 + и) 12,/г (и

< [М 0 [L‘( X, 0 +

< [М8+„ [L' (X , 0 + в)]!],/V * * " * '4. <

Т е о р е м а 2. /7/ж ecez z, н 3* 1
Р 0 ( sup Z ( v i y n ) > ez\ ^ ce~*z i e~u2gU,
Vh>l > u )

где с = 2 + 3 л / 0/#, / 0 “ SUP ^ (®) om ® не зависят.

Ое©
Для доказательства теоремы нам понадобится
Л е м м а 1. /7/ж всея л: ^ 0

Д о к а з а т е л ь с т в о * ) . Характеристическая функция случай­

ной величины £(еёФ 0,1 равна — е 1 ^2п определена во всей
плоскости. Полагая t = —ix, получим Ме5^ = ех ^2. Отсюда с по­
мощью неравенства Чебышева получаем
Р (£ > х) = Р > е*2) < «“ *W 5- <Г*2/2. <
Д о к а з а т е л ь с т в о т е о р е м ы 2. Оценим функцию
Н (б) = Мо sup р (;v).
[t)|>6
Если v s [0 4 - 6 , Ь\, то
«—0 Ъ—0
р (и — 0) = р (6) -J- j р (и) du < ; р (б) -h ] IР (и) I du.

*) При больших х более точными являются следующие неравенства:

оо
1 -зс 2 / а Г _ „ a / iг 1 —х ~ / 2
е < \с аи < — е ,
х -j - 1 J'
которые читатель без труда может получить, сравнив производные рассмат­
риваемых функции (значения самих функций при х = оо совпадают).
« 23] НЕРАВЕНСТВА ДЛЯ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ

Так как правая часть здесь от и не зависит, то

sup р (и) р (6) + f 1Р (и) I du,
W> 6 и^Ь~
Н ± (б) = М0 sup р (п )< ; М()/_> (6) + f Mo I р (и) I du,
«>6 и>6-

В силу теоремы 1 отсюда получаем

Я+(б) < е ~ б2^ /4 +|уй J V T (0 + u )e ~ u 2n gU d u .

На основании леммы 1

/ / + ( « ) < e - ,'s62/4 + i Ynh f е - ^ 'Ы и <

Р 11xb2
< + £. j +

Ясно, что точно такая же оценка будет справедлива для

функции
Я _ (б) = sup р (и).
U<—6
Поэтому
Я (6) < Я + (6) + Я _ (6) < (2 + 3 У Щ Г е )
Остается воспользоваться неравенством Чебышева:
Р„ ( sup Z (t)> е2)= Р„( sup р (г) >
| t |^6 \t\$?b
2. Оценки для распределения и моментов о. м. п. Состоятель­
ность о. м. п.
Т е о р е м а 3. Существуют значения с < оо, g > 0 такие, что
Р|>(/и(6*—0)> u)< c e ~ e r ,'l U (6)
для всех v и 1.
Д о к а з а т е л ь с т в о . Из теоремы 2 вытекает, что
Р0( sup _ Z ( t ) > l ) ^ c e ~ gv2U.
| t |>»/Vn
Остается воспользоваться соотношением

{ | 6* — 0 1^ 6 } = / sup Z (£) У sup Z (£)) о J sup Z ( t ) ~ ^ Z (0) = l l

lui^e |<|сб J \|H>6 J
♦ (7)
при 6 = v/Уп. <1
14*
212 ТЕОГИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

С л е д с т в и е 1. Пусть ип ° ° — любая неограниченно воз­

растающая последовательность. Тогда
( е* — е) Vп/ип -> о. - (8)
Если же ип таковы, что при любом а > 0

2 а "ш‘" < о о , (0)

ТО

( Г - е ) / п / « „ — >о. (Ю)
п.н.
Эти соотношения являются, очевидно, усилениями соответ­
ственно состоятельности ^ 0 * — 0 —> 0j п сильной состоятельности

(® *~ ° - м-п-
Д о к а з а т е л ь с т в о . Соотношение (8 ) следует непосредствен­
но из ( 6 ), если в последнем положить v = 6un. Соотношение (10)
такж е вытекает из ( 6 ), так как сумма правых частей в (6 ) нрн
выполнении (9) будет образовывать сходящийся ряд. О
Например, даже такая медленно растущая последователь­
ность, как ип = In п, удовлетворяет условию (9), так что*)
(0* — 0) У п / l n n — -»-0.
С л е д с т в и е 2. Существует значение ct < °°, не зависящее
■от тг, 0, такое, что при любом а ^ g/Ъ
Me exp {а (гг*)2} <1 с1} где и* = п ( 0* — 0). (И)
Д о к а з а т е л ь с т в о . Интегрируя по частям, получаем
оо оо
Меа'2 = — J eav~dP ( 1ё | > v) = 1 4 - 2а j reav'2P ( 1 > г) Jr.
о о
Поэтому, в силу теоремы 3
оо
Meea<“*)2 < 1 + - х J ve-svVwd v е с , < о о . <
О

§ 24. Асимптотические свойства

отношения правдоподобия
В предыдущем параграфе мы установили ряд неравенств для
Ziu). Найдем теперь предельное распределение этих случайных
функций. Это возможно сделать при выполнении условий (/?)
§ 16. Одпако, чтобы упростить рассуждения, мы введем некоторые
*) Из замечания 25.2 будет следовать, что (10) справедливо и для еще
более медленно растущих и п.
■§ 24] АСИМПТОТИЧЕСКИЕ СВОЙСТВА ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 21-3

дополнительные предположения, которые не всегда связаны с

существом дела, но делают доказательства более короткими
н прозрачными.
Мы обозначим вводимые условия символом (/?/?), чтобы от­
метить таким способом, что это есть условия регулярности и что
они усиливают условия (/?).
У с л о в и я (RR):
J) Выполнены условия Ы 0), (Лс), Ш ).
2) Ф ункция Кх, 0 ) для п. в. [р] значений х дважды непр
рывно дифференцируема по 0. Ф ункция \l" { x ,'t) \ мажорируется
функцией 1{х), не зависящей or t : 1I" {х, t ) \ C l { x ) i для которой
интеграл ^
М tl (х^ == f / (х) ft {х) р {dx)
■сходится равномерно по f e 0 *).
Под равномерной сходимостью интеграла мы понимаем схо­
димость **)
snp \ I (х) / е (х) р {dx) 0
.u х : | l (x) |>Л'

при N -*■
13 дальнейшем нам понадобятся следующие два свойства, вы­
текающие нз {RR):
1) Законность двойного дифференцирования по параметру по
знаком интеграла в равенстве
J /о(я)р(«&г) = 1,
означающая справедливость соотношений
j /о (я) Р {dx) = 0, j /о {х) р {dx) = 0. (1)

*) Все последующее изложение полностью сохранится, еслн условие

о существовании мажоранты ослабить следующим образом: область 0 мо­
жет быть покрыта конечным числом областей 0 |, . . 0 Я так, что при
O e 0 j функция \1" (х. 0) | мажорируется функцией l(j) (х) , не зависящей
от t: | 1"{х, 0) j < l(j) (х ), для которой интеграл

^ V (j) (x i) =J hi) W h W P
сходится равномерно n a 0 E 0 j , / = 1, . .. , s.
**) Такое понимание равномерной сходимости находится в согласпп с
равномерной сходимостью, использовавшейся в теореме 1.5.4 — там-оно от­
носилось к функции 1(х) == х. В то же время это не есть равномерная схо­
димость J ф (х , 0) u (dx) при ф(’ж, 0) = l(x) fe(x), когда предполагается, что
при .V ->- оо
214 ТЕОРИ Я ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

2 ) Равномерная сходимость интеграла

/ (0) = J {V {х, 0))2/ е {х) р, {dx).
(Это свойство вытекает из (/?) и понадобится в § 29.)
Чтобы разгрузить основное изложение, доказательство этих
следствий условий (R R ) отнесено в Приложение VI. Упростить
изложение можпо и другим путем: ввести названные два свой­
ства в условия (RR), пренебрегая тем фактом, что в таком виде
они будут «избыточными».
Так как

г'Р,б) = 4 ттг> г(*,0) = /e(x)

/()W ’ ’ /е ( Ч \ /о H J ’
то соотношение ( 1) можно записать в виде
MeZ'(x 1, 0) = O, MeZ" (хх, 0) = — Ме {V (x1} 0))2 — — / (0). (2 )
Первым из этих равенств мы уже пользовались.
Отметим еще одно следствие условий (RR). Условия (R R У
значительно сильнее условий, которые мы использовали в §§ 21,
2.3, и, следовательно, имеют место все утверждения теорем § 23
об оценках для распределения sup Z { v / Y ^ n ) и о состоятелъ-
\v\>u
ности о. м. п.
Л е м м а 1. Если выполнены условия (RR), то имеет место
непрерывность I" {х, 0 ) «в среднем» в следующем смысле:
Мо«д (хх) = j сод {х) /о {х) р {dx) 0 (3)

при А ->■ 0, где сод (.г) — модуль непрерывности функции I" (х, 0 ):
®д {х) — sup I Г (х , 0 -{- гг) — Г {х, 0) 1. (4)
Оее.о+иее
|и|«Д
Д о к а з а т е л ь с т в о . В силу теоремы о мажорируемой схо­
димости соотношение (3) будет следствием обычной непрерывно­
сти, так как в этом случае сод (#)->• О для п. в. [р] значений х
при А 0 и, кроме того, }сод (ж) [ ^ 21 {х). <]
Обозначим
T n(A , 6) = sup
|г|<д! nv
Л е м м а 2. Пусть выполнены условия {RR), б(!> 0 , п —
= 1, 2 , . . . , есть любая последовательность, сходящаяся к нулю.
Тогда для любого 0 ^ 0 « для X Ре
Уп (6п, 0) °» V» ( б п , Г ) °*

В этих соотношениях / ( 0) можно заменить на / ( 0*) и наоборот.

§ 24] АСИМПТОТИЧЕСКИЕ СВОЙСТВА ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 215

Д о к а з а т е л ь с т в о . Докажем сначала первое утверждение.

Так как MHZ" (х1} 6) ~ — 7 (0), L" (X, —* I (0), то нам
достаточно убедиться, что ^Дбп) -*■ 0 , где
т „ ( Д ) = 8 и р ^ ( х . е + ч - ь ' . о ь е ) _ у (*■?)!
Iгх'|<Л nv П 1

Но
Tn (6n) < sup ~ 1L" (X, 0 + v) — L" (X, 0) К
I V|< 6П п
П
< 1Г 2 °>6п (Х г) = (*),
г=1

где сод (.г) озпачает модуль непрерывности I" (х, 0 ), определен­

ный в (4). Очевидно, что для любого фиксированного А > 0 при
достаточно больших п
(^ ) ^ Юд (Х )-
Кроме того, по усиленному закону больших чисел
>
“ Д (Х ) п.п." > М о С О д (X l) “ с0д*
В силу леммы 1 озд ->■ 0 при А ->■ 0. Отсюда следует, что
S ^ (X )-^ 0 . (5)
п.н.

Первое утверждение доказано. Из (5) и определения п. п.

сходимости следует, что наряду с (5)
шбп+чп (Х ) — ^0
П .Н .

для любой последовательности случайных величин т|п — 0. Нам

п.н.
■остается заметить, что

sup
v ( х , е* +- v) и (х , е*) v ( х , е)
^ собте+|е*-е| (Х)> &
|с| <бп

и воспользоваться следствием 23.1. Возможность замены 7(0)

на 7(0*) также вытекает из следствия 23.1 (и непрерывности
7(0 )). <3
Мы можем теперь сформулировать основные утверждения об
асимптотическом поведении отношения правдоподобия Z(t). Обоз­
начим
YU ) = In Z{n/iTt) = U X , 0 + и/Уп) - U X , 0 )
н условимся обозначать через еДХ, 0) (иногда с дополнитель-
216 ТЕОРИ Я ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

лыми индексами) различные последовательности случайных ве­

личин, п. и. сходящиеся к пулю относительно Р е.
Т е о р е м а 1. Пусть выполнены условия (R R ), б„ > 0 есть
произвольная последовательность, сходящаяся к нулю. Тогда при
Itt/Vttl < б™

Y (и) = uln — ~ I (0) (1 + еп (X , 0, гг)), (7 )

где
| е„ (X, 0, и) | < е„(Х , 0) — > 0,
и.н.
= £ ' (X, в ) / У п<=> Ф„. /(в)-
Точка и* — (0* —0)Угг, в которой У(гг) достигает максимального
значения, обладает свойством

и* = 7 W е” (Х >0^ ’ <8)

2 Y (гг*) = 2 In Z (0* — 0)
/ ( 6) (1 + £п (X, 0))
н, (9)
Наряду с (7) справедливо представление

У (и) = У (и*) - / (0) (1 + е„ (X, 0, »)), (10)

1en(X, 0, гг) |< е,г(X, 0).
Во всех приведенных утверждениях /(0) молено заменить на
/ ( 0*).
В этой теореме, как н в лемме 2, предполагается, .что 0 4-
+ г г Уи^0. Это соотношенце будет автоматически выполнено при
достаточно больших п , если 0 — внутренняя точка 0 .
З а м е ч а н и е 1. Важно отметить, что в (7) случайные ве­
личины и е Г1( Х , 0) от и не зависят. Поэтому первое утвержде­
ние теоремы можпо записать в виде

Y (и) — и%п т j f (0)

sup о.
|иИб,г1 п
Если 6„ таково, что

< оо, (И)

то из теоремы 23.2 следует, что в дополнительной области !ггI >
> б „У/г
§ 24] АСИМПТОТИЧЕСКИЕ СВОЙСТВА ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 217

Д о к а з а т е л ь с т в о т е о р е м ы 1. Из леммы 2 при Ы ^
^ 6„ получаем
L '(X , Q+ v ) = L ' ( X , в ) - п и ! ( в ) ( 1 + е»(Х, 6 , i>)),
1е,ДХ, 0, н)| < e„(X, 0 ).
Интегрируя ото равенство no v в пределах от 0 до и/Тп,
находим

L (X , 0 + и/ / й ) - К (X, 0) = u L ’(X,Q)/ У п - ^ Щ ( 1 + Еп( Х , в , и ) ) у

| е Л( Х , М ) | < М Х . & ) . (12)

Это есть, очевидно, разложение в ряд Тейлора, в котором
L " (X, д)/п заменено на /(0), а остаточный член допускает равно­
мерную оценку. Так как

• ^ у ^ ' < * - б > = ^ 1 ; , ' < х ь 0)

есть сумма независимых одипаково распределенных случайных
, величин со средним 0 и дисперсией / ( 0 ) (см. (2 )), то по централь­
ной предельной теореме £ (= > Ф 0,/(0)- Представление (7) доказа­
но. Чтобы доказать ( 8 ), вернемся к лемме 2. Она означает, что
существует множество А , Р 0.(Л) = 1, такое, что для X» ^ А ,
П ->- оо
sup Е Я ^ + Д ^ И Д ) + / ( о ) | ^ о . (13)
Н <бп
Кроме того, в силу следствия 23.1 существуют последователь­
ность ил оо, цп/Уп = ^ п -^ 0 (ип должна удовлетворять (23.9))
н множество В , Р в(В) — 1, такие что для Х х <= В, п ->■ оо
v* — (Q* _ 0 ) _ 0{уп). (14)
Так как последовательность 6„ -►0 в (13) произвольна, то при
X ^ ^ A P i B , PeOl ПВ) = 1, в силу (14) сооотиошеине (13) будет
верным в точке v = v*. Вспоминая, что Z/(X, 0 + v*) = L ' i X , 0*) =
= 0, получим для Хоо ^ А ПВ
ТУ ( X , G)
/ ( 6) ■0 .
п (0 * — 0)

Это означает, что —7(0)и* = н*е„(Х, 0 ), и доказывает ( 8 ).

Пользуясь теми же аргументами, можно подставить и — и* ==
= п* Y п = (0* — 0) V п = Y J(W
6) ^ Еп ®))-в (12). Это дает
IЬ?2:
L (X, 0*) - L (X, 0) = -2 L - (1 + еи (X, 0))
218 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ . [ГЛ. 2

и доказывает первую часть соотношения (9). Сходимость £п/7(0)

к распределению %z с одной степенью свободы следует из теорем
непрерывности, так как Фол-
Соотношение (10) доказывается совершенно аналогично (7),
если воспользоваться вторым утверждением леммы 2 и найти
на его основе представление для L(X, G + иУп) — L(X, 0*). О
З а м е ч а н и е 2. На языке распределений первое утверждение теоре­
мы 1 можно сформулировать следующим образом:
l > ) e » ® _ u, I(ev, . u W (15)

Мы отмечали выше, что второе условие (RR) (о существовании 1"{х, 0))

пе всегда существенно для доказываемых утверждений. В несущественно­
сти этого условия для сходимости (15) можно убедиться путем следующих
рассуждений. Величина

r M = i ( K , e + ^ - ) - i (х. е> = 2 [г ( м . е + w ) “ ' е)]

i= l
есть сумма независимых одинаково распределенных величин. Поэтому по
центральной предельной теореме для схемы серий (слагаемые зависят от
п, проверку условий Липдеберга мы опускаем)
Y (н) €==> Ф _ ,
a ( u ) ,o 2(w)
где
a (и) = l i m /гМр 17 ( х , 0 -}- и!~[/и ) — I (х , 0)1 =
71- » оо 7 \ 1 / J

^Q+ u /V n 2 !- p i ( P e + A ’ p o) 2
= lira п М р I n Т~Гх~\ =f u llm - - - - - - = — u I (6 ) / 2
П-* oo ■'0 V 1 / Д-*0 Д
(см. теорему 21.2 и замечание 21.1). Далее
о2 ( ц ) = Jim пМд |7 (xj» 0 + n/~l/ и ) — г (х 1, 0 ) ] 2 =

■ , J Пт J ~ ! if - g J / , И „ № ) =

= j (!'(*,в))'2/„(I)ц(dx)=и21(0).
Если бы мы_при вычислении а (и) и а2(и) воспользовались разложени­
ем 1(х, 0 + и/рга) в ряд с двумя производными, то получили бы тот же ре­
зультат. Однако мы убедились, что это делать не обязательно.

В заключение этого параграфа получим из теоремы 1 еще

одно полезное следствие, которое потребуется в дальнейшем и
которое касается поведепия интегралов от отношения правдо­
подобия.
Т е о р е м а 2. Пусть выполнены условия ШЮ, функция w(t)
удовлетворяет условию
I. . . „ <*1М
2 /л?
■§ 24] АСИМПТОТИЧЕСКИЕ СВОЙСТВА ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 219

(g > 0 определено в § 21), а функция q{t) непрерывна в точке

£ = 0 и ограничена. Пусть, кроме того, П — любая мера на Ш, 39)
такая, что J *П {du) < оо. Тогда если 0 — внутренняя точ­
ка 0 и Х ^ = Р е , то
J == j* w (и* — и) q (0 + и / V /г) Z { и / Y п ) П {du) =
v, [Г _ 1 (и_и*)22(6) 1
- eY(u*V (0) J ш (гг* - и) е 2 П (du) + en (X, 0)J. (16)

В частности, если П есть мера Лебега, П(гйг) = du, го

J = У т И Г / ( “*>г (0) (Мш (,1) + еп {Х' е))’

где е„ (X, 0) — >- 0 , ц Ф j - i (0).
п .н. ’
Утверждение (16) весьма естественно, так как мпожитель
<Д0 + гг/Угг) «почти постоянен», а функция Z(u/Yn) — eY{u) сбли­
жается, с точностью до постоянного множителя, по теореме 1
о плотностью нормального распределения.
Д о к а з а т е л ь с т в о . Чтобы упростить запись, ограничимся
рассмотрением случая, когда П есть мера Лебега. Переход к об­
щему случаю никаких затруднений не вызывает.
Оценим сначала часть интеграла (16) по области | н | > г .
Мы обозначим ее через Д г). Так как /е ( Х ) // ^ (X) < 11, то, по­
лагая для краткости Z = Z {и*/ ]//г ) = eYiu* \ £ = 0 + и / ]Л/г, по­
лучим

v -iv / и ) ^ V /4^ y 3 /4 /' и \

г Z\ W ) < [ W r

Поэтому в силу неравенства Коши — Буняковского, теоремы 23.1

и следствия 23.1

Мок? {и* — и) Z~XZ { й / V п )

< [M tw2( / й ( 0* - £)) MeZ1/2{ u / V n ) ] lf2^ c e - u28/\

Т ак как max qit) < то отсюда и из леммы 23.1 находим

М02 " 1/ ( г ) < « Г *г*/4

Пользуясь неравенством Чебышева, получим оцепки того же по­

рядка и для P e( Z - 7 ( r ) > 6 ) . Поэтому, если г = гп ->• оо так, что
220 ' ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ (ГЛ. 2

то при у ^ г г
Z ~ XJ ( у ) - - + 0. ( 18)
Тг . н . —

Выберем гп = о(Уп) и рассмотрим оставшуюся часть интеграла

Viy) = J — J(y) при у = 2гп. По теореме 1
Z~XV (2г) = Z"1 J q (0 + и/ У п ) w {и* — u ) Z ( u j У н ) du =
М <'2.1’п

— J (?(6)+ И) ш(w*—х
Н <2rn

X е х р |— у (и — п *)2 / (6) (1 + е„ (X , 0, ы))} £?ат

где 1е „ Ы 1< е„ -> 0 , 1еп(Х, 0, ц ) | < е „ ( Х , 0)— -^0 при я о о .

Поэтому в силу С18) для доказательства теоремы'нам достаточно
убедиться в близости интегралов

J w {и* — и) ехр | — у {и — и*)2 1 (0) (1 + е„ (X , 0, p))|rfw,

|w|<2}-„

| / " М г р (rj) = J w (и* — и) ехр | ---- ^-(и — и*)21 (0) | du.

В силу (17) и следствия 23.1существует множество А, Р 0( Л) = 1т
такое, что | н * | ^ г „ для при всех достаточно больших
п = п{Хо*). Так как \и — и*\2> ir/2 при | « | > 2 г 11у
|н*| < гп, то па множестве А (см. лемму 23.1)

j* w (и* — и) ехр | — ^ - (и — н *)2/ (0)J du <С се gTn -*■ 0 .

lul>2rn
Поэтому нам остается оцепить

J w(u* — u) е х р |— у ( п — ц * )* /( 0)(1 + е,, (X, 0 , u))J —

\ и\ <2>п
2 > 'п

— ехр | ---- (и —и*)21 (0)j du ^ J w (v) ехр j ---- ^ и21 (0) X

Х(1 + Еп{Х, 0, V + It*))] — ехр j — у иЧ (0) j dv.

Но этот интеграл сходится на множестве А В к нулю, где В =

= £„(Х, 0 ) -*■ 0), Po(jS) = 1. Это следует из сходимости к
нулю при каждом v подынтегральной функции и того, что она
мажорируется интегрируемой фупкцисп. <1
§ 25] СВОЙСТВА ОЦЕНОК МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ 221

§ 25. Свойства оценок максимального правдоподобия.

Асимптотическая нормальность.
Асимптотическая оптимальность

Пусть Х ^ Р е и 0* есть о. м. п. Результаты предыдущих

двух параграфов позволяют полностью описать асимптотические
свойства 0 *, когда объем п выборки неограниченно возрастает..
Наряду с этим мы установим в этом параграфе одип из централь­
ных результатов этой главы, состоящий в том, что о. м. п. при
выполнении условий {RR) обладает всеми возможными свойства­
ми асимптотической оптимальности, которые мы рассматривали
выше, т. е. является а. э., асимптотически байесовской (для лю­
бого априорного распределения, имеющего плотность) и асимпто­
тически минимаксной оценкой одновременно.
В этом параграфе мы везде будем предполагать, не оговаривая
это дополнительно, что выполнены условия (RR).
1. Асимптотическая нормальность о. м. п.
Т е о р е м а 1. О. м. п. 0* является асимптотически нормаль-
ной оценкой, при этом сходимость
и* = ( 0*— 6) / Й ^ » Ф 0 ,_ 1(6) ( 1)

имеет место вместе с моментами любого порядка, т. ' е. вместе

с ( 1) при любом к > 0 выполняется
Ме(и*)'!- ^ М ч \ .1<=Фм - 1(6). ( 2)

Более того, для любой непрерывной функции w{t) такой, что

| w (t) | <Сegt ' 6 (см. (23.4)),
Меи>(и*)->Мш(г|), Л ^ Ф Ю)1-1(<?)- (3)
Доказательство. В теореме 24.1 было установлено, что

и*= ( 6* - 0) у"» = - щ - (1 + е„ в)),

где е„ (X, 6) — >- О, I,) = 2/ (X, 0)/ ] / п Фо.де). Это доказыва-

П.Н.
ет (1). Соотношения (2), (3) получаются из (1) п теоремы непре­
рывности для моментов (см. § 1.5), так как в сплу следствия 23.2

Мо^ '5° Me e x p |- ^ - ~ J < с С оо. <

З а м е ч а н и е 1. Из (1), (2) вытекает, что 0* принадлежит

классу оценок Хф>2, в котором сходимость (б * —0)
имеет место вместе со сходимостью М е( 0* — 0)2-*-сг2(0) двух
первых моментов. Как уже отмечалось в § 8 , в этом классе
222 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

асимптотический подход к сравнению оценок совпадает но суще­

ству со среднеквадратическим.
З а м е ч а н и е 2. Соотношение (4) позволяет также точно
описать «максимальные уклонения» (0 * — 0 ) У/г при п И м е п -
но, известно (см. [43J, [79]), что нормированные суммы не­
зависимых одинаково распределенных величин с пулевым сред­
ним и дисперсией /(в ) удовлетворяют закону повторного лога­
рифма, в силу которого

Т ак как в (4) lim snp en (X, 0) = 0 п. н., то мы получаем, что

Установим теперь в качество следствий теоремы 2 некоторый

свойства о. м. п., связанные с асимптотической оптимальностью.
2. Асимптотическая эффективность. В § 16 мы ввели в рас­
смотрение класс К 0 асимптотически несмещенных оценок, т. о.
оценок 0 *, смещение которых 6 ( 0) = Ми0* — 0 обладает свой­
ствами

6 ( 0) = о ( 1/ У/г), 640) = о ( 1). (5)

В § 20 были приведены соображения, по которым в поисках

асимптотически эффективных «в целом» оценок можно ограни­
читься классом К 0-
Мы устаповнм теперь следующий факт.
С л е д с т в и е 1. 0* ^ К 0.
Д о к а з а т е л ь с т в о . Первое нз соотношений (5) вытекает
из (2) при k = 1. Чтобы доказать второе, заметим, что (см. § 16)
1 + 6' (0) = М0 §*L' (X, 0) - Me (0* - 0) U (X, 0) =

= М „ (( 6 * - о) V п |„ ) = М о т ^ - (1 + е„(Х , 0)),
Еп (X, 0) ■ > 0.

Если здесь верпа теорема непрерывности для момептов, то мы

получим отсюда требуемое соотношение 1 + £/( 0)-*“ 1 или, что
то же, £/(0) ->■ 0. Чтобы установить справедливость этой теоремы
в нашем случае, достаточно убедиться (см. § 1.5), что
м е 1( 0* — е) V n ^ Г ? < с < о о , (С)
§ 25] СВОЙСТВА ОЦЕНОК МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ 223

где с от п не зависит. Воспользуемся неравенством Гельдера

м | й Г < ( м 1 1 Г ) 17” (м|Т1 г ) 1/5. р > 0 , 9> о , у + |= 1 .

при г — 3/2, р = 4, q = 4/3. Мы получим тогда для левой части
.( 6 ) оценку (Me [( 0* — 0 ) п]6)1' 4(М£?г)'{/4, которая в силу (2 )
дает нам требуемое неравенство. <1
Следующее следствие ввиду его важности мы сформулируем
в виде теоремы.
Т е о р е м а 2. О. м. п. 0 * является a .R -э. оценкой. Кроме
того, 0* является а. э. в К а.
Д о к а з а т е л ь с т в о . Тот факт, что 0* есть а .R -э. оценка*
следует непосредственно из определения 16.1 и того, что

Асимптотическая эффективность в К 0 следует из теоремы 16.3. <1

Теорема 2 вместе с замечаниями к теореме 16.3 означает*
что при выполнении условий {RR) любая а. э. оценка в К 0 будет
a. R-э. оценкой.
Отметим, что сужение множества рассматриваемых оценок
до R q— далеко не единственное сужение, при котором 0* стано­
вится а. э.
Укажем другое сужение, связанное на этот раз со свойством
0 быть асимптотической медианой распределения а. п. оценок,
т. е. со свойством
Р е(0* > 0) 1/2 (7>
при
Обозначим через R° класс оценок 0 *, для которых (7) выпол­
няется равномерно но 0. Класс R° можно было бы назвать клас­
сом асимптотически центральных оценок.
Т е о р е м а 3. О. м. п. 0* ^ К° и является а. э. оценкой
е классе R°.
Доказательство этой теоремы мы отложим до § 3.3.
3. Асимптотическая байесовоеть о. м. п. В этом разделе всю
ду, где будет предполагаться существование плотцости q(t) апри­
орною распределения Q относительно меры Лебега на 0 , будем
предполагать также, пе оговаривая это особо, что плотпость ин­
тегрируема по Римапу, так что будут удовлетворяться условия
теоремы 20.5.
Т е о р е м а 4. О. м. п. 0* является асимптотически R -бай­
есовской оценкой. Если Q есть произвольное априорное распре­
деление, имеющее плотность q{t) относительно меры Лебега, то
0 * является тако/се и асимптотически байесовской оценкой, соот­
ветствующей распределению Q.
224 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Д о к а з а т е л ь с т в о . Асимптотическая Л-байесовость о. м. п.
следует из соотношений
Jim М [ ]Лг ( 6* — ®)] = lim ММе [ y S i( 0* — 0)]2 ==
п - + оо - п —* оо

= М 7И т М ё [ / п ( в * - е ) ] 2 = М / _ 1(0) = / -
1 - * ОО

Предельный переход под знаком математического ожидаппя здесь

законен по теореме о мажорируемой сходимости, так как в силу
следствия 23.2 значение Me [ | / тг(б* — е)]г равномерно ограниче­
но постоянной, не зависящей от п н 0.
Асимптотическая байесовость вытекает йз следствия 20.1. <3
Из замечаний к следствию 20.1 и теоремы 4 следует, что лю­
бая асимптотически байесовская оценка является асимптотически
Л-байесовской.
Утверждение теоремы 4 можно усилить. Оказывается, что
о. м. п. и байесовская оценка для любой априорной плотности q '
«почти» совпадают.
Т е о р е м а 5.
M n ( e * - e J ) 2- > o , ( e j - е*) / й - * о ,
Р

где 0q есть байесовская оценка, соответствующая распределению'

Q, сходимость по вероятности понимается относительно совмест­
ного распределения X и 0 на X 0.
Теорема 5 пемедлеппо вытекает нз следствия 20.2. Ее утвер­
ждение эквивалентно тому, что для почти всех t
M , n ( 9 * - e 3 ) 2^ o .
Возможно дальнейшее усиление сформулированного утвер­
ждения.
Т е о р е м а 6 . Пусть 0 — произвольная внутренняя точка 0,
Х ^ Р е . Пусть, далее, q{t) — произвольная непрерывная и поло­
жительная внутри © плотность априорного распределения. Тогда

п.н.
Доказательство следует из теоремы 2 предыдущего па-
- , * л \ (t - 6*) q (t) f t (X) dt
раграфа. Д ействтельно, ©о— 0* = : ?---------------------- . Делая
J ,(<)/, m d t -
замену переменных i = 0 f и/ i n и деля числитель и знаменатель
в этом выражении на /е(Х), получим
Г (в — и*) q (б и /~ \/п ) Z (и !~ \/ /г) ви
0j _ 0 * = А ------- .
У /г J q (0 -(- в / У и) Z ( и / У п) du
§ 26] ПРИБЛИЖЕННОЕ ВЫЧИСЛЕНИЕ О. М. Н. 225

Надо воспользоваться теперь теоремой 24.2 при wit) = t и wit) = I.

Так как в первом случае Мн> (т]) = Мт) = 0 , то мы получаем
6q — 0* = еп {Х, В )/У п , Еп {X, 0 )— >-0. <]
п.н,
4. Асимптотическая минимаксность о. м. п.
Т е о р е м а 7. О. м. п. является асимптотически минимаксной
оценкой.
Эта теорема выводится непосредственно из следствия 20.3
и следующего утверждения.
Л е м м а 1.
lim sup Merc (0* — О)2 = sup / -1 (0),
п-»оо оег е=г
где Г — любой отрезок, лежащий внутри 0 .
Лемма 1 вытекает из равномерной по 0 сходимости (2). Рав­
номерность будет доказана в § 29 (см. п. 29.3).

§ 26*. Приближенное вычисление оценок

максимального правдоподобия
Мы видели, что в задачах оценивапия параметров наибольший
интерес представляют эффективные и а. э. оценки и, в частно­
сти, о. м. п. Возникает вопрос о практическом отыскании таких
оценок. Отыскание точного значения о. м. п. 0 * в реальных за­
дачах может представлять значительные трудности. Особенно это
относится к распределениям, не имеющим сравнительно простых
достаточных статистик.
С другой стороны, отыекание какой-нибудь а. н. оценки 0*
обычно трудностей не вызывает.
Мы приведем здесь способ построения оцепки ©i, асимптоти­
чески эквивалентной о. м. п. 0 * (и, стало быть, а. э.), который
основан на' методе Ньютона приближенных вычислений и на ис­
пользовании а. н. оценки" 0*. Положим
Uit) = t - L ' i X , t ) - i L " i X , t)) ~ \ t^ S ,
Uiit) = t + L 'iX , t) • i n l i t ) ) - 1, ie0.
Т е о р е м а 1. Пусть выполнены условия 4 R R ), X Ро и
0 * — любая а. н. оценка:
(0* - в ) п^i0„w
У

Тогда оценкаО* = U (0*) {или 0* — U x (0*)), будет асимптотически

эквивалентной 0 *, т. е.
( 0* _ Г ) У п -^ г - у О.

45 а . А. Боровков
226 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ 2

Доказательство теоремы будет опираться на следующую лемму.

Л е м м а 1. Пусть выполнены условия (/?/?), X (== Ру, бп > О
есть произвольная последовательность, сходящаяся к нулю. Т о г-/
да, если 0И таково, что | 0„ — GI ^ 6П, то
6/(0J - 0* = (0Я в*)е«(0„, 0, X),
где еп = max | е« (0„, 0 , X) I 0.
еп:|еп-о|<бп »
То же самое утверждение будет справедливо, если вместо U
использовать функцию 6/ 4.
Другими словами, если пользоваться методом последователь­
ных приближений ■к 0* и положить 0^ — 0ЭТ>0* = 6/ ( 0q) (или
0 * = 6/ х( 0о)), то 6* — 0* = о (00 — 0*), так что приближение ©Г
существенно лучше, чем 0О.
Д о к а з а т е л ь с т в о . Из рассмотрений § 24 и непрерывности
L " вытекает (см., например, лемму 24.1), что

и (х , е„) = (е„ - е*) и(х, е),L"е) = «(/ (в) + е'п(е„, в,

где 0 е [ 0П, 0*], шах еп (0„, 0 , X) —>-0 при любой после-
дователыюсти б„_->■ 0. Далее,
/-"О,0„)=И(/(())+£«),
( / ( 0) -f- Ert)0 (0) -Ь £n) — 14* Еп»
где en, e,i обладают тем же свойством, что и еп. Следовательно,
С/С0 J - 0* = 0„ - 0* - L '(X , 0n)(L " (X, 0 J )-1-
— 0П— 0 * —>С0„ — 0*)(1 + е„) == С0П— 0*)е„;
Доказательство для функции С/, проводится точно так же. <1
Д о к а з а т е л ь с т в о т е о р е м ы 1. Выберем какое-нибудь
6П 0 такое, что б и представим ( 0* — 0*) Y п в виде
(6/(0*) - 0*)У/7= Ги(0* - 0*)е„(0*, 0, Х)1 (,е*-еквп) + г„
где г» Ф 0 лишь на множестве В» — {X: 10* — 0 | > б п}, и в силу
леммы 1
Еп = m ax Еп (t , 0, X ) 0.
Н -екб„

Так как, кроме того, Р еШ71) -»- 0, то отсюда следует, что

 ПРИБЛИЖЕННОЕ ВЫЧИСЛЕНИЕ О. М. П. 227

Теорема 1 показывает, что метод последовательных прибли­

жений, отправляясь от любой а. п. оценки, за 1 шаг приводит
нас в точку 0 * с точностью до значений o(l/Vrc).
Если' потребовать существования непрерывных третьих производных
1"'{х, 0), то можно начинать п с более далеких точек, удаленных от 0, ска­
жем, на величину о(п ~ 1/4). В этом случае за 1 шаг мы, как и в условиях
теоремы 1, окажемся в о(1/Уп)-окрестности точки 0*. Действительно,

V (X, t) = (f — 0*) L" (X, 0*) -I- -{-.:Г-е *)Г L m (X, 0') =

^ 3
= (t — 0*) L" (X , t) + - j (f — 0* f L m (X, 0"),

где O', 0" заключены в пределах между t и 0*. Поэтому

V (в„) - - 0 * = е„ - 0* — 'L(X , е„) (L" (X , 0 „ ) ) - ‘ =

= т ( 8 п - в * ) 2(п е )+ е „ ), y j ( ( 7 ( e n) - > ) - p j - о,
I
если ] 0,г 0 | = о ( п ~ 1/4) . <\

П р и м е р 1. Классификация частиц. Рассмотрим источник,

который излучает частицы двух типов: с вероятностью р — ча­
стицы типа А и с вероятностью 1 —р — частицы типа В. Энергия
частиц случайна и имеет плотность /Д.т) для частиц типа А
и f2(x) для частиц типа В. Функции ф{х) известны. Зарегистри­
ровано п частиц с энергиями X t , . . . , х„. Чему равпа вероят­
ность р? Функция правдоподобия здесь равна

fv (Х ) = П (p f i
г= 1
(x i) + (1 — р) /г (Х г)),

так что

T.,v V МЧ)~МЧ) m
Й р/» (ч ) + ( t - .Р ) /,(* ,) • (>

Мы видим, что отыскание о. м. п. р* приводит к уравнению

L ' — 0 степени п — 1 относительно р, решать которое при боль­
ших п весьма сложно. Воспользуемся теоремой 1. Для этого
нам нужна какая-нибудь а. п. оцепка р*. Предположим, что
X
J ( ^ i — F 2)2dx<z оо, где F i ( x ) ~ j f\{t)d t, и рассмотрим еле-
— оо

дующий естествеппый подход. Определим р* как значение, мини­

мизирующее

j (/'в И — F (x))2dx, F (ж) = p F x (х) -|- (1 — р) Fz (х). (2)

15*
 228 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. Z

Приравнивая нулю производную от (2), получим — F) х

X ( /'\ — dx = О,

. р* —

fc T -V *
Нетрудно видеть, что Мр* ~ р и что

(р* — р) V П = J ' " ' ------ ^ ----- -— . (3)

Из результатов §§ 1.6—1.8 следует, что р* есть а. н. оцепка,

а предельное распределение (3) совпадает с распределением
j (F (х)) - /'2) dx

Следовательно, в силу теоремы 1 оценка

Р* — Р* — L ’ ( X , p * ) ( L " ( X , p * ) ) - \
где L ' определено в ( 1 ),

ь '= - 2 ( М х* ) - М * 0)2
(Pf 1 (х{) + ( 1 - д ) /2 (X,))5

будет асимптотически эквивалентной о. м. п. р*. Коэффициент

4с *л
рассеивания р\ будет определяться информацией

д а - Г (м * > -м * » г dx
' J p/t (*) + (1 — р) / 2 (*)
и будет меньше, чем коэффициент рассеивания р*.
П р и м е р 2. Мы предлагаем читателю аналогичным образом
найти приближение для о. м. п. параметра а распределения Коши
, К д , 1 С ПЛОТНОСТЬЮ

^а,1 ix) ~ л Т~. ~ 757•

(1 -J- (ж —а) )
В качестве «предварительной» а. п. оценки можно взять выбороч­
ную медиапу £,* (см. § 2 или §§ 1.3, 1.8. Оценку а * = х здесь
брать нельзя,так как Маоь* не существует). Оценка
«1 = £* — L' (X, £*) { Ь " ( Х Л * ) Г \

2 1 + (xi — «)
х- — a
-— j
■Vi 1 — (х- — a'i2
- Ь '(Х ,а ) = 2 2 т гГ Г - J -i»
+ (x i—a ) j
§ 261 ПРИБЛИЖЕННОЕ ВЫЧИСЛЕНИЕ О. М. П. 229

будет асимптотически эквивалентной о. м. п. а*. Так как

(*))s
—.. /?г ------ -
(l + *2)3 2’

то коэффициенты рассеивания £;* и будут равны соответ­

ственно (см. § 2 )

2ка 1 (а)
7 - w2 ( a ) = / 2 , / 2.

П р и м е р 3. Каждый человек имеет кровь, принадлежащую

к одной из четырех групп, которые мы обозначим 0 (ноль), А,
В, АВ. Наследование групп крови управляется тремя генами:
А, В, 0, при этом геи 0 «подавляется» генами А и В. Поэтому,
если р, q и г = 1 —р — q обозначают вероятности появления генов
А, В и 0, то вероятности появления групп крови будут равны
следующим величинам:
Таблица 1

i (номер Комбинации, дающие эту

группы) Группа группу Вероятности

1 0 00 г2
2 А АА, АО рг + рг
2
3 В ВВ, ВО д2 + 2дг
4 АВ АВ 2РЧ .

Пусть v„ v2, vs, v 4 — частоты появления соответствующих

групп крови в обследуемой популяции общей численностью п
человек. Как найти о. м. п. для р и ql В нашем случае вероят­
ности р,-(0 ), 0 = (р, q), появления г-й группы крови и их частные
производные по р и q представлены в табл. 2.
Таблица 2
г

1 2 . 3 4

P i(e ) г2 р(р + 2 /) 9(9 + 2т) 2pq

— 2r 2г - 2 9 29
dp -
dPi(®) — 2r - 2 р 2г 2р
dq
230 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Поэтому для логарифмической функции правдоподобия

4
L (X, 0) = 2 Vi In (0) получим
i—1
dL_^ V Vj dPj 2-Vl ■ 2 r v 2__________ 2 v 3 , V4
^ dp r p (p + 2 r) j + 2r t p ’
(4)
V Vj dPj 24 2v2 2™3
^ Pi dq r p + 2 r ~T~ q (q -f- 2 r ) g *

Приравнивая к нулю эти производные, мы придем к системе из

двух уравнений для 0* четвертого порядка. Решение такой си­
стемы связано с техническими трудностями. Поэтому проще
воспользоваться теоремой 1. Для этого заметим, что справедливы
равенства

Pi = r\ Pi + д 2= (д + г)2, P i + д 3 = (д + Г)2. (5)

Эффективные оцепки для д,- равны р* — v j n . Подставляя в (5) ,

эти оценки и решая полученные уравнения, мы получим

р* = V p i + Р 2 — У р *з 2* = V p * + p* — V p *'

Так как p* есть а. н. оцепка д, (т. е.(дГ — pi) V n €=> Ф 0,Р4(1-р ^ ),

то д*, q* в силу теорем § 1.5 также будут а. п. оценками
для д, q.
Чтобы воспользоваться теоремой 1, остается вычислить мат­
рицу (L" (X, 0*))~* или матрицу (тг/(0*))-1, 0* = (д*, q*).
Приведем пример реальной выборки X, полученной в резуль­
тате обследования п = 353 человека.
Распределение людей по группам крови приведено в табл. 3.

Таблица 3

0 А в АВ Всего

121 120 79 33 353

*
Pi 0,343 0,340 0,224 0,093 1

Из этой таблицы находим д* = 0,241, q* = 0,167, г* = 1 —р* —

— q* = 0,592. С помощью таблицы 2 для элементов матрицы /(0)
§ 27] СВОЙСТВА О. М. П. ПРИ ОТСУТСТВИИ РЕГУЛЯРНОСТИ 231

при 0 = 0 * получаем
t>Pi (В) У 1 4/
2( dp j Pi (в) >= 4 + Р (Р + 2г)
+ -gA+ L2r- + i р£ = 9,970,

у / dPj (0) V 4r
«AJ V dq ) 4 + -р 4-I- ^2 г + q ,{g +, 2r)
, . + —
g
= 13,761,
Pi (У)

9P l (B) др. (в) 4r

+ 2 = 2,585.
^ 0р dg p i (6) p + 2r 5 -j- 2r
Отсюда паходим 1/(0*) 1 = 130,512,
0,105 0,020
Г 1 (0*) = 0,020 0,076

Из формул для и (см. (4)) получаем

Z /( 0 *, X) = (25,443, 34,161), (6)

так что для второго приближения 0* имеем

0Г = е* + - L ' (0*, X) / _ 1(0*) = (0,246 , 0,173). (7)
Это дает нам в дополнение к табл. 3 оценки, приведенные в
табл. ЗА.
Таблица ЗА

0 А в АВ

Pi(6*) 0,351 0,343 0,226 0,080

0,337 0,347 0,231 0,085
Pi f i l)

Применение еще одной итерации вида (7) оценку 0* уже не

меняет (в рамках используемой нами точности), так как
U (б*, X ) = ( - 0,076, - 0,167)
(ср. с (6 )), так что третье приближение для 0* и все последую­
щие будут совпадать с бц ,
Ч^
§ 27*. Свойства оценок максимального правдоподобия
при отсутствии условий регулярности. Состоятельность
Этот параграф, как и § 22, стоит в стороне от основного кур­
са изложения и посвящен изучению нерегулярного случая. Мы
ограничимся здесь доказательством сильной состоятельности
232 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

о. м. п. при очепь слабых условиях на /Дж), ие предполагающих'

выполнения условий (RR) или (R). Более детальное изучение
свойств о. м. п. и отношения правдоподобия в нерегулярном слу­
чае см. в [31].
На протяжении всего параграфа будем предполагать, что вы­
полнены условия С4Д (Лс), {Ао), и обозначать расстояние Куль­
бака ■
— Лейблера рДРе, Р<) через

р (0, t) = j In -— j- ./в (X) [X{dx).

Мы знаем, что р(0, £) > 0 при t Ф 0, если выполнено условие Ы 0).

Очевидно, что условие С40) является необходимым для состоя­
тельности о. м. п., т. е. для сходимости 0* ->- 0. Если, например,
ре
р(0, t0) — 0 при to Ф 0, то точки 0 и t0 будут просто неразличимы;
распределения Ре и P to будут совпадать, и к чему бы не схо­
дилась о. м. п. 0 *, опа не может быть состоятельной, если X ( = P q
или Х(=ЕР
Следующий вариант _условия С40) можно назвать равномер­
ным (0 фиксировало):
С40) Д л я любого б = е(б) > О
inf р (0 , t) > . е
и и-едо
при некотором е > CL
Очевидно, что (А 0) будет следствием С40), (А с) и непрерыв­
ности ip(0, I). Стало быть, при этих условиях условие ОГ0) также
будет необходимым.
Рассмотрим теперь следующее усиление условия С40). Обо-
вначим *
f f ( x ) = sup f t+u{x).
|u|<£A
(Л 0) Д л я любого б > 0 существует Д = Л ( б ) > 0 такое, что
при всех t, — 01> 6 ,

С / Л (т)
J ln */е (*) Р (dx) < — в ( 1)

при некотором е > 0 .

Это условие оказывается достаточным для сильной состоя­
тельности о. м. п. Оно близко к условию (А 0) и в этом смысле
близко к необходимому. Одного условия (Л0) для состоятельно­
сти о. м. п. не достаточно (см. замечание 1).
Т е о р е м а 1. Если выполнено условие (^о)> то о. м. п. 0*
сильно состоятельна,
§ 27] СВОЙСТВА о. м . п . п р и отсутствии регу лярн о сти 233

Д о к а з а т е л ь с т в о . О. м. п. 0* есть точка t, в которой до­

стигается максимум функции ф (£, 0 , Р£), где

.'Ф (е, р)=J In -hу щ(*> Р (dx).

Так как ф (0 , 0*, Р * ) ^ ф ( 0 , 0, Р^) = О, то для доказательства
теоремы нам достаточно убедиться, что с Р е-вероятностыо 1

lim su p sup ”ф ( 0 , £, P n ) < — е

h -* c c > \ t— 8 1 ^ 6

при некотором e > 0. (Это избудет означать, что для п. в. Ре

начиная с некоторого п — n i X J i < оо выполняется 10* — 01 < б.)
Пусть б фиксировано и А удовлетворяет условию (1). Покроем
множество 0 \[0 — б, 0 + 6] отрезками ДА= {£: if —f j < Д}, к =
= 1, . . N < ooj где th е ©, f * ^ [ 0 —б, 0 + 61. Тогда по усилен­
ному закону больших чисел
sup ф (0 , f, Р*) max sup ф ( 0 , t , P^) ^
tt-e i^6 h *едл

1V t ?t(Xi) ■i i Uh (xi)
< m a x - 2 f « P 1п1 7 Я л - Г т ?хМе1п1 Л 7 Т < - Е-
З а м е ч а н и е 1. Как мы уже отмечали, одпого условия С40)
для состоятельности 0* недостаточно. Чтобы убедиться в этом,
рассмотрим следующий пример. Пусть О = [0, П, P fl = U 0> 1+0
при 0 ^ 0 = ^ 1/2 и при 0 = 1 . При 1 > 0 > 1/2 распределение Р 0
имеет плотность / е(#) = 1/0 при 1 — 0 < х < 1. Пусть теперь
X^==P0 = U0>1, Тогда условие С40) выполнено, так как р(0, I) —
= —оо при f ^ O . В то же время нетрудно видеть, что /ДХ) > I
при £ «в (1 — X(i), 1) и что 0* = 1 — Х (1) —>■1.
П.И*
Условия ( Д ,) можно эквивалентным образом представить в
О
несколько иной форме. Обозначим /* (а:) = lim s u p /u (a:).
■u-»f
^ Т е о р е м а 2. Условие (^ о ) эквивалентно одновременному
выполнению следующих двух условий
(Ло). Д л я всех f =И=0

1
(У). При всех £ и некотором А > 0
234 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Условие (Л , как, впрочем, и (-40)» (^о)» означает интегри­

руемость положительных частей подынтегральных функций. Та­
кие функции естественно называть интегрируемыми сверху.
Условие (Л в силу (А с) по существу эквивалентно ограни­
ченности сверху интеграла

j 1 1 1 И V^ < 00 ’ (2>
где / е (х) = sup f t {х).
ь=е
Д о к а з а т е л ь с т в о т е о р е м ы 2. Тот факт, что из ( ^ о )
следует К ) И (/), очевиден. Пусть теперь выполнены (^о )
и (/). Если допустить, что (^о ) пе имеет места, то найдутся после­
довательности tk ->■ t <= О, 0 , eft 0 такие, что

Г ftk
J In -j -{х) • /е (Л ц (dx) > — ek.

Здесь подынтегральная функция мажорируется в силу условия

(Л интегрируемой сверху функцией, поэтому в силу леммы Фату

Г ft h (*) Г /? (х)
П т siip J In • / 0 (x) ц (dx) < J In - j- щ / 0 (x) p (dx) < 0 ,

Мы получили противоречие, доказывающее теорему. <1

Приведем теперь более простые достаточные условия, обес­
печивающие выполнение (-Д0) и (Л и, стало быть, сильную со­
стоятельность о. м. п.
О п р е д е л е н и е 1. Будем говорить, что /Дх) принадлежит
классу Do, если для каждого I е 0 существует множество С t
Pe(Ci) = 1, на котором /Дх) непрерывна но t : ftk (x)~r f t ( x) при
tk t, х *= С (. •
Классу Do помимо непрерывных (по t) /Дх) па независящем
от I множестве С, V Q{C) = 1, принадлежат, конечно, и другие
функции, такие, например, для которых /Дх) в плоскости U, х)
имеет изолированные линии разрыва, не имеющие участков, па­
раллельных оси х. Так будет, в частности, если /Дх) как функция
от х имеет изолированные разрывы в точках х ^ \ х\2), кото­
рые непрерывно зависят от t.
Т е о р е м а 3. Если / Дх ) <^ Л 0 и выполнено (Л, то выполнено
условие (-4о)> следовательно, о. м. п. 0 * сильно состоятельна.
Д о к а з а т е л ь с т в о . Если / £ (х) е D0, то f t (x) — f t (x) нри
х ^ С х н, стало быть,

J in /е (Л ц(dx) ==— р (0, f) < 0 , <1

§ 27] СВОЙСТВА О. М. П . ПРИ ОТСУТСТВИИ РЕГУЛЯРНОСТИ 235

Следствие 1. Если f t( x ) ^ D 0 ограничена, а интеграл

j / 6 (ж) In / 0 (ж) [х {dx) (3)

конечен, то о. м. п. сильно состоятельна.
Утверждение следствия 1 немедленно вытекает из теоремы 3,
так как ограниченность f t(x) и конечность интеграла (3) влекут
за собой (/).
С л е д с т в и е 2. Если
ф(А) = f sup I ft+u И — ft (x) I p {dx) 0 (4)
|tt|< A

при A 0, то о. м. п. сильно состоятельна.

Д о к а з а т е л ь с т в о . Воспользуемся теоремой 3. Принадлеж­
ность f t{ x ) ^ D 0 очевидна, так как (4) может выполняться лишь
в случае, когда ft+Лх) f t(x) при и 0 для п. в. [р.] значений х.
Далее,
J ft И р {dx) < ф (А) + J / ( (ж) р {dx) = ф (А) + 1,

и условие (4) означает также интегрируемость f t {х): Так как

In — т-r- ^ , — 1, то отсюда получаем, что интеграл в ус-
/0 \х) Jq (%) '
ловии (/) не превосходит
J ft (х) Р {dx) — 1 < ф (А). <1
Вместо (4) мы могли бы требовать сходимость к нулю ве­
личины
Фх (А) = J |uSUP
|« A
( V ft+u {х) — V ft {x)Y р {dx),

так как ф(Д) можпо оценить с помощью фДА) неравенством

Ф (А ) <

< f sup I V ft+u {x) — V f t и | sup I Vf t +u (x) + 1/'ft {x) I и (dx) <
J lu |« A lu |< A

< ф!/2 (A )| j sup ( Vf t+u (^) — V f t ( x ) + 2 V f t {x)Y p {dx)J1,2 <

< [ 2 ф 1 (А)(ф1 (А) + 4)]1/2.

С л е д с т в и е 3. Если f t{x) дифференцируема no t для п. в,
[р] значений х и
j I ft (х) | р {dx) С с С оо, (5)

то о. м. п. 0* сцлъно состоятельна. Условие (5) всегда выполнено,

если информация Фишера I{t) ограничена,
236 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Здесь мы пришли к тому же результату, который могли бы

получить из теоремы 23.2. Способ доказательства последней (см.
§§ 21, 23) показывает, что ограниченность /(f) или (5) для ут­
верждения следствия 3 несущественны, если расстояние Хеллин-
гера р 3( Р е , Р е + д ) равномерно отделено от нуля при | Д | ^ б > 0 .
Д о к а з а т е л ь с т в о . Принадлежность /, (.г) е D0 очевидна.
Для выполнения условия (J) достаточно, как мы видели в дока­
зательстве следствия 2, интегрируемости / f (а;). По

д
*= 1 + j [j* | ft+u (z) 1ц (<fe)] du < 1 + 2Дс.

Остается воспользоваться теоремой 3. Последнее утверждение

следствия 3 вытекает из неравенства Коши — Буняковского, так
Как в силу этого неравенства
С л е д с т в и е 4. Пусть 0 есть параметр сдвига семейства
Если функция fix )
ограничена (иначе метод максимального правдоподобия теряет
свой смысл (с.и. § 26)) и имеет множество В точек разрыва,
лебегова мера замыкания которого \iiB c) равна нулю, то о. м. п. 0*
сильно состоятельна.
Д о к а з а т е л ь с т в о . Проверим выполнение условий теоре­
мы 3. Условие _(/) выполнено очевидным образом. Принадлеж­
ность f tix) е /)о_ вытекает из определения D0, в котором надо
положить Ct — В с — t (это есть сдвиг множества В с на t, В° есть
дополнение к замыканию мпожества В). Так как множество В с
открыто, то x ~ t ^ B c — t влечет за собой х — th <^ В с — f при
достаточно малых \ih — t\. Это означает, что f i x — tk) - + - fix — t).
Следствие доказано.
Отметим,, что в условиях следствия 4 предполагать выполнен­
ным условие (Л0) излишне — оно выполняется автоматически.
Если допустить, что (^о ) не имеет место, то мы придем к пе­
риодичности функции fix ), что невозможно.
Относительно условий следствия 4 заметим, что условие па
«непрерывность» fix ), сформулированное в нем, является весьма
слабым. Но и оно, по-видимому, ие существенно. На это указыва­
ет в какой-то мере следующий пример.
П р и м е р 1. Пусть f i x ) — произвольная функция, имеющая
ограниченный носитель ia, b) — {х: fix ) > 0). Тогда

Р е ( [S* - 6 1> 8) < (1 - Р , (а+ 8))" + Т Ц Ь - 6),(С

§ 28] РЕЗУЛЬТАТЫ §§ 23—27 ДЛЯ МНОГОМЕРНОГО ПАРАМЕТРА 237

где Fq (х) = j /0 {у) dy. Неравенство ( 6 ) означает сильную со-

—оо
стоятельность 0*. Оно следует из соотношений вида

{g* — е> 6} с= |п /е+6 (хО > oj с= {х* > а + 0 + б},

Ро (е* - 0 > 6) < [1 - F q (а + е+ б)Г = [1 - F0 (а + 6)]п.

Условие па конечность интеграла J / (х) In / (.г) dx в след­

ствии 4 в известном смысле тоже не существенно: легко постро­
ить пример, когда этот интеграл обращается в — а условие
■(/) будет выполнено.
Из замечаний в § 2.18 следует, что все сказанное в след­
ствии 4 и после него полностью сохрапяет свою силу для пара­
метра масштаба.

§ 28. Результаты §§ 23—27

для случая многомерного параметра

В этом параграфе мы перенесем на многомерный случай все

основпые результаты §§ 23—27. Излагаться эти результаты бу­
дут в той же последовательности, что и в указаппых параграфах,
при этом мы будем останавливаться лишь на тех моментах, где
многомерность либо меняет формулировку результата, либо тре­
бует модификации рассуждений.
Итак, пусть 6 ^ 0 cz R k, к > 1. Формулировки условий Ы Д ,
(Л с), (^40), как и определения отношения правдоподобия

и расстояния Хеллингера

г ( U) = Р (PG+U, Ре) J ( /е+u

= V (ж ) — V h И ) 2 И- { d x ) .
с размерностью никак не связаны.
1. Неравенства для отношения правдоподобия (результаты
§ 23). Для изучения поведения функции Z{u) в окрестности ну­
л я нам понадобится следующее условие: функция Т/е(#) диф­
ференцируема по 0, информационная матрица Фишера

I (9) = (9) И | Ме щ - 1 (* „ 9) - щ I (х „ 9) I (1)

при всех 0 е 0 ограничена и положительно определена.

238 ТЕОГИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

При этом условия из теоремы 21.ЗА следует, что при всех В

0 < f < f ^ < f c = 4 - s u p s p / ( e) < o c .. ( 2)
1*4 4 о
Здесь и в дальнейшем \и\ означает евклидову норму |м | =
— u i + — + uk вектора и = (и,, .. uh).
Первоеутверждение теоремы 23.1 и его доказательство пере­
носится на многомерный случай без каких-либо изменений, так
как они с размерностью по существу не связаны.
Т е о р е м а 1. Если выполнено (2), то

Для обобщения теоремы 23.2 нам понадобится дополнитель­

ное условие, которое состоит в том, что
у = sup Mel I' (xi, 6 ) Г < 00 (3>
при некотором s > к.
Т е о р е м а 2 (аналог теоремы 23.2). Если выполнены условия
(2 ), (3), то при любых z, п ^ 1
Ре ( sup Z ( и / V n )> ег\ < , (4>
\.Щ>и )
где с < оо? р > 0 зависят лишь от к, g и s.
К сожалению, весьма простое доказательство теоремы 23.2
не допускает обобщения на многомерный случай. Это связано
с тем, что максимальное зпачепие функции р(и) в области D с Rhr
к > 1, пе удается, в отличие от одномерного случая, оценить ин­
тегралом от \р'(и)\ по какой-нибудь одной фиксированной кри­
вой из D. Новый вариант доказательства теоремы 2 занимает
довольно много места, и мы сочли целесообразным поместить
его в Приложение VII.
Доказательства утверждений о состоятельности о. м. п. и об
оценках для моментов в п. 2 § 23 с размерностью не связаны.
Сами утверждения сохранятся в следующем виде.
Т е о р е м а 3 (аналог теоремы 23.3). Если выполнены условия
(2 ), (4), то при любых z, п ^ 1 справедливо (23.6) с заменой
числа g! 4 на ^ (см. теорему 2 ).
Утверждения следствий 23.1, 23.2 сохраняются полностью,
с той же заменой g f4 на р.
2. Асимптотические свойства отношения правдоподобия (ре­
зультаты § 24).
Под условиями ШЮ в многомерном случае мы будем по­
нимать совокупность следующих условий:
1) Условия М с), (А с), Ш).
2 ) Непрерывная дифференцируемость второго порядка по 6
внутри 0 функции 1{х, t) для п. в. [р.] значений х. При этом
§ 281 РЕЗУЛЬТАТЫ §§ 23—27 ДЛЯ МНОГОМЕРНОГО ПАРАМЕТРА 239

предполагается, что производные

flvi x\х , 1)
t) —
= ?dt_
l. M
dt_. -

допускают мажоранту 1(х), не зависящую от £: | 1ц (х, £)J ^ I (х),

для которой интеграл
М tl ( x j = J I (x) f t (x) (n (dx)
сходится равномерно*) no t ^ Q .
3) Кроме того, мы будем предполагать, когда это потребует­
ся, что выполнено условие (3).
Как и в одномерном случае, нам понадобятся следующие два
свойства, вытекающие из (RR):
1) Возможность дважды дифференцировать по 0 под знаком
интеграла в равенстве
j /е И Ц (dx) = 1,
означающая справедливость соотношений

j ~ щ /о (х) Р (<**) = О, J /о (х) [I (dx) = 0 . (5)

2) Равномерная сходимость интеграла /(0):

sup Me ((/' (xlt 0))2; 1Z' (х1? 0) | > Ar] 0 (ft)
e
При N -> оо.
Доказательство этих свойств отнесено в Приложение VI. Для
упрощения изложения опи могут быть введены в условия (R R ).
В силу равенств
7' , Пч _ 1 (*)
°) - /0 (х) ' ’

1 1 <Ve(*) ^/е (х)

~ А» (ж) /* (,)• 00, * 00,- •
из соотношений (5) следует, что
Моl'i(xlt 0) = О,
MoZli (хь 0) = - M e / ; (х 15 0) I] (Xj, 0) = - / {j (0).
Как и в одномерном случае, условия (RR) означают, что
будут иметь место утверждения теорем § 23 об оценках для
sup Z ( v / У п) и для У п ( 0* — 0).
JulJtU.

*) См. сноску на стр. 213 о равномерной сходимости в § 24.

240 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

При выиолпении условий (RR) справедливы также следую­

щие аналоги лемм 24.1, 24.2.
Л е м м а 1. Ф ункции 1ц(х,Щ непрерывны ив среднем»:
Ме«д (х х)-> 0
равномерно по 0 при А -> 0, где сод (я) — m ax sup j Zy (ж, 0 4 *
i,j e,ltt|<A
-I- и) — lij (x, 0) j.
Доказательство в точности повторяет рассуждения лем-«
мы 24.1. <
Положим
V» ( 6 , 0 ) = s u p I ( ^ х . е + ЮА ) . „ ^ - ( ь - ( У . е ) . ю) + а1 ш
Д<6
N 1=1

Л е м м а 2 (аналог леммы 24.2). Пусть выполнены условия

(RR), б„ > 0 — любая последовательность, сходящаяся к нулю .
Тогда для Аг£= Ре
Уп (бп, 0) — ►о, уп (6п, 0*) — * 0.
П.Н. п .н .

В этих соотношениях значения 7(0) и 7(0*) можно заме~

пять одно другцм.
Д о к а з а т е л ь с т в о . Как и в одномерпом случае, пам до­
статочно убедиться, что уп(б„) 0 , где

I (L' (X , 0 + ©А), о) — ( U (X , 0), и) <оЬ"(Х, 0) ыг

д<б j иД п
l<o|=i

По уп (6п) ~ 2 2 ю бп ( X i) | 0) h (d j |, где (Об (х) есть максимальный

г h, j
модуль непрерывности функций {х, 0). Так как

21 1< /с| со |2 = Лг,

A,j
то

Уп (б«) < ~ 2 ®*n (*i)' (7>

i

Дальнейшее доказательство осповаио на лемме 1 и в точности

повторяет рассуждения леммы 24.2. <
Обобщением теоремы 24.1 на многомерный случай здесь яв­
ляется
Т е о р е м а 4. Пусть выполнены условия (R R ), 6„ > 0, п —
•= 1, 2 , . . . , — любая последовательность, сходящаяся к нулю .
§ 2Ь] РЕЗУЛЬТАТЫ §§ 23—27 ДЛЯ МНОГОМЕРНОГО ПАРАМЕТРА 241

Тогда если Х ^ = Р е, то для и таких, что \и И п \ <

У (и) = In Z ( и/ V п ) = (£п, w) — и ! (0) г/(1 + еп (X, 0, к)), (8)

аде | еп (А> 0 , и) | <[ гп (А , 6) — > 0 ,- £» = - 7 =- grad L (X, 0) =■

II.Н, К л

*= 47= (А >0) €=> Фо,ле).

|/ п
Значение и* = Vw(0* — 0), при котором Y(u) достигает мак­
симума, представимо в виде

и* = 1пГ х (0) (Е + гп (X , 0)), Еп (X , 0) — > 0, (9>

П.Н.
где Е есть единичная матрица. Кроме того,

2 Y(и*) = '(6) Ц (1 + е„ (X, 6))

1пГ
Н», Е ё .Ф .,« е > . (10)

Наряду с ( 8 ) справедливо представление

Y (и) - У (к*) = - L (И — и*) I (0) (и - и*)т(1 + Е„ (X, 0, и)),-

I Еп (X, 0, и) К Еп (X, 0).
Во всех приведенных утверждениях 7(0) молено заменить па 7(0*Х
В этом параграфе мы, как. и в § 24, понимаем под е„(Х\ 0)
различные последовательности, обладающие свойством
еп (X, 0) — >■0 относительно Р е.
П.Н.
Отметим также, что главную часть в ( 8 ) можно записать
в виде

Ъ„иТ — -§- и ! (6) и т = — ± (и — I J - ' (6)) I (6) (и - |„ .Г 1 (6))т +

+ 4 ln- Г 1 (6) In.

Это соответствует плотности мпогомерного нормального распре­

деления со средним £„/~‘(8 ) и матрицей вторых моментов
/-4 0 ) .
Д о к а з а т е л ь с т в о т е о р е м ы 4 вполне аналогично дока­
зательству теоремы 24.1. Из леммы 2 при Д < 6„ получаем
( //(X, 0 + Два), ва) = (L4X, 0), со) -
— «Д(о/(0)юг(1 + е„(Х, 0, Дсо)), 1е?1(Х, 0, До>)1 ^ е„(Х, 0).
Интегрируя это равенство по Д от 0 до \и\/)1п и полагая со =
16 а . А. Боровков
242 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

■= и/1 и I, получим
H/Vn
L (X , 0 + и / V n ) — L (.X , 6) - J (L' (X, 0 + Ди), и)
О
■2
= м ( V (X, в), и) - о,/ (6) а т (1 + е„ (X, в, и)) =
Vп .
= (£», и) — Y u l (в) (1 + еи (X, 0, н))» I En (X, 0, м)| < en (X, 0).
Здесь по многомерной центральной предельной теореме (см. при­
ложение V)
71

Ъп = Г-4т 2 (Xit 0) Фо. 1(0).

V»
Представление (8 ) доказано. Остальные утверждения теоремы
доказываются точно так же, как в теореме 24.1, с учетом только
что продемонстрированных изменений, связанных с многомер­
ностью. Соотношение
?т < = н „

в ( 10) следует из свойств нормального распределения (см. п. 4

§ 2 .2 ). <
В связи с соотношением (10) полезно такж е следующее
З а м е ч а н и е 1. Матрица / _ | (0) вместе с /(0 ) является положительно
определенной, и существует матрица / ~ 1/ 2(0), являю щ аяся корнем квад­
ратным из /- '( О ) , т. е. удовлетворяющая соотношению
/-•/2(0)/-1/2(О ) = /-1 (0 ).
Действительно, если некоторая матрица М > 0 (положительно опреде-
п а), то существует ортогональная матрица С, для которой СМСТ —
— diag(Ai, . . . , Яй) есть диагональная матрица с положительными элемен­
тами Кi >■ 0 на диагонали. Если положить теперь М 1?2 — Стdiag (Я ,^ 2, . . .
... Д //2) С, то мы получим, очевидно, корень квадратпый из М.
Пользуясь этим и симметричностью матрицы / _ 1(0), мы можем (10)
записать в виде
т ( Е „ / - , / 2 ( е ) ) ( 1„ г ' 1/ г (0) ) т .

Здесь вектор ц„ = § nf- 1/ 2(0) есть, очевидпо, нормированная сумма

независимых одинаково распределенных случайпых векторов с нулевым
п
средним и матрицей вторых моментов
м е ( ^ п ^_1/2 (0))т (1 ?1/ _1/2 (0)) - (0) l l l nI ~ 1/2 (0) = E t
поскольку
М 6| Д „ = М е (V ( х ,, 0 ) ) т ( Г ( X , , 6 )) = I (0 ).

Это означает, что по многомерной центральной предельной теореме

(0> & ф 0 Е.
§ 28 J РЕЗУЛЬТАТЫ §§ 23—27 ДЛЯ МНОГОМЕРНОГО ПАРАМЕТРА 243

Т е о р е м а 5 (аналог теоремы 24.2). Пусть выполнены усло­

вия теоремы 24.2 для многомерного 0 е Цк и при а = р/2 (р-
определено в теореме 2). Тогда
/ == J w (u * — и) q (б + и / Y n ) Z { u f Y п ) П (du) = eY(u*)q (0)Х

X w (и * — и) ехр | ---- ^ (и — и*) I (0) (и— и*)Гj П (du) + en (X, 0) |.

(И)
Если П есть мера Лебега, П(<А/) = du, то

J = eYiu,,g
(0) (M
wТ|(

где en (X , 0) — 0 , ц £= Ф (последовательность e„(X, 0 ) яв­

им.
ляется векторной, если w(t) есть вектор-функция).
Доказательство теоремы 5 проходит так же, как доказатель­
ство теоремы 24.2, поскольку последнее с размерностью не
связано.
3. Свойства о. м. п. (результаты § 25). Здесь мы будем пред
полагать везде выполненными условия (RR).
Аналог теоремы 25.1 будет иметь следующий вид.
Т е о р е м а 6. О. м. п. 0* является асимптотически нормаль­
ной оценкой, при этом сходимость
и* = (в* — е) V n ^ > Ф 0>/- 1(0)
имеет место вместе с моментами любого порядка. В частности,
Ме/г (0* - 0)т (G* - 0) Г 1 (0). (13)
Более того, для любой непрерывной функции w(t) такой, что
\w (t) | < ePlf' 2^2(число p определено в теореме 2 ),
(и*) (1]), т]€=: Фо

Соотпошепие (13) означает, что 0* е /£Ф2.

Утверждение теоремы 6 следует из теоремы 4 (см. (9)) и
многомерного аналога следствия 23.2, вытекающего из теоремы 3
(ср. с доказательством теоремы 25.1). <1
Определим класс К 0 как совокупность оценок 0*, для которых
смещение Ъ (0) = (Ъх (0), . . . , Ъп (0)) = Ме0*—0 обладает свойствами
/ I г—\ &Ь. (0)
16(6)1 = 0 0 / / в ) , M 0) = - X l i - * O

при п °о.
Аналог теорем 25.2, 25.3 имеет здесь ту же самую форму:
16*
244 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Т е о р е м а 7. О* является а. R -э. оценкой. Кроме того, 0* ^

^ R 0 и является асимптотически эффективной в К 0.
Асимптотическая Я-эффективность 0*, эквивалентная (13),
очевидно, имеет место. Доказательство принадлежности 0* ^ К 0
и асимптотической эффективности в К 0 происходит совершенпо
аналогично одномерному случаю.
Перейдем к свойству асимптотической байссовости. Асимпто­
тическая Я-байесовость оценки 0* означает по определению, что
(ср. с § 20 )
М (0 * - 0)г (0* - 0) = Л и + о (1In), J = JГ 1 (£) Q {dt). (14)
Асимптотическая байесовость 0 * означает
lim sup [nv (0*) — aw(0q)] <1 0, (15)
71—
>00
где Qq — байесовская оценка, минимизирующая н ( 0*) =
= М (0* —0) V (0* —0) для любой неотрицательно определенной
матрицы V.
Т е о р е м а 8 (апалог теоремы 25.4). 0* является асимптоти­
чески R -байесовской оценкой. Если априорное распределение Q
имеет плотность относительно меры Лебега на 0 , то 0* — асимп­
тотически байесовская оценка.
> Д о к а з а т е л ь с т в о вполне аналогично теореме 25.4. Соот­
ношение (14) для 0* = 0* следует из того, что
lim Мп (0* — 0)7 ( 0* — 0) = -
П - » оо

- М lim Men ( 0* - 0)т (0* — 0) = МГ 1 (0) = J .

П-»оо „

Предельный переход под знаком математического ожидания

(т. е. интеграла) здесь законен, так как величина Ме« (0*— 0)ГХ
х (0 * — 0) ограничена постоянной, не зависящей от п и0(ср.
со следствием 23.2).
Чтобы доказать (15), заметим, что в соответствии с § 20
интегральное неравенство Рао — Крамера в случае, когда Q име­
ет плотность, имеет вид
Мп (0* — 0)г (0* — 0) > / + о ( 1).
Эго означает, что
nviQo)^2 ij +0(1)>
где Н/ЦИ= /, Нгл-jH= V. С другой стороны, в силу (14) нри 0* = 0*
nv (0*) = 2 vi i j + 0 (!)•
Из этих соотногасний, очевидно, вытекает (15) при 0* = 0*, <1
§ 28] РЕЗУЛЬТАТЫ §§ 23—27 ДЛЯ МНОГОМЕРНОГО ПАРАМЕТРА 245

Аналоги теорем 25.5, 25.6 также будут пметь место. Напри­

мер, из теоремы 5 вытекает
Т е о р е м а 9 (аналог теоремы 25.6). Пусть Х ^ Р е и 0 есть
произвольная внутренняя точка 0 . Если q(t) — произвольная
непрерывная и положительная внутри 0 плотность априорного
распределения, то
о,
п.н.

где 0q есть байесовская оценка, соответствующая q(t).

Асимптотическая минимаксность 0* может быть установлена
аналогично теореме 25.7 с помощью многомерного аналога кри­
терия асимптотической минимаксности в следствии 20.3:
lim su p 0* — 0 ) F ( 0* — 0 ) г = su p 2 ^ * (9) j,
n->oo г . te r
W (6) 1 (в).
и равномерного характера сходимости в (13), которая будет вы ­
текать из результатов следующего параграфа.
Свойства асимптотической оптимальности 0 * в случае много­
мерного параметра 0 , когда его размерность к велика, следует ис­
пользовать с осторожностью. Нужно следить за тем, чтобы от­
ношение п /к было велико (число наблюдений на один скалярный
параметр). В противном случае выводы могут оказаться оши­
бочными.
П р и м е р 1. В лаборатории проверяется концентрация ц рас­
творов. Каждая из неизвестных п концентраций р ь . . . , р„ про­
веряется дважды. Предполагается, что дисперсия а 2 всех п на­
блюдений (xt, yi), . .., (х„, уп) одна и та же, а сами наблюдения
независимы и нормально распределены, так что

и {Х ) = ^ 2п) " е х р ' ~ £ ? 2 !(*i - Hi)3 + (У> - Hi)3]},

где
0 = (р,, . . . , р„, а2).
О. м. п. для pi здеСъ равны
1
14 = "ГГ (Х4 + Уг).

Очевидно, эти оценки являются несмещенными, по не состоятель­

ны. О. м. п. для о 2 равна

= 2 (х*— УО3 а2/2 при п оо.

Эта оценка с большой надежностью дает ложпое значение для
параметра о 2 (вдвое меньшее).
246 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ ■
’ [ГЛ. 2

4. Приближенное вычисление о. м. п. Содержание § 26 в мно­

гомерном случае полностью сохранится, если понимать под
{L " {X , t)]~l матрицу, обратную к L " (X, t).
5. Свойства о. м. п. при отсутствии условий регулярности (ре­
зультаты § 27). Условия состоятельности 0, сформулировапные
в теоремах 27.1—27.3, с размерностью по существу не связаны.
Доказательство этих теорем полностью сохраняется с точностью
до очевидных изменений, связанных с тем, что множество О
надо покрывать теперь (в силу условия С4с)) не конечным чис­
лом интервалов, а конечным числом шаров. То же самое можно
сказать и но поводу следствий 27.1—27.4.

§ 29. Равномерность по 0 асимптотических свойств

отношения правдоподобия и оценок максимального
правдоподобия

В последующих рассмотрениях, главным образом в §§ 13—15

следующей главы, будут полезны утверждения §§ 24, 25, 28 в
их равномерной по 0 форме. Большинство этих утверждений (ска­
жем, утверждения о предельном Р в-распределении (0* —0)Уге>
были получены в предноложепии, что 0 — фиксированная точка
из ©. Нас будет интересовать теперь, что будет происходить,
если 0 не фиксировано, а меняется вместе с п. Ясно, что при
этом вместе с п будут меняться и распределения Ре, так что
каж дая выборка Х п будет иметь «свое» распределспие при
п = 1, 2 , . . .
Мы приходим, таким образом, к схеме серий (см. [11J ), для
которой формулировки основных предельных теорем будут уж е
несколько иными. В частности, усиленный закон больших чисел,
вообще говоря, теряет свой смысл, так как рассматриваемые слу­
чайные величины перестают быть заданными (при разпых пУ
на одном вероятностном пространстве.
1. Равномерные закон больших чисел и центральная пре­
дельная теорема.
Пусть Х ^ ё Ре» 'Пп.е = 'Пп ©)*
О п р е д е л е н и е 1. Мы будем говорить, что последователь­
ность о равномерно сходится по вероятности к постоянной а( 0 ),
если для любого е > 0 при п °°
snp Ре (1 гы.е — а (0) | > е) -> 0 .
бев
Это соотношение мы будем записывать в форме «Цтг.е а. (0)
рв
равномерно по 0 ».
О п р е д е л е н и е 2. Мы будем говорить, что Цп, е сходится
по распределению к случайной величине ц 0 равномерно по 0 ,
§ 29] РАВНОМЕРНОСТЬ ПО 0 СВОЙСТВ о. м . п . 247

если для любой непрерывной и ограниченной функции ф при

п -+■ 00
su p I Меф (Цп,е) — Мф (% ) I 0. (1)
е
Это соотношение мы будем записывать в виде «цп> е =*■ Це равно­
мерно по 0». Такой же смысл мы будем придавать соотношению
«^п.е€=> Ge равномерно но 0», где G 0 означает распределение
Мы предоставляем, читателю самостоятельно убедиться, что
если функции распределения г)0 непрерывны равномерно по 0,
*го соотношение ( 1) эквивалентно
sup J Р е (г)„.в < х ) — Р (Пе < х ) I 0.
0,х
Отметим, что равномерная сходимостьЦп е — (6) ' и равно-
рв
мерпая сходимость по распределению г)п, » =>■й(0 ) к вырожденной
случайпой величине а ( 0 ) эквивдлентны.
Отметим также, что для равпомериой сходимости сохранятся
все основные теоремы непрерывности. Например, если / / есть
непрерывная функция, то из равномерной сходимости ц„, е =*■ Цв
следует равномерная сходимость
Ж т к е) => Я(т]е). (2 )
Эти утверждения вытекают непосредственно из определений.
В Приложении V доказаны следующие «равномерпые» пре­
дельные теоремы.
Пусть Х £ = Р е и а(х, 0 ) — заданная измеримая вектор-функ­
ция: SB X 0 Я 1. Рассмотрим суммы
sn (0) = S « (xi, 0)
независимых случайных векторов, зависящих от параметра 0 е 0
как непосредственно через функцию а(х, 0 ), так и через рас­
пределение Xj €= Р е.
Напомним, что интеграл ^ ф (х , 0) Ра (dx) мы называем схо­
дящимся равномерно по 0 в области 0 , если
sup f | ф (х, 0) | Ре (dx) 0

при N -*- оо.

Т е о р е м а 1 (равномерный закон больших чисел). Если ин­
теграл а w - f a (xt 0) Ре (dx) сходится равномерно по 0 е 0 ,
то при п ->- °°
{0) —> а /вч
(0)
п pq >
равном ерно по 0 .
248 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

С л е д с т в и е 1. Если последовательность (0г1) е ©, го в ус­

ловиях теоремы 1

Этот факт мы будем обозпачать

п ' 'ч р н

При рассмотрении центральной предельной теоремы для сумм

s„(G) нам будет удобнее считать a(Q) = 0. (Это не есть ограни­
чение общности, так как мы можем рассмотреть повые слагаемые
«Чх,-, 0 ) = «(х,-, 0) —а( 0 ).) Положим а2 (0) — Me (аг (xlt 0) а (х и 0))
и обозначим через аДхfl 0 ), / — 1, 2 , . . Z, координаты векто­
ров п(х„ 0 ).
Т е о р е м а 2 (равномерная цептральпая предельная теорема).
'Пусть интегралы I(о |(* ,в ))Р е(< Ь с), j = 1. сходятся рав­
номерно в 0 . Тогда
*«{0)
ТКо — у - = ^ 11е ^ Ф 01О2(в)

равномерно по 0.
2. Равномерные варианты теорем об асимптотических свой­
ствах отношения правдоподобия и оценок максимального правдо­
подобия. Заметим предварительно, что при выполнении условий
(HR) результаты § 23 являются равпомерными по 0 по самой
своей форме, так как правые части неравенств в теоремах 23.1 —
23.3 (и в теоремах 28.1—28.3) от 0 не зависят.
Перейдем к результатам §§ 24, 28 об асимптотическом пове­
дении Z iu /Уп).
Утверждения лемм 24.1, 28.1, 24.2, 28.2 можно сделать равно­
мерными по 0 .
JI е м м а 1. При Д 0
sup Меюд (хД -н- 0 , (3)
е

где a A(xi) есть максимальный модуль непрерывности функций

l\i (*£* 0)*
Д о к а з а т е л ь с т в о . Справедливость (3) при фиксирован­
ном 0 доказана в лемме 28.1. Если допустить при этом отсут­
ствие равномерности по- 0, то мы придем к существованию е > 0
и последовательностей 0„ - 3- 0 ^ 0 , А„ -*■ 0 , таких, что
Моп«д п (хх) > е, (4)
§ 29] РАВНОМЕРНОСТЬ ПО 0 СВОЙСТВ О. М. 1C 249

п п
Полагая для краткости содп (хх) = со э получим
Мепсо" = Ме?г (ы"; / 0П(хх) < 2/ е (хД) + М6п (о)"; / 0п (хг) >
> 2/е (хх), I (хг) < N ) + Меп (со"; /е„ (хх) > 2/ 0 (хД, I (хх) > ЛГ).
Здесь первое слагаемое не превосходит 2Ме<о" и сходится к пу­
лю в силу леммы 28.1. Второе — не превосходит 2NJn, где

J n == J /«гг (г) р (da:) = 1 — j /еп И р (dx) -> О

/0 П(Я)> 2/0(3=) /0п(* )« 2 /0(зс)

по теореме о мажорируемой сходимости. Наконец, последнее сла­

гаемое не превосходит М6тг(2Ц х1); Z(xx) > A r) й в силу (RR)
может быть сделано выбором N сколь угодно малым. Мы по­
лучили противоречие с (4), доказывающее лемму.
Л е м м а 2. Утверждение леммы 28.2 сохранится, если в нем
п. н. сходимость заменить сходимостью упфп, Щ—> 0 , уп.(бп, 0*) -> 0 ,
ро ро
равномерной по 0.
Д о к а з а т е л ь с т в о . Будем следовать доказательству леммы
28.2. Заметим предварительно, что в силу теоремы 1 и равно­
мерной сходимости интеграла в (7?7?)
7 / '( Х , 0 ) / п ^ - / ( 0 )

равномерно по 0 (сходимость матриц понимается поэлементпо).

Кроме того, из теорем 23.3, 28.3 вытекает, что равномерно
по 0. Отсюда следует, что в соотношении уп (бп, 0) —> 0 (см. лем-
рв
ыу 28.2) мы можем 7(0) заменить па L " (0)//г и на 7(0*).
В силу неравенства (28.7) задача оцепки 7„(6„, 0) сводится
к оценке
п
“ « „ ( * ) = 4 - 2 Х « < х‘-е),
i—1
где о)д (х , 0) — максимальный модуль непрерывности функции
7 ij (х, 0). Из неравенства Чебышева получаем
sup Ре (собп (X) > е) < snp Мео)бп (х1} 0).

По в силу леммы 1 supMeO)A (xlt 0)-*~О при Д 0. Это дока-

0
зывает, что
S 5 . W * 0 . Vn(6n, 0) ^ о (5)
равн о м ер н о по 0.
250 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Далее, из неравенств (24J6) следует, что задача оценки

Чп(б„, 0*) сводится к оценке ^e^+le^-el (^0 * Так как
равномерно по 0, то из (5) получаем, что

равномерно по 0. <1
Т е о р е м а 3 (аналог теоремы 28.4). При выполнении условий
{RR) утверждения теоремы 28.4 сохранятся при следующих из­
менениях: еп (Х, Э )-* 0 равномерно по 0 , Еп(Е=>Ф0,це), Z Y {и*)(=ЛИк
■Pq ч.
равномерно по 0.
Д о к а з а т е л ь с т в о т е о р е м ы полностью основано на
лемме 2, так же как доказательство теоремы 28.4 — на лемме
28.2. Поэтому требуемое доказательство получается путем вне­
сения очевидных изменений в доказательство теоремы 28.4, свя­
занных с заменой (вытекающей из леммы 28.2) сходимости
£п (X, 0) 0 на равномерную сходимость en (X, 0) 0. Кроме
того, надо добавить, что
тг
fen “ I (^ii 0) Феде,
i=l
равномерно по 0 в силу теоремы 2 и равномерной сходимости
(28.6) интеграла / ( 0 ) (это есть матрица вторых моментов для
Г (х 1, 0)), которая вытекает из условий (RR) (см. Приложение V I).
Отсюда и из замечаний, касающихся (2), получаем равномерную
сходимость
2 У ( ц * ) ^ Н а. <

Те же изменения, что и в теореме 3 (по сравнению с теоре­

мой 28.4), могут быть внесены в теоремы 28.5, 28.6.
Мы приведем здесь следующие два следствия теоремы 3.
Т е о р е м а 4.

U* = У П ( 0* — 0) Ф 0,j-l(0) (°)

равномерно по 0. При этом для любой функции w(x), непрерыв­

ной п. в. относительно меры Лебега и такой, что | га (х) [ << Се^,х,2/2
(значение р > 0 определено в теореме 28.2), выполняется
sup | Meip (и*) — Мw (»1е) | ->■ 0 , (7)
§ 29] РАВНОМЕРНОСТЬ ПО 0 СВОЙСТВ О. М. П, 251

Доказательство. Первое утверждение вытекает из со­

отношений

и* = ’ 1пГ г (0) (Е + еп (X , 0)),

1е,г (X, 0) J —> О, 1п€=> Ф 0,дО),
рв
равномерных по 0 и содержащихся в теореме 3.
Чтобы доказать второе утверждение, допустим, что (7) не
верно. Тогда найдутся б > 0 и последовательность 0„ ->■ 0 е 0
такие, что
| (и*) — Мw (т]0гг) | > б (8)
при всех п.
Но Ф 0 . =ф-3 >0iJ_ 1(61 и, стало быть, в силу (6 ) Р 0П -рас­
пределение и* iw iu*)) слабо сходится к распределению т]0 (w(r]e)).
Кроме того, по следствию 23.2 (см. также § 28)

sup Моw3/2 (и *) ^ sup Mq ехр{3(м*)2р/4} < < оо.

е . 0
Отсюда и из теорем непрерывности для момептов следует, что
М07гн> (w*) Mw (г|е).

Так как Мш(г|еп) ^ - Мгг? (%), то полученное соотношение про­

тиворечит (8 ). <
Пусть Л п cz %£п.
Т е о р е м а 5. Если Рв(Лп)-»-0, то при любом фиксирован­
ном N

S lip Р в+„/ Л (А ,) — 0 .
1и|«дг

Это свойство последовательностей распределений Pq+u/i7»

при п -> оо называют контигуалъпостъю (см. [57]). Мы будем ис­
пользовать его в главе 3.
Д о к а з а т е л ь с т в о . Имеем

Р е+и/Л < Л») = М*>1 Z (u /V n } , А п)<

< М e ( Z { u / V n } , A „ П { Г (и )< с } ) + Pe+„ /r i( T ( « ) > c ) <
< е' Р (|(Л„) + 1‘п+ц//;1(У (ц) > е).

Так как Р е(Л„) *-*- 0, то для доказательства теоремы нам надо

рассмотреть лишь sup P 0+u/f^ ( F ( h ) > с )» Согласно теореме 3
252 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

равномерно по и
Y (и) = Цп, и) — - i и I (0) и {1 + Еп (X , 0 + и / / п ) ) ^ Ф _ ^ а2 а2,
2 *

О)
где о 2 = n/(0 )n T < 7V2Ah(0) при ] u \ ^ N , Л *(0)— максимальное
собственное число матрицы / ( 0 ). Так как Ф i „ 0((с, оо)) ^
< Ф 0 а2 ((с, °°)) то в силу равномерности в (9)
lim sup Р ^ (У < „ ) > « ) <
П -» о о w |< J V

ф о ,^ ((^. °°)) = ф „,№л„(е> « с> °°»*

Это значепие выбором с может быть сделано сколь угодно
малым. <1
3. Некоторые следствия.
1) В § 25 была сформулирована теорема 25.3, в которой ут­
верждалось, в частности, что где*Ж° есть класс асимп­
тотически центральных оценок, определяемый соотношением
(рассматривается одномерный случай)
Р е (9 * > 0 )-+ 1 /2
равномерно по 0. Из теоремы 4 вытекает, что упомянутая часть
теоремы 25.3 верна, так как
Ре ( 6* > 0) '= Р е ( У п ( 0* - 0) , Г 1/2 (6) > О )-* ® 0il ((0 , оо)) = 1/2
равномерно по 0 . <3
2) В § 25 была сформулирована теорема 25.7 об асимптоти­
ческой минимакспости 0*. Для д о к а з а т е л ь с т в а этой тео­
ремы осталось установить справедливость леммы 25.1 о том, что
lim sup Men ( 0* — 0)2 — sup 7 _1 (0), (10)
7i-»oo бег esr

где Г — любой отрезок из 0 . Но это утверждение есть прямое

следствие равномерной п о 0 е 0 сходимости Ме^ ( 0*.— 0)2 1 *(0),
которая делает законным предельный переход под знаком sup:
Л л оег
lim sup Men (0* — 0)2 = su p lim Men(0* — 0)2 == sup I ~ x (0). <]
n-х» eer Gern->oo eer

Утверждение, аналогичное (10) и обеспечивающее асимптоти­

ческую минимаксность 0 *, будет иметь место, очевидпо, и в мно­
гомерном случае:
lim sup Men (0* — 0) V (0* — 0)т = sup 2 VijlJ]1 (6)»
71—
>сю 0ЕГ - , 6GEl?
i v (0) 1 = ^ ‘ ( 6).
для любой матрицы У.
§ 30] СТАТИСТИЧ. ЗАДАЧИ О ВЫБОРКАХ СЛУЧАЙНОГО ОБЪЕМА 253

§ 30*. О статистических задачах, связанных

с выборками случайного объема.
Последовательное оценивание

Тот факт, что выборки случайного объема возникают на

практике и являются естественными, подтверждает пример 18.3.
Другой пример связан с так называемым последовательным оце­
ниванием. Оно применяется в тех случаях, когда мы можем
производить наблюдения последовательно — одно за другим, и
когда мы заинтересованы в минимизации числа этих наблюде­
ний, скажем, в силу их высокой стоимости. При этом наряду с
правилом оценивания (т. е. конструкцией оценки 6 *) мы должны
задать правило остановки эксперимента. Эти правила могут быть
различными: например, мы можем суммировать заданпые стои­
мости c(xj) наблюдений Xj до тех пор, пока пе исчерпаем неко­
торое допустимое количество t. В этом случае момент v останов­
ки (номер последнего наблюдения или объем выборки) будет
определяться как

— это есть «время первого прохождения уровня f» в блуждапип

со скачками с(хД (см. [11], глава 8 ). Можно суммировать «ин­
формации» /(х,-, e) = (l'(xjt 0))2 и прекращать наблюдения, когда
будет достигнут опять же пекоторый заданный уровень, и т. д.
В этих примерах v есть марковский момент, т. е. {v > п) ^
^ o(Xi, . . . , х„). Это есть одно из основных предположений, при
которых рассматриваются задачи последовательного оценивания.
При этом предположении и выполнении ряда дополнительных,
менее существенных условий сохраняется неравенство Рао —
Крамера в виде
1
I (0) Mv ’

где 0* — 0*(xi, . . . , xv) — несмещенная оценка 0, 7(0) — инфор­

мация Фишера. Доказательство этого неравенства внолпе анало­
гично доказательствам § 16; надо лишь для вычисления инфор­
мации Фишера, содержащейся в выборке (хц . . . , xv), воспользо­
ваться тождеством Вальда (см. [11]).
Если v зависит от некоторого параметра t, как это было в
примере 18.3, так что v ->- оо п. ы. при £->•«>, То возможно
построение асимптотически оптимальных оценок со средие-
квадратическоы погрешностью, асимптотически эквивалентной
( I (0) Mv)~K
254 ТЕОГИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

§ 31. Интервальное оценивание

1. Определения. До сих нор мы изучали свойства и способы

отыскания наилучших точечных оценок неизвестного параметра
0 , который определяет распределение Р е из семейства & = {Ре),
соответствующее выборке X . Точечные оценки используются в
тех случаях, когда мы должны назвать некоторое число 0*, пред­
назначенное для использования вместо неизвестного 0.
Однако весьма распространен и другой подход к проблеме.
Будем считать 0 скалярным параметром (мпогомерный слу­
чай будет рассмотрен в п. 6 ). Как мы знаем, точное определение
0 по данной выборке невозможно. Но мы могли бы попытаться
указать такой интервал ( 0~, 0+), что он с заданной достаточно
высокой вероятностью будет накрывать неизвестное значение 0 .
При этом несомненно, что чем уже этот интервал, тем лучше.
Во многих задачах заранее требуется, скажем, путем увеличения
объема выборки построить такой интервал ( 0", 0+), чтобы его
ширина пе превосходила заданных размеров.
О п р е д е л е н и е 1. Пусть для заданного е > 0 существуют
случайные величины 0* = 0 fc(e, X ) такие, что
Pe(0-(e, X) < 0, 0+(е, X ) > 0) > 1 - е. (1)
Тогда интервал (0~, 0+) называется доверительным интервалом
для 0 уровня 1 — е.
Очевидно, что (1) можно записать в виде
Р в( 0 - < 0 < 0 +) > 1 - е .
Событие, стоящее здесь под знаком вероятности, состоит в
том, что случайный интервал ( 0~, 0+) накрыл неизвестное зна­
чение 0. Читать это событие как «попадапие 0 в интервал (0~, 0+)>>
было бы несколько менее аккуратно, так как 0, вообще говоря,
не случайпо.
Значения 0* называются границами доверительных интерва­
л о в , число 1 — е — коэффициентом или уровнем доверия.
Итак, отличие интервального оценивания от точечпого состо­
ит в следующем.
1) Доверительный нптервал как оценка мепее «точен», так
как указывается целое множество возможпых значений 0.
2) С другой стороны, утверждение «0 е (0-, 0+) с вероят­
ностью ^ 1 —е» является истинным, в то время как событие 0 =
= 0*, как правило, имеет вероятность, равную нулю.
В качестве е выбирается обычно малое число. По пему стро­
ятся 0*(е, X ), и затем на основании выборки объявляется, что
О е (0~(е, X), 0+(е, X)). Поступая таким образом, мы будем оши­
баться в длинном ряду экспериментов примерно в 100е% всех
случаев. Например, если е = 0,001, то ошибка будет происходить
примерно 1 раз на 1000 случаев.
§ 31] ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ 255

Объявляя верным соотношение 0 е ( 0-, 0 0 , мы используем

тот факт, что если некоторое событие имеет вероятность в и это
е мало, то практически невозможно, чтобы это событие произо­
шло при единичном испытании. Авиапассажир, садясь в самолет,
интуитивно твердо верит в это. Ему достаточно знать, что веро­
ятность того, что полет закончится благополучно, довольно высо­
ка (ведь ему известно, что она не равна 1 ). Имеппо такой под­
ход и лежит в основе построения многих статистических про­
цедур.
Мы выделим сначала один случай, когда построение довери­
тельных интервалов особенпо естественно и может быть произве­
дено без существенных затруднепий. Это так называемый байе­
совский случай, который уже рассматривался нами в §§ 10,
11 , 20 .
2. Построение доверительных интервалов в байесовском слу­
чае. Мы предполагаем здесь, что параметр 0 выбирается слу­
чайно с известной нам априорной плотностью распределения q(t)
относительно некоторой меры X на 0 . После этого производится
выборка X (ЕЕ Ре, и нам надо построить доверительный интервал
для выбранного значения 0.
Если выполнено условие Ы м), то, как мы знаем из § 10,
в этом случае существует апостериорное распределение 0 (услов­
ное относительно X ) с плотностью
/i (X) д (0
/ и (х ) Я (u ) ^ (du)

относительно меры X. Это означает, что в качестве 0 - (е, X) до­

статочно взять любые два числа 0*, для которых
е+
j* q (u lX ) X (du) = 1 — e
o-
t
(или 5s 1 — e, если j' q ( u / X ) \ ( d u ) меняется при изменении t
— OO
дискретно). Другими словами, в качестве 0" и 0+ следует взять
квантили апостериорного распределения соответственно порядков
1 —е 2 и при любых е 4 и е 2 таких, что е 4+ е 2 == е.
Здесь в соотношении 0“ < 0 ^ 0+, в отличие от небайесовского
случая, случайными являются все три элемента: границы интер­
вала 0* и сама величина 0.
Нетрудно видеть, что в описанной процедуре существует не­
который произвол, связанный с выбором чисел e t и е2. Иногда
этот произвол устраняется самой постановкой задачи — напри­
мер, в случаях, когда паи важно установить лишь верхнюю или
нижнюю доверительную границу. В этом случае одно из чисел
250 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

щ, е 2 следует положить равным 0, а соответствующую границу

сделать бесконечной. Если же границы играют симметричную
роль, то естественно выбирать е< так, чтобы сделать интервал
(0“, 0+) по возможности более коротким. Для распределений
q(t/X), близких к симметричным, это достигается при ej = е 2 = е/2.
3. Построение доверительных интервалов в общем случае.
Асимптотические доверительные интервалы. Основные методы
построения доверительных интервалов базируются на использо­
вании точечных оценок. Мы рассмотрим сначала асимптотиче­
ский подход к построению доверительных интервалов.
О п р е д е л е н и е 2. Пусть X — [Хм]п Ре, и для заданного
е > 0 существуют случайные величины В1*1(е, X) такие* что
lim inf Р 0 (0 " (в, X) < 0 < 0+ (е, X) ) > 1 — в. (2)
п->00
Тогда интервал (0", 0+) называется асимптотическим доверитель­
ным интервалом уровня 1 — в.
В этом определении необходимо подчеркнуть, что речь идет
на самом деле о последовательности интервалов ( 0п, 0п), опреде­
ленных для каждого п. Формально понятие асимптотического
доверительного интервала применительно к выборке фиксирован­
ного объема является малосодержательным. Тем не менее соот­
ношением (2 ) пользуются при больших п — так же, как пользу­
ются центральной предельной теоремой для приближенного вы­
числения распределений сумм конечного числа случайных ве­
личин.
Мы видели в предыдущих разделах, что большинство рассмат­
ривавшихся пами точечных оценок асимптотически нормальны.
Ниже мы приводим конструкцию асимптотических доверитель­
ных интервалов, основанных на таких оценках.
Пусть 0* — а. и. оценка:
( е » - е ) Г ^ ^ > Ф 0><,!(е), (3)
п о(0) есть непрерывная фупкция. Так как 0*-»-6, то последнее
р

условие означает, что ст(0*)->- о (0). Отсюда и из (3) по второй

р
теореме непрерывности следует, что
( 0 * — 0) V~n
а ( 0*) Фод. №

Обозначим через квантиль нормального распределения по­

рядка 1 —6, т. е. такое число, что Ф0, i((-*-°°, Xe)) — 1 —6, или
P( l l l < Хв) = 1 — 26, если Е€§ Фол- Для ke/z при заданпом фик­
сированном в > 0 введем временно более короткое обозначение,
положив
k e/z ~
§ 31] ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ 257

Тогда из (4) следует

(е* — 0)1/п
lim Р е = 1 — 8.
71—>00 0 (0*) р)
Но это соотношение можно переписать в виде
lim Ре(б* — р о ( 0* )/ Y п <С 0 < 0* + Р<т(0*)/ У п) = 1 — е.
71—*00

Таким образом, числа

9± = е* ± ро(0*)/Угс (5)

удовлетворяют определению 2 и, стало быть, являются граница­

ми асимптотического доверительного интервала уровня 1 — е.
Если мы теперь для данной фиксированной выборки X объ­
ема п построим интервал (5), то его истинный уровень будет,
вообще говоря, отличаться от е, но будет мало отличаться, если
п достаточно велико. Поэтому обращаться с асимптотическими
доверительными интервалами надо с известной осторожностью,
выяснив предварительно, начиная с каких п вероятность со­
бытия {0 е ( 0-, 0+)} достаточно точно приближается предельным
значением.. Обычно чем мепыне е, тем выше требование к объе­
му выборки п. Необходимый объем зависит также от распределе­
ний Р 0 и от статистики 0 *.
П р и м е р 1. Пусть X Га.ъ и мы пользуемся эффектив-
jl _
ной оценкой а* = — =—. В примерах 4.1, 16.1 было устаповле-
пх
но, что
„2
Маа* = а, Daa* i —2 ’
так что здесь о2(а) — а 2. Соотношение (5) дает нам

« ± = - - - -- ( l ± Р/ V n ) , (6)

Чему на самом деле равен уровень этого интервала?

Нам надо найти i — вероятность неравенства
_4 (я и — 1 (1 + р / V п )
(1 — ра // лVГп~)\ <^ а <^ —
пх
или, что то же, неравенства

1- р/ < 1+ р/
где лгах^=Г1>п. Так как а есть параметр масштаба, то 2пах(==
€§ Г 1/2((„ = Н 2п. Таким образом, точный уровень интервала ( 6 )
17 а . А. Боровков
258 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

равен
2 (n —l ) ( l + f l / v T )

j _ Vl/2A x) dx, ' (7)

2 (п -1 )(1 -р //п )

где Y,/2, n определено в § 2 *).

При е = 0,05, н = 30 имеем {J = 1,96, (/г — 1) (1 — (УУтг)/тг. ~
« 0,6201, (тг- 1)(1 + р Ь г ) /п ~ 1,3126.
Таким образом, асимптотический доверительный интервал
уровня 1 — е = 0,95 применительно к случаю п = 30 представля­
ет собой интервал (0,620/х, 1,313/х).
Если воспользоваться таблицами распределения %2 с 60 сте­
пенями свободы, то мы в силу (7) обнаружим, что точный уро­
вень значимости этого доверительного интервала равен (с точ­
ностью до трех знаков) 0,937 = 1 —0,063. При этом «вклады» ле­
вого и правого конца доверительного интервала далеко не рав­
нозначны (ср. с нормальным приближением) и составляют соот­
ветственно 0,010 и 0,053.
Для п = 50 асимптотический доверительный иптервал уровня
0,95 будет иметь вид (0,708/х, "1,252/х). Истинный уровень его
значимости будет равен 0,942 = 1 — 0,058 (вклады равны соот­
ветственно 0,014 и 0,044). Ясно, что если продолжать увеличи­
вать /г, то эти вклады будут сближаться с 0,025.
Верпемся к доверительному интервалу (5), построенному на­
ми с помощью а. н. оцепки О*. В отличие от байесовского слу­
чая, здесь имеется произвол, связанный с выбором оценки 0 *.
Форма границ интервала показывает, что достичь заданных раз­
меров интервала можно как за счет увеличения объема выбор­
ки /2 (что по разным причинам не всегда осуществимо), так и
за счет возможного уменьшения о(0*). Здесь мы приходим к
важному выводу, что при равных объемах выборки лучший до­
верительный интервал будет давать оценка с меньшим рассеи­
ванием о(0). Таким образом, наилучшие асимптотические дове­
рительные интервалы будут получены при использовании асимп­
тотически эффективных оценок.
При выполнении условий (RR) и принадлежности 0* классу
Ко ПК Фз 2 (см. §§ 8 , 16) паилучшип асимптогический доверитель­
ный интервал имеет границы
6± = е* ± р/ Y тг/ (0*),
где 0* — любая а. э. оцепка, папример, о. м. п.

*) Замечапие о том, что Г ,/2. п = Н2п полезно, так как оно позволяет
для вычисления Га, \ (если 2Х — целое) использовать таблицы распределе­
ния х2, приведенные в приложении, а такж е во многих других руковод­
ствах по математической статистике.
€ 31] ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ 259

Некоторые другие методы построения асимптотических дове­

рительных интервалов будут рассмотрены в п. 6 .
4. Построение точного доверительного интервала с помощью
заданной статистики. Допустим, что в качестве статистики мы
выбрали оценку 0*. Тогда симметричный доверительный интер­
вал уровня 1 — е с помощью этой оценки было бы естественно
искать в форме 0 * ± Д ( е , X) или в форме 0 *( 1 ± Д( е , X)), как
ато было в рассмотренном выше примере. Однако если мы попы­
таемся реализовать такой план, то окажется, что дело обстоит
не так просто, так как в общем случае границы =ьД(е, X) будут
зависеть от неизвестного параметра 0 — ведь Д(е, X) надо вы­
брать из условия
Р е( 0 * - Д ( е , Х ) < 0 < 0 * + Д(е,

в которое 0 входит существенным и весьма сложпым образом,

прежде всего через само распределение Ре.
Поэтому требуется некоторая специальпая конструкция для
построения доверительных интервалов с помощью данной оцен­
ки 0*.
В приводимом ниже построении паряду с оценкой 0* может
участвовать любая статистика S. Обозначим символом Ge рас­
пределение S И ПОЛОЖИМ Ge(x) = Ge((—°°, х)).
О п р е д е л е н и е 3. Мы будем говорить, что статистика S
по распределению монотонно зависит от 0 , если при любых ж,
0! <02
G e x ((ж , о о ) ) < G 02 ( ( ж , о о ))

пли, что то же,

G qx ( х ) ^ G q2 { х ) . ' (8 )

Все разумные оценки 0 * обычно этим свойством обладают.

Если дополнительно монотонная зависимость Goix) от 0 яв­
ляется непрерывной, то уравнение
Ge(x) = Ч
всегда разрешимо относительно 0 при каждом 7 е (0, 1). Реше­
ние этого уравнения обозначим bix, 7 ).
Т е о р е м а 1. Если 81 + е 2 = е, статистика S по распределе­
нию монотонно вависит от 0 и функция GQix) непрерывна по О
и х , то значения
Q- = biS, 1 - е 2), 0+ = MS, 8l)

образуют доверительный интервал уровня 1 — е.

Д о к а з а т е л ь с т в о теоремы почти очевидно. Воспользуем­
ся тем фактом, что если функция распределения Fix) пепрерыв-
17*
260 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

на и то F ( £ ) ^ U 0il (Р (Е (|) < ж) = Щ < F- ' Ш =*

— F i F ^ i x ) ) == ж). В силу этого замечания Go ( «S' )XJ0il и, стало-
быть,
Pe(&i < G q(S) < 1 — е2) = 1 — е,
V M S , 1 - е2) < 6 < MS, е,)) = 1 - е.
<
Часто «обращение» функции Ge(S), используемое в теореме,
удобпо проводить в два этапа. Сначала Ge(x) обращается отно­
сительно х , т. е. определяются квантили С!^"1(у) как решеппя
уравнений Geix) = у, а затем решаются относительно 0 уравнения
Gol M = S, Gq 1 (1 — е2) = S.
Такие решения всегда будут существовать, так как по условию
теоремы Gq X(у) монотонно и непрерывно зависит от 0.
Иа рис. 3 представлены кривые у —Gq 1 (е^- и у = Gq 1(1 — е2),
определяющие при каждом 0 область значений у , вероятность
попадания в которую для некоторой
оценки S = 0* равна 1 —е. Как уже от­
мечалось, процедура построения дове­
рительного интервала есть обращение
функций
у = С ё 1(е i), у = Gq 1 (1 — ех),
т. е. отыскание точек пересечения со­
ответствующих им кривых с уровнем
у — S. Полученные точки пересечения
и дают требуемый интервал (0~, 0+Е
Рис. 3. Если условие о непрерывности Geix}
не выполнено, что будет иметь место
для дискретных случайных величин S, то в целом изложен­
ная процедура п утверждение теоремы 1 сохранятся с той
лишь разницей, что при соответствующем определении кван­
тилей Gq 1 (у) следует удовлетворить неравенству Go ((G ^-1 (е^ ,
Gq (1 —г 2) ) ) ^ 1 — с, на месте которого мы прежде имели точ­
ное равенство. В соответствии с этим утверждение теоремы 1 в
этом случае будет иметь вид
Р е( 0 - < 0 < 0 +) ^ 1 - 8 ,
где 0* есть решения уравнений Gq 1(e ^) = S , G $ \ l — е2) = S .
При этом мы будем, как и прежде, называть интервал (0~, 0+)
доверительным интервалом уровня 1 — е.
Если мы строим доверительный интервал (0~, 0+) с помощью
оценки 0*, то из рис. 3 видно, что этот интервал будет тем уже,
чем уже интервал (Go 1 (е.г), 1(1 — е2)) или, что то же, чем
более сконцентрировано распределение 0* около 0. Таким обра­
зом, мы приходим здесь к той же проблеме, что в теории точен-
§ 31] ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ 2С1

вых оценок — к отысканию оценок 0 *, наиболее томно оцениваю­

щих 0.
Проблема построения наилучших доверительных интервалов
более подробно будет рассмотрена в § 3.8.
Так как вид функций распределения Geix) даже для простых
семейств распределений, приведенных в § 2, оказывается обычно
достаточно сложным, то указанная процедура обращепня Ge(x)
становится на практике довольно трудным делом. Поэтому вы­
числение доверительных границ во мпогом табулировано. В сле­
дующем примере, где мы проиллюстрируем построение довери­
тельных интервалов по схеме, описанной в теореме 1, мы для
упрощений будем пользоваться нормальным приближением.
П р и м е р 2. Пусть X В?3. В качестве оценки для р возь­
мем эффективную оценку р* = v/?i, где v — число успехов в п
испытаниях (числом v может быть, например, число бракован­
ных изделий, обнаруженных при контрольной проверке п об­
разцов. Требуется построить доверительный интервал для доли
брака р ).
Имеем (q = 1 —р)

G, (х) = Рр (р* < x ) = I>J Z p Z L <

\ У пря V nPq )

В соответствии с теоремой 1 нам надо решить уравнение

Gp(p*) - у (9)

для значений *у, равпых г/ 2 и 1 — е/2. При больших п в силу

центральной предельной теоремы Gpix) ~ Ф((ж —p)n/1npq), где
Ф (z/) = Ф 0, i((—°°, у)), и, стало быть, уравнение (9) можно заме­
нить его приближением

Ф((р* —p)n/1npq) — у, y— 1 — е/2,

или, что то же, |(р* —p)n/Vnpq\ = Хе/2 = Р,
(р* —р )2— р2р (1 —р)/п.

Это уравнение для границ р* доверительного интервала, пред­

ставляющее собой уравнение эллипса, вытянутого при больших п
вдоль биссектрисы р* — р = 0. Реш ая это уравнение относитель­
но р, получим

р± « р* ± рУр*(1 —р*)/п.

Нетрудно проверить, что такой же результат мы получили бы,

пользуясь асимптотическим подходом, изложенным в п. 3.
262 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

Если п невелико, то приходится Gp{x) вычислять по точной

формуле
G * (* )= S C hnp " ( l - p ) n- \
h <пх

применяя затем процедуру теоремы 1.

Пусть, например, из п = 1 0 изделий v = 2 оказались брако-
ианиыми. Тогда при е — 0,05 точные границы доверительного
питервала оказываются равными р~ = 0,037, р+ — 0,507. Большая
ширина интервала объясняется незначительной информацией,
которой мы располагаем.
Если же п = 100, v = 20, то при е = 0,05
/ г = 0,137, р+ = 0,277.
Эти цифры заимствованы из специальных таблиц, дающих чис­
ленное решение задачи о доверительных интервалах для числа
р при разных п п v (см. [ 8]).
5. Другие методы построения доверительных интервалов.
В этом разделе мы рассмотрим некоторые обобщения предложен­
ной ранее процедуры построения доверительных интервалов.
Т е о р е м а 2. Допустим, что па в X 96п существует такая
ф ункция 6{0, а-), что распределение IKZ?) — Р е(6(0, X) ^ В) не
зависит от 0. Лредположим также, что 640, х ) при каждом х
непрерывна и монотонна по 0.
Пусть, далее, [Г, у + удовлетворяют соотношению Н((у~, у +)) =
= 1 — е. Тогда статистики
0- = G - l(y-, X), 0+ = 6 -Ч //+, X), если 6 (0, Of,
и
0- = G -, (t/+, X), е+ = 6 -Ч р -, X ), если 6 (0 , •)!,
являются, границами доверительного интервала уровня 1 — е.
Здесь G~4y, X) есть решение уравнения 6(0, X) = у.
Д о к а з а т е л ь с т в о . В силу монотонности 6(0, х) (пусть,
для определенностп, 6 (0, х ) возрастает по 0 ) событие
{6 “Чг/“ , X) < 0 < 6 ~Чу+, X)} совпадает с . событием Л =
= { / < ( 7 ( 0 , X) < / / +).
По определению Н.б) и у* имеем
Ро(0~ < 0 < 0+) = Ро( 6 -Ч у - X) < 0 < 6 -Ч у +, X)) = ’
= Ро(Л) = Н ((у-, у+)) = 1 - е . <3
З а м е ч а н и е 1. В теореме 1 в качестве 6(0, X) мы рас­
сматривали функцию Gi-iS). При этом выполнялось И = Uc ,.
З а м е ч а н и е 2. Можно рассмотреть асимптотический аналог
теоремы 2, допустив существование последовательности функций
16,ДО, ж)}, непрерывных и монотонных но 0 и таких, что при
§ 31] ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ 2G3

где Н(-) не зависит от 6. Мы получим тогда способ построения

асимптотических доверительных интервалов, обобщающий изло­
женный в п. 3 метод построения асимптотических доверительных
интервалов с помощью а. и. оценок.
Предложил! теперь еще один способ (наряду с теоремой 1)
выбора фупкцпн G40,#), фигурирующей в теореме 2.
Т е о р е м а 3. Пусть Foix) = Р 0(х, < х ), причем
1) Feix) непрерывна по х для всех 0 ^ 0 ,
2 ) F e ( x ) непрерывна и монотонна по 0 для любого фиксиро­
ванного х. Тогда функция

G (0, х) == — 2 In (/,e-(ari))
t=i
удовлетворяет условиям теоремы 2.
Если числа у ± таковы, что
у+
tW 1 *n~fe~Xdx = 1 — 8, (10)
у~
то Q± = G~i(y±1 X ) образуют границы доверительного интервала
уровня 1 — в.
Д о к а з а т е л ь с т в о . Проверим выполнение условий теоре­
мы 2. Поскольку по условию 1) /'е(х,) распределена равномерно
на [0, 1], то — In F q(х,) е Г, л и G (6 , Х)£== Г1п. Другими
словами, P e(G( 6 , X) ^ В) = Г, п(В), и II = Г, „ не зависит от 0.
Монотонность и непрерывность G( 0, х) при каждом х следуют из
условия 2). Кроме того, в силу (10)
H((JT. 1/+)) = Г, Л(у~, у +)) = 1 - 8. <
Можпо указать и некоторые другие конструкции доверитель­
ных интервалов. При эголг, так же как в теории точечного оце­
нивания, сразу же возникает вопрос о том, какой доверительный
интервал, если их получено несколько, считать лучшим. Подхо­
дов, которые здесь существуют, мы коснемся в § 3.8. Однако из
предыдущего нзложепия ясно, что по существу задача поиска
оптилгалыюго доверительного интервала во многом очень близка
задаче оптимального точечного оценивания. Ясно также, что
если мы строим доверительные интервалы с помощью точечных
оценок, то предпочтение следует отдавать доверительным интер­
валам, построенным с помощью лучших оценок.
Близость задач оптимизации точечного и интервального оце­
нивания можпо проиллюстрировать на примере следующего
утверждения.
Т е о р е м а 4. Рассмотрим асимптотический доверительный
интервал (0“, 0+) уровня 1 —в и предположим, что случайная
величина 0* = ( 0+ + 0- )/2 есть асимптотически центральная
264 ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ [ГЛ. 2

(см. п. 2 § 25) а. н. оценка, а величина Д = (0+ — 0 )/2 такова,

что Ь = lim inf А от X не зависит. Тогда 6 > (}/У/(0 ).
71—» Оо
Это значит, что ширина доверительного интервала ( 0~, 0+) не
может быть существенно меньше, чем 2р/У?г/(0 ), т. е. чем ши­
рина интервала уровня 1 — е, построенного с помощью о. м. п. 0*.
Д о к а з а т е л ь с т в о . Допустим противное. Тогда найдется
подпоследовательность чисел {«'}, для которых М п -*■ е(1/У /( 0 ),
с < 1. Так как 0* = 0* ± Д, то
1 — е = lim Р о( 0^ < 0 < 0+) = lim Р 0 ( | 0* — 0 1< Д) =
I I 1 —.О О П '- г О О

«= lim Р0 ( | 6 * - в | ] / л '< ф / Щ ( е ) ) < Ц т Ре ( I в* — е | V n <

П '- ю о п - > оо

<с$/УТЩ ). (11)
Последнее неравенство следует из того, что о. м. п. 0* является
а. э. в классе К° асимптотически центральных оценок (см. теоре­
му 25.4). Так как правая часть в (11) строго меньше 1 — 8, то мы
получили противоречие, доказывающее теорему. <1
6. Многомерный случай. Понятие доверительного интервала
обобщается в случае многомерного параметра 0 е R h в понятие
доверительной области, или доверительного множества.
О п р е д е л е н и е 4. Случайное*) подмножество ©* = ©*(е, X)
параметрического пространства 0 называется доверительным
множеством уровня 1 — е, если
Ре(©*^0)>1-е. (12)
Другими словами, доверительное множество уровня 1 — е на­
крывает неизвестное истинное значение 0 с вероятностью, не
меньшей 1 — е.
О и р е д е л е н н е 5. Если X = [ХоДп Ро, и случайное
множество ©* удовлетворяет соотношению
lim inf Р е (0* э 6) ^ 1 — 8,
П -?о о

то 0 * называется асимптотическим доверительным множеством

уровня 1 — е.
Изучению «точных» доверительных множеств, в том числе
оптимальных, посвящен § 8 следующей главы.
Что касается асимптотических доверительных множеств, то
принцип их построения остается прежним. Учитывая теорему 4,
мы рассмотрим сразу доверительные множества, построенные

*) В этом контексте множество в*(е, X) мы будем называть случай­

ным, если при каждом t множество {X: ( е 0 * (g, X)} измеримо и, стало
быть, овредслепа вероятность (12) (ср. с § 3.8),
§ 32] ВЫБОРКИ ИЗ НОРМАЛЬНЫХ СОВОКУПНОСТЕЙ 265

с помощью о. м. п. 0*. Как мы знаем, при выполнении условий

( № ) , Х ( = Ре
( § * _ е ) Е п / 1У2 ( е ) е .Ф „ ,Е.
Отсюда следует, что
п (в* — 0) I (0) (0* — 0)г ^ Н й,
п (0* — 0) / (0*) (0* — 0)г ^ НА.
Другими словами, если h e означает кваптиль порядка 1 — & рас­
пределения %2 с к степенями свободы, то
lim Ре (и (6 — 0 * )/(0 * ) (0 — 0 *)Г < /ге) = 1 — е. (13)
71-»ОО
Мы построили асимптотическое доверительное множество 0*
уровня 1 — е, которое представляет собой эллипсоид с центром
в точке 0* и с осями, определяемыми матрицей n l (Q*),'hE. Вы­
числять матрицу / ( 0 ) для построения 0 * при этом пе обязатель­
но. Как мы знаем, при выполнении условий ШЮ, Х ^= Р а
L (X, 0) — L (X, 0*) « — ~ (0 — 0*) I (0*) (0 — 0*)Г.

Поэтому эллипсоид 0*, определенный в (13), можно представить

как совокупность значений 0 , для которых
• L (X, 0) — L (X, 0*) ^ — hJ2.

В § 28 было установлено, что предел Р е-вероятпости этого нера­

венства (см. замечание 28.2) равен 1 — е.
Отсюда следует, в частности, что в одномерном случае грани­
цы 0* асимптотического доверительного интервала уровня 1 — е
можно определять, как решения уравнения
L (X, 0) - L (X, 0*) = - h J 2 = - р2/2.

,§ 32. Точные выборочные распределения

и доверительные интервалы
для нормальных совокупностей

Среди всех распределений, перечисленных в § 2, нормальное

распределение наиболее распространено в приложениях. Поэтому
в этом параграфе мы остановимся отдельно на построении точных
доверительпых интервалов для параметров а и о 2 распределения
Ф a 2-
1. Точные распределения статистик х, S Пусть Х ^=Ф 01
и С — ||cij I (г, / = 1, 2, . . . , п) есть ортогональная матрица.
26(5 ТЕОРИЯ ОЦЕНИВАНИЯ н еи звес тн ы х п а ра м етро в [ГЛ. 2

Изучим распределение «-мерного вектора Y = ХС, Y=

Л-
=(Уь•••»У«уУi^ 3=1
Л е м м а 1. Если С — ортогональная матрица, го Y Ф ол,
т. е. координаты у,, . . уп есть независимые случайные вели­
чины, у'г^Ё Фол, г = 1, 2 , .. ., п.
Д о к а з а т е л ь с т в о . Пусть t есть вектор (tiy . .., f„). Нор­
мальность распределения X означает, что его характеристическая
функция равна
. „т ~XtmtT
Me = е 2 ,
где m = 1!/«011 есть матрица вторых моментов, равная в нашем
П
случае единичной матрице Е, для которой tE t = Д] fj,
3= 1
П
- Т 2 ,2
MeitxT = e
Характеристическая функция совместного распределения
Уь . • У» (или распределения вектора Y) имеет вид
/(f) = MeityT = M e itcTxT.
Делая замену переменных t — иС и замечая, что ССТ = Е ,
получим
гг п
_д 2 tt? 2
/(f) = MeiuCYi = МЛи1'Г - e ^ U e 2i=1 \
Это означает, что Y имеет ту же характеристическую функцию
и, стало быть, то же распределение, что и X. <]
Теперь докажем важное для дальнейшего утверждение, кото­
рое носит название леммы Фишера.
Л е м м а 2. Пусть, по-прежнему, Х ^ Ф оД, С — ортогональная
матрица, Y = (уи . . у,г) — ХС. Тогда квадратичная форма

Т(Х)= ...-Уг
1=1
не зависит от случайных величин у,, ..., у г иимеет распределе­
ние %2сп — г степенями свободы: Т (X )£§H n_r.
Д о к а з а т е л ь с т в о почти очевидно, так как после примене­
ния ортогонального преобразования С получим

Т (X) = У-2 — Ух — . . . — Уг — Уг+1 + . . , + у 2.

i—1
Остается лишь воспользоваться леммой 1. <J
§ 32] ВЫБОРКИ ИЗ НОРМАЛЬНЫХ СОВОКУПНОСТЕЙ 267

Перейдем теперь к изучению совместного распределения ста-

П
ТИСТИК X и S о = ■п _ 1 2 — х )2-
1=1
Т е о р е м а 1. Пусть Х ^ ёё Ф а о 2- Тогда
1) (х — а) V и /°€ = ф 0
2) (п — 1) $ 1 /о H n-i,
3) случайные величины х и S n независимы.
Д о к а з а т е л ь с т в о . Утверждение 1 очевидно. Далее, ясно,
что, не ограничивая общности, мы можем считать а = 0 , о — 1.
Имеем
{п — 1) S i = ^ x f — п х 2.
i=l
Заметим, что
- 1 1
X= —— хх + . . . + тугтII= хп
уп
/ 1/ у л
и что /г-мерный вектор-столбец У /т /~ I ^его поРма равна 1) всег­
да можно дополнить до какой-нибудь ортогональной матрицы С.
Тогда у, — Упх есть первая координата Y — XC, и в силу лем­
мы 2 получаем, что
(n-i)s;=
i=i
и что случайные величины ( п — 1) S i н у, = Vи х независи­
мы. <\
С л е д с т в и е 1. Пусть X Фа r2. Тогда случайная величина
f = (х — а )V n /S „ < = Т „ _ „ 7-. е. имеет распределение Стьюдента
с п — 1 степенями свободы.
Это следует из теоремы 1 и представления

t — ( х ~ ~ ° 0 У 1 1 _____________________ \ ________________________

° 1 /" 1 (л —1) s$ ^
V п - 1* 0*

Утверждение теоремы 1 о независимости £о и х может быть

усилено. Оказывается, х не зависит от вектора X — х (т. е. не
зависит от слагаемых S о). Это следует из нормальности х и
Х — х и некоррелированности случайных величин х и х; — х, ко­
торая вытекает из равенства (а = 0 )
2G8 ТЕОРИЯ о ц е н и в а н и я н е и зв ес т н ы х п а ра м етро в [ГЛ. 2

2. Построение точных доверительных интервалов для пара­

метров нормального распределения- Разберем сначала две про­
стейшие ситуации.
а) Пусть X Фа а2 ц о2 известно. Требуется построить до­
верительный интервал уровня 1 — е для параметра а. Вид дове­
рительного интервала в этом случае очевидным образом вытекает
из равенств
Р(1 (х —а)У л /оI < р) = Р (—ofi/Уп < х — а < ор/Утг) = 1 — е,
где, как и прежде, р = Хе/2, Ф0, t((—°°т Ю ) = 1 — б, так что

а ±(е, X) = х ± ар/Угс.
Читателю в виде упражнения предлагается воспользоваться
несколько более формальной процедурой, изложенной в теоре­
ме 31.2, с использованием функции G(a, Х ) ~ ( х — а ) ] /и /а £ = Ф 0. 1-
б) Пусть теперь известно а. Требуется построить доверитель­
ный интервал уровня 1 — е для о2.
Положим
П

Таким образом, границы доверительного интервала уровня 1 — е

будут иметь вид

Е сли использовать процедуру теоремы 31.2, то следует по­

ложить G (а, X) — н.5^/а2£= Н„.
Перейдем теперь к случаю, когда оба параметра а и о 2 не­
известны.
в) Для построения доверительного интервала для а 2 мы вос­
пользуемся статистикой Gt (о, X) — (п — 1) S%/o2. На основании
теоремы 1 Сл (а, Х )(= Нп- 1. Далее поступаем так же, как и
в случае б). Границы доверительного интервала для о2 будут
иметь вид

Легко видеть, что статистики G(o, X) и Gt(a, X) в случаях б)

н в) имеют одинаковое распределение и, стало быть, дают одина­
ковые доверительные интервалы для о2, если только в случае в)
§ 32] ВЫБОРКИ ИЗ НОРМАЛЬНЫХ СОВОКУПНОСТЕЙ 209

мы имеем на одно наблюдение больше, чем в б). Образно говоря,

в случае в) мы «теряем» одно наблюдение ввиду наличия допол­
нительной неопределенности — неизвестного параметра а. Это
наблюдение как бы предназначается для оцепки «мешающего»
параметра *) а .
г) Построим теперь доверительный интервал для а. Восполь
зуемся статистикой G ^ a, X) = (х — a) l / n/ S0. В силу следствия
теоремы 1
М а,
Так как функция G ^ a , X ) удовлетворяет условиям теоре­
мы 31.2, то дальнейшие рассуждения в точности повторяют со­
ответствующие рассуждения в случаях а), б), в). Границы дове­
рительного интервала имеют вид (для простоты возьмем симмет-
ричпый интервал)
а* = х ± те50/Ущ
где тЕ определяется из равенства
P (U „-t ! < Т е) Т е, Те)) = 1 — 8.
— Тп—,((—■
Заметим, что если значепие S 0 близко к о, то полученный до­
верительный интервал будет шире, чем интервал в а), так как
т е > § (см. замечание в § 2). Это опять же объясняется наличием
«мешающего» параметра о, который в а) известен.
Числа г/*, для которых в приведенных рассмотрениях выпол­
нилось соотношение
P(G(0, X )e= (zr, »/+)) = 1 - е ,
на практике обычно определяются с помощью таблиц математи­
ческой статистики.
В § 3.8 мы покажем, что доверигельпые интервалы, построен­
ные в этом параграфе, в известном смысле являются наилучшими.

*) Интересно отметить, что, вопреки первоначальным интуитивным пред­

ставлениям, по одному наблюдению х ( Ф возможно построить до­
верительный интервал для о 2 при неизвестном а. Следующие рассуждения,
показывающие это, были сообщены нам JI. Н. Болыневым.
Выберем и так, чтобы Ф(1/и)—Ф (—1/и) = е, гдо Ф(^) =
= Фо, i( ( —оо, я )). Тогда
Р (о > и \ \ ) = Р (— о/и < Xj < о/и) =
1 _ a < ( х1
и о о и ~ -о )/ = ф 1f1±и - о)
-Ф ( - 1 -
\ и Оj
 ГЛАВА 3

ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ

В §§ 1—3, И излагается теория проверки конечного числа (в частно-*

сти, двух) простых гипотез.
§§ 4—12 посвящены методам построения оптимальных критериев для
проверки двух сложных гипотез. В частности, рассмотрены байесовские и
минимаксные критерии (§§ 4, 9) и использованы принципы достаточности,
несмещенности и инвариантности для построения равномерно наиболее
мощных критериев.
В §§ 13—17 изучаются методы построения ас.имйтотически оптималь­
ных критериев.

§ 1. Проверка конечного числа простых гипотез

1. Постановка задачи. Понятие статистического критерия.
Наиболее мощный критерий. В этой главе речь будет идти о про­
верке каких-либо предположений (гипотез) относительно распре­
деления Р, из которого извлечена выборка X. Здесь, как и в тео­
рии оценок, проблема отсутствовала бы, если бы распределе­
ние Р, из которого извлечена выборка X , было известно.
Решение о том, справедлива данная гипотеза Н или нет»
должно основываться лишь на знании выборки X Р, которая
нам дана, и, возможно также, на знании априорпой информации
относительно Р, если мы таковой располагаем.
Таким образом, чтобы определить процедуру принятия реше­
ния по выборке X, мы должны задать в той или иной форме ото­
бражение выборочного пространства 86п па множество рассмат­
риваемых гипотез. Такое отображение называют обычно статисти­
ческим критерием. Точные определения для различных конкрет­
ных ситуаций будут даны ниже.
Мы начнем с наиболее простой задачи — проверки конечного
числа простых гипотез.
О п р е д е л е н и е 1. Простой гипотезой будем пазывать любое
предположение, однозначно определяющее распределепие вы­
борки X.
Пусть даны г распределений P t, . .., Р г, и пусть нам известно,
что X есть выборка из одного из этих распределений. Задача со­
стоит в том, чтобы определить, к какому именно Р*, / = 1, 2 , . . г,
отпосится X. Каждая из г гипотез
П; = {А' (= Р,} (1)
будет простой, и, стало быть, речь идет о проверке г простых
гипотез.
§1] ПРОВЕРКА КОНЕЧНОГО ЧИСЛА ПРОСТЫХ ГИПОТЕЗ 271

В этой' главе, как и в гл. 2, мы часто будем рассматривать

параметрический случай, когда выборка X извлечена из распре­
деления Р е ^ 9* =* (РеКев- В этом случае при выполнении усло­
вия (А 0) простые гипотезы будут записываться в виде II j —
« = { Х ^ Р е ^ ], где 0 l5 . . 0Г— фиксированные точки из 0 . Слу­
чай ( 1) тоже можно рассматривать как параметрический с конеч­
ным множеством © == {1, . . г}.
Эти рассуждения показывают, что принципиальной разницы
между задачами оценки параметров и проверки гипотез нет —
и там, и там мы определяем неизвестное значение 0. Некоторое
различие все же имеется, и состоит оно в том, что в рассматри­
ваемой задаче проверки гипотез возможные значения 0 дискрет­
ны и подходы, связанные со сравнением, скажем, среднеквадра­
тических уклонений, развитые нами в гл. 2 , тут неприменимы.
Здесь нами будут выбраны другие критерии для сравнения пра­
вил припятия тех или иных гипотез по выборке X.
С дискретностью мпожества возможных значений 0 связано
и другое новое качество, которое здесь появляется,— мы можем
теперь с ненулевой вероятностью точно указать неизвестное зна­
чение 0,- (или распределение Ро^, в то время как в задачах оцен­
ки параметров вероятность такого события, как правило, равна
нулю.
О п р е д е л е н и е 2. Статистическим критерием для провер­
ки г гипотез Hlt ..., Н г называется любое измеримое отображение
б: -> {Hi, ..., ЯЛ.
Другими словами, 6 (Х) есть случайная «величина», принимаю­
щ ая значения Н i, Я 2, ..., Н г: если 6 ( X ) — Hk, то мы принимаем
гипотезу IIk (т. е. считаем, что 0 .= 0* в параметрическом случае).
Отображепие б(*) иногда называют решающим правилом или
решающей - функцией. Понятно, что задание решающего правила
эквивалентно разбиению пространства SB71 на г непересекающих-
ся борелевских множеств Qt, £>z, ..., £2Г, на которых принима­
ются соответственно гипотезы Н и Я 2, ..., II г.
Качество критерия чаще всего характеризуется набором ве­
роятностей ошибочных решений
% = а £(б) = Р ,(Х & Qi) = Р,(б(Х) Ф H t).

Число ап есть вероятность отвергнуть гипотезу Я„ когда она

верна. Это число называют вероятностью ошибки i-го рода
критерия б.
Если нам удалось выбрать критерий б так, что все числа а {
малы, то мы в соответствии с нашим основным принципом, упо- -
мянутым в § 2.31, будем считать, что в одном испытании ошибка
практически невозможна, и будем объявлять, что верпа гипотеза
Л ь, если 6 (Х) = IIh. При этом мы будем ошибаться примерно в
доле случаев а* = Р,(б(Х) Ф II д, если па самом деле верна Я,.
272 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Желательно, конечно провести проверку гипотез таким обра­

зом, чтобы свести к минимуму вероятности всех ошибок. Одпако
если объем выборки X задан, то мы не можем управлять всеми
вероятностями ошибок одновременно. Можно лишь, фиксируя
некоторые из вероятностей ошибок, пытаться минимизировать
остальные.
Мы приходим здесь к вопросу о том, как сравпивать между
собой различные критерии. Введем на множестве всех критериев
для проверки гипотез IIи ..., Нг частичный порядок.
О п р е д е л е н и е 3. Критерий 6i лучше б2, если для всех
i = l, 2, . .., г
ai( 6 t) < cti(62)
и хотя бы для одного i имеет место строгое неравенство.
Однако далеко не всегда критерии 6 t и 62 могут быть срав­
нимы в этом смысле. Точно так же, как могут быть несравнимы
две оценки Bi и 02 с точки зрения среднеквадратического под­
хода, когда в качестве критерия качества мы берем Ме(0* — 0)2.
Чтобы иметь возможность сравнивать критерии, надо сузить
множество рассматриваемых решающих правил. Для этого вве­
дем в рассмотрение классы
= {6 : « j (6 ) = CCjj / = 1 , 2 , . . . , Г 1}.

В классах ^ а 1,...,а г_ 1 уже можно установить отношение по­

рядка между критериями по величине а т: чем меньше а г(б), тем
лучше критерий.
О п р е д е л е н и е А. Критерий б0е К а1,...,аг_ 1называется наи­
более мощным критерием (п. м. к.) в классе K a i ar_ j, если для
любого б е К а%" '>ar_ ±
аДбо) а Д 6 ).
Напомним, что нечто подобное мы делалп в гл. 2, когда за­
нимались сравнением оценок. Там мы выделяли, например, клас­
сы К ь оценок с фиксированным смещением.
Наряду с только что введенным, в теории проверки гипотез
так же, как и в теории оценок, существуют два других подхода,
которые позволяют упорядочить множество всех решающих пра­
вил с помощью одной числовой характеристики — это байесов­
ский и минимаксный подходы.
Прежде чем изучать методы построения паиболее мощных
критериев в классах Ka1,...,ar_ v мы рассмотрим эти два под­
хода.
2. Байесовский подход. Этот подход предполагает, ч т о р а с ­
пределение Pj, из которого извлечена выборка X, было выбрано
случайно. В этом случае гипотезы Е 3 — {X ^ Pj}, j = 1, г
 ПРОВЕРКА КОНЕЧНОГО ЧИСЛА ПГОСТЫХ ГИПОТЕЗ 273

статтовятся случайными событиями, и мы обозначим'вероятности

этих событии через
Q (//,) = q(j),

так что Q есть априорное распределение па множестве гипотез

{II 1, Hr), a q(j) есть априорные вероятности этих гипотез
(ср. с § 2.11). В этом случае сравнивать критерии становится
проще, поскольку мы можем определить здесь среднюю вероят-
Hocib ctQ(6 ) ошибки критерия б:

«<3 (6 ) = S Q № ) P j № (-Y) ф H i) = 2 q </) a j (б ) (2 )

j=l j-=l
и тем самым полностью упорядочить множество критериев по
величине а 0(6 ).
О п р е д е л е н и е 5. Критерий б = б0, который минимизирует
вероятность ошибки 0^ ( 6 ), называется байесовским критерием^
соответствующим априорному распределению Q.
Пусть выиолнепо условие (Д,) — т. е. распределения Р, име­
ют плотности fj(x) относительно некоторой о конечной меры р.
П
Функцию /j (X ) =
i=i
П как и прежде, мы будем называть
функцией правдоподобия. "
Функция / (ж) = 2 Я(/) fj ix ) есть безусловная плотпость
распределения X относительно меры р 7>, a q( j) J3( x ) есть плот­
ность совместного распределения пары (0 , X), в которой помер
0 гипотезы выбирается случайно.
Таким образом, если дана выборка X , то в байесовском слу­
чае можно построить апостериорное распределение Qx гипотез
II3 (мера А, фигурирующая в § 2. 11, здесь — считающая мера),,
которое определяется но формуле Байеса
q (к) /. m
Qa ш = q (к/х) = (з>

Это есть условное относительно X распределение 0.

Через М мы будем обозначать безусловное математическое
ожидание, соответствующее распределению Р нары (0, X).
Т е о р е м а 1. 1) Вероятность ошибки одДб) любого критерия
б удовлетворяет неравенству
ciq (6) ^ 1 — М шах q Ц !Х ) . (4)
J

2) Д ля того чтобы критерий б = 6Q был байесовским для

априорного распределения Q, необходимо и достаточно, чтобы*
18 А. А. Боровков
274 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ 1ГЛ. 3

д ля Р-почти всех значений X он удовлетворял соотношениям

б( X ) = / / ft, если q(k/ X) = max q(j/X). (5)
j
При 6 = 6Q в неравенстве (4) достигается равенство.
Отметим, что правая часть в (4) от 6 не зависит.
Д о к а з а т е л ь с т в о . Пусть дан критерий 6. Рассмотрим со­
бытие Д,, состоящее в том, что критерий 6 приводит к ошибоч­
ному решению:
Я в = и {0 = 7. Ь ( Х ) ф Н , } .
j=i
Тогда очевидно, что аД б) = Р(Д>) и запись (2) есть результат
последовательного усреднения: сначала по X при фиксированном
О= потом по 0. Но мы можем оцДб) записать и иначе: сна­
чала провести усреднение по 0 при фиксированном X , а потом
по X:
Q(б) = Jр {ШХ = х) / (ж) р [dx) —

= МР (D&/X) = М 2 Р (0 = 7, 6 (X) Ф //Д Х ).

j= 1
По 6 (Х) измеримо относительно X, поэтому
Р (0 = /, 6 (X) ^ //ДХ) = / {б (А ')^ )Р (,0 = 7 /Х ') = ( 1 - /(6(ач=яЛ)?(//^ ).
Отсюда получаем
Г
«Q (S) = 1 — м S (7(у/Х) /.б( А ) = и
Л > 1 — м max q (//X).
i= i j
Первое утверждение теоремы доказано.
Достаточность второго утверждения теоремы с очевидностью
вытекает из первою утверждения, так как установленная нижняя
граница для о^( 6 ) достигается для критерия 6Q, определенного
в (5). Изменение 6ДХ) па множестве пулевой Р-вероятности,
■очевидно, оц>(6<Д не меняет.
Необходимость второго утверждения доказывается столь же
просто. Действительно, пусть 6 — 60 есть байесовский критерий
и пусть 6 (Х) = //,„ q(k/ X) < q{l /X) = max qij/X) нри X ^ A,
i
Р (.Д )> 0 . Тогда дтя критерия 6ДХ), который отличается от
6 (Х) лишь на множестве А: 6 ДХ) = //, при Х е Д получим
P(D6j;Л) = Р(Л)- МГ29(;7Х)/,А(.п_н.);л! =
= Р (Л) - М \q(ИХ)- А <
\ I* (Л) -М (
Р ( О б1) < Р ( О б ) = Р ( Д б 0 ).

Мы получили противоречие. Л
 ПРОВЕРИЛ КОНЕЧНОГО ЧИСЛА ПРОСТЫХ ГИПОТЕЗ

Отметим теперь, что запись (5) еще не полностью определяет

критерий 6(/. из лее не ясно, какую гипотезу следует принимать,,
если максималытммн оказались два или более значений q i j / X ),
Речь идет, очевидно, об определении функции 6 q(X) на границах
Г А= {ж G ^ n: q (к) f k (ж) = max q (j) f j (ж)|

множеств
q (A*) fh (ж) > max q (;) fj (ж)j , (6)

на которых, согласио (5), критерием 6Q принимается гипо­

теза Ilh.
Стало быть, Qh есть «внутренность» области
Q? =!*■£= a?": 6Q(x) = / / ft)
приема гипотезы II,п и нам надо в дополнение к (6 ) определить
лишь, какие точки грапицы Г\ относятся к и какие иет. Н а
эта задача, как видно из приведенных рассуждепий, может быть
решена весьма просто: мы можем присоединять точки 1\ к лю­
бой из «прилегающих» областей fif; при этом мы получим то
же значение оч»(б), поскольку (5) будет выполнено. Точнее, если
А а Г кг П . . . П Гар то при Х е Л , согласно байесовскому кри­
терию, безразлично, какую из гипотез H hl, . . . , Н,ц принимать.
Мы можем даже принимать решение случайно — с вероятностью
i
выбирать гипотезу H hi, i = 1, . . . , Z, 2 Pftj = Значение
i= l
a v(6 ) при этом не изменится.
Мы приходим здесь к более общему понятию рапдомизиро-
ваппого статистического критерия (от апглийского слова random)r
которое оказывается весьма полезным.
О п р е д е л е н и е 6. Рандомизированным статистическим кри­
терием для проверки гипотез Н и . .., I I г называется любое из­
меримое отображение л: %&п-+-1Рг\ где /?(г) есть множество век-
Г
ТОрОВ (* ^ j, . . » , Щ -), JXj 0, | 1.
i=l

Рандомизированный критерий каждому ставит в соот­

ветствие распределение вероятностей л(ж) — (я 1(ж), . . л,-(ж)}
на множестве { I I . . . , Нг}, и окончательное решение о при­
еме гипотезы «разыгрывается» случайные образом с этим
распределением (уже независимо от X, после того как л,(Х) оп­
ределены).
Обычный статистический критерий, очевидно, есть частный
случай рандомизированного, когда все л* равны 0 и лишь один
1. Такие критерии мы будем называть нерандомизированными,
18*
276 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ 3

Ошибка i-ro рода гх,(л) для рандомизированного критерия оп­

ределяется аналогично:
(л) = Pi (не принят ь Hi) = 1 — М*л* (X).
В байесовском случае задача минимизации
Г

■ ар(зт) = 2 Q(/) а ; (л)

3= 1

рассматривается совершенно аналогичным образом. Если через

О, как и раньше, обозначить номер случайно выбранной гипоте-
зы с априорным распределением Q, так что Q(0 = /) = q(j)t
и через М, как и прежде, символ безусловного математического
ожидания, то
Г

<Xq (л) = 1 — 2 <7(/) (X) == 1 — М л 0 (X) = 1 — ММ (л 0 (Х)/Х) —

г
= 1 — М 2 Q(//X) (X) ^ 1 — М max q (j / X ).
j=i - з

Итак, мы получили ту же нижшою границу для а«(л), что и

для нерандомизированных критериев. Это значит, что, расширяя
класс критериев,'мы не можем в нашем случае улучшить значе­
ние 0 ^(6 ). Более того, наименьшее значение достигается на не­
рандомизированном критерии бq. Однако при этом число байе­
совских рандомизированных критериев n Q, т. е. критериев, для
которых Og(nQ) == осгДбр), будет значительно больше, чем неран­
домизированных, так как на множестве

= П r ft П Tj,
1 i—L зИкг ......

где Г = ^ П\Г , мы можем взять в качестве n Q(x) любой вектор из

подмноятства ^ ^ ° »состоящего из векторов л, у ко­
торых отличны от нуля лишь координаты с номерами к ч . . . , к,.
Очевидно, что R* состоит из единственного вектора е„, у которо­
го к-я координата равна 1, а остальные — нулю, и мы должны
полояшть
n Q(ж) = ей при х е !□,?.
Поскольку приведенные соотношения с точностью до значе­
ний лр(#) на множестве Р-меры 0 необходимы и достаточны для
того, чтобы
a Q( л °) = a Q(6q) = 1 — M max q (j / X),
3

то мы можем наряду с теоремой 1 сформулировать следующее

утверждение.
 ПРОВЕРКА КОНЕЧНОГО ЧИСЛА ПРОСТЫХ ГИПОТЕЗ 277

Теорема 1А. 1) Д ля любого рандомизированного критерия

«О (л) > 1 — М шах g (j/X ).
3

2) Д ля того чтобы критерий я 9 был байесовским, необходимо

и достаточно выполнение соотношений
я д (а?) = eh п р и х е ,
n Q(x)< = Rkl kl при х<=
■для Р-почти есеа: значений х.
Г
3) Д ля любых j = 1, . . . , г; 2 gj ~ 1 справедливо
3= 1
неравенство

a Q( я с) = 2 q (/) (/) (1 — £,). (8)

i —1 j=l
Е сли min q, > 0 к «е все /,-(#) совпадают, т. е. если существуют
3
значения к , / и множество А , P G 4 )> 0 , па котором }к(х) Ф /Да;),
го знак в неравенстве (8 ) будет строгим.
З а м е ч а н и е 1. Из (8 ) следует, что
ссу(л°) ^ 1 —max д(/). (9)
3
В правой части здесь стоит вероятность ошибки критерия, ко­
торый выбирает IIк, если q(Ic) = max q(j) (это есть байесовский
7
критерий среди всех критериев, не зависящих от выборки X).
Д о к а з а т е л ь с т в о т е о р е м ы 1Л. Первые два утвержде­
ния нами уже доказаны. Чтобы доказать последнее утвержде­
ние, достаточно сравнить байесовский критерий я 9 с критерием
я°(Х ) = g — {gu ..., gr), не зависящим от X, для которого, оче­
видно, аДл°) = 1 —gjt
Г
aQ(я°) = 2 q O') (i — gj) > ао ( ^ ) .
3=1
Если в (8 ) имеет место равенство, то критерий - л°(Х) = g =
= const будет байесовским. По второму утверждению теоремы
.это возможно лишь в случае, когда q i i / Х) = . . . = q(.r/X) P-поч­
ти всюду. Зто, в свою очередь, возможно, лишь когда / t(X) = . . .
. . . = /ДХ) Р-почти всюду, <?(1) = . . . = q(r). <]
Итак, введение рандомизированных критериев не позволяет
уменьшить вероятность ошибки a Qy по увеличивает само разно­
образие критериев и, в частности, число байесовских критериев
я 0. Зто обстоятельство ипогда оказывается полезным.
В дальнейшем под статистическим критерием мы, как пра­
вило, будем понимать рандомизированный критерий я.
278 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

3. Минимаксный подход. Если в байесовском случае .мы из-

омеряли качество критерия средней величиной a q (л) =
= 2 Ч(!) Щ (я )» то теперь мы будем сравнивать максимальные
значения
а (л) = max щ (л) = max а q (л).
з Q
Очевидно, это тоже позволяет упорядочить множество всех
критериев.
О п р е д е л е н и е 7. Критерий л = л, для которого
а (л ) = m in сс(л),
Л

называется минимаксным.
Следующее утверждение является полным аналогом теоре­
мы 2 . 11.2 .
Т е о р е м а 2 . Пусть существует байесовский критерий л
(соответствующий некоторому априорному распределению Q),
для которого
аД л) = . . . = а г(л). ( 10)
Тогда л — минимаксный критерий.
Д о к а з а т е л ь с т в о Обозначим q(j) априорные вероятности,
соответствующие Q. Тогда для любого критерия л имеем
Г Г
« (л) > 2 q (/) aj (л) ^ 2 q (/) аз ( jx) = max ( я) = « ( л ). <з
j= l 3

Распределение Q = iqij)}, соответствующее критерию л, на­

зывают наихудшим (или наименее благоприятным, ср. с § 2 .11),
Ото связано с тем, что при Q = Q достигается

max а<э(л^) = max m in (Xq (ti),

Q Q я
так что минимаксный критерий ( 10) есть байесовский критерий
с самой большой вероятностью ошибиться. Доказательство этого
факта можно найти в продолжении этой книги (см. предисло­
вие). Там же будет показано, что наихудшее распределение и
минимаксный критерий всегда существуют.
Следует, однако, отметить, что в отличие от байесовских кри­
териев минимаксные перандомизироваиные критерии существу­
ют далеко не всегда. Дело в том, что разделяющие границы Tk
множеств (см. (6 )) могут иметь ненулевую вероятность
P fc(X е 1\) > 0. и, стало быть, значения a h(6Q) при непрерывном
измепепий Q могут меняться скачками. Это означает, в свою
очередь, что г —1 уравнение аД 60) = . . . = аЛЬя) для г — 1 пе-
 ПРОВЕРКА КОНЕЧНОГО ЧИСЛА ПРОСТЫХ ГИПОТЕЗ 279

известного g( 1), . . g(r —1) j^g (г) = 1 — 2 Q(/) J могут пе иметь

решения. Однако в классе рандомизированных байесовских кри­
териев минимаксный критерий существует всегда. В качестве
иллюстрации мы подробно рассмотрим этот вопрос для случая
г — 2 в следующем параграфе.
Итак, мы пашли явный вид байесовских критериев и устано­
вили, что с их помощью можно строить минимаксные критерии.
Оказывается, что аналогичным образом можно строить и наибо­
лее мощные критерии в классах введенных в н. 1.
4. Наиболее мощные критерии. Определение перандомизиро
вантюго н.м.к. было дано в п. 1. Нам будет удобно здесь распро­
странить это определение на класс рандомизированных крите­
риев. Пусть, аналогично п. 1, K ai аг__1 означает класс рандоми­
зированных критериев с фиксированными значениями вероятно­
стей ошибок /-го рода, / = 1, . .., г — 1':
Kav ...,ar_ x = {л: CLj (я) = afi j = 1, . . ., Г —Д}.
О п р е д е л е н и е 8 . Критерий я 0 е ^ а 1,...,а г_ 1 называется
Н.М.К. вKalt;m.tаг_ , если для любого я е К а1 а г 1
ОтЫо) ^ а г(я).
Т е о р е м а 3 Предположим, что существует распределение
Q = {g( 1), . . . , qir)), такое что
a j ( n Q) ^ l - M j n?( X) = a J: / = 1,...,г-1 (11)
(по существу, мы имеем здесь г — 1. уравнение для неизвестпых
д(1), ..., g ( r — 1)). Тогда байесовский критерий n Q, определен­
ный в (6 ), (7), будет наиболее мощным в классе К а tar^
Д о к а з а т е л ь с т в о . По определению байесовского критерия
аД я^) ^ а<Дя).
Это значит, что для я е Kai аг_ х будем иметь

2 я (/) щ ( я<3) < 2 я (/) щ + я ir) «г (я).

3— 1 3— 1

Но аД я9) — а} при / ^ г — 1 и, стало быть, а г(яе) < а г(я). <

Здесь по той же причине, что и при отыскапии минимаксных
критериев, уравнения ( 11) в классе нераидомизироваипых кри­
териев б не Всегда разрешимы. В классе рандомизированных
критериев положение существенно меняется. Это обстоятельство
будет проиллюстрировано в следующем параграфе.
Приведем теперь пример довольно распространенной реаль­
ной задачи о проверке конечного числа простых гипотез.
280 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ ГГЛ. 3

П р и м е р 1. Пусть гипотеза /Д означает, что пациент, при­

шедший на осмотр к врачу, здоров, a Hh — болен некоторой опре­
деленной болезпью A h, к ^ 2 . Задача врача состоит в том, чтобы
па основании наблюдений (которые можно записать в виде век­
тора xi = (хи, х,2, • . Xis), представляющего из себя многомер­
ную выборку X единичного объема) принять одну из гипотез Н
Болезни A k фиксируются нами для того, чтобы гипотезы //* бы­
ли простыми и тем самым полностью определяли распределение
выборки X. Если врач принимает гипотезу # ft, к ^ 2, в то. время
как па самом деле верпа Н и то он совершает ошибку одного ти­
па. Если же наоборот — он больпого (Hk) признает здоровым
то совершает ошибку другого рода. Нетрудпо понять, что
«эффекты» от ошибок этих двух типов могут быть существенно
различными.
Из результатов, изложенных выше, мы видим, что для по­
строения наилучшего решающего правила мы должпы знать рас­
пределения вектора наблюдаемых величип (хи, . . х1я) для здо­
ровых людей и людей, больных болезнью A h (для этого нужны
обширпые статистические данные медицинских обследований).
Разумеется, значительная часть проблемы здесь состоит в самом
выборе s и наблюдений (хи, Xi2, х^). Во многом именно здесь
проявляется искусство и опыт врачей.
Если же вектор (хи, . .., xJS) выбран достаточно обоснованным
образом, то теоремы 1—3 указывают нам прямой путь для алго­
ритмизации задач диагностики заболеваний.

§ 2. Проверка двух простых гипотез

В этом параграфе мы несколько подробнее остановимся на
частном случае, когда проверяются г = 2 простые гипотезы.
В задачах проверки гипотез последние часто играют несим­
метричную роль, как это было, скажем, в примере 1.1. Поэтому
одну из гипотез, например Н и принято называть основной,
а остальные — альтернативами. Вероятность ошибки первого ро­
да аДб) критерия б в этом случае называют также размером,
а число 1 —аДб) — уровнем критерия. Число р(б) = 1 — а 2(б) на­
зывается мощностью критерия.
Область 0 2 <= %&п приема гипотезы Н2 нерапдомизироваппыхв
критерием б в случае г = 2 называют критической областью.
Вероятность Р 2(Х ^ 0 2) попадания в эту область, когда верпа
Н 2, будет равпа мощпости критерия р( 6). Отсюда происходит
название «наиболее мощный критерий» для критерия б, на ко­
тором р(б) достигает своего максимума при фиксированном уров­
не критерия б.
Отметим теперь, что в случае г = 2 любой критерий, в том
числе и рандомизированный, можно характеризовать одной чис­
ловой функцией. Действительно, произвольный рапдомизировап-
 ПРОВЕРКА ДВУХ ПРОСТЫХ ГИПОТЕЗ 281

ыый критерии л (ж) полностью определяется значением его г ко­

ординат (лДж), ..., л,(ж)). Но так как 2 л .?(ж) = то в случае
г = 2 достаточно задать одну функцию, скажем л 2(ж). Эта функ­
ция определяет вероятность принятия альтернативы Н2. Мы бу­
дем обозначать ее л (х) и называть критической функцией кри­
терия л, который будем обозначать той же буквой л. Очевидно,
что для иерапдомизнрованпых критериев л (ж) принимает лишь
значения 0 н 1; в общем случае 0 ^ л (ж) С 1.
Размер осДл) критерия л (или б) и его мощность р(л) выра­
жаются через л(ж) следующим образом:
a i (л ) = Мхл (X), р (л) — 1 — а 2 (л) = М2л (X ).
Обозначим через Z отношение правдоподобия
Z = Z(x) = Д 2(ж)//Дж),
которое мы будемрассматривать лишь для значений ж, при ко­
торых оноопределено, т. е. д л я ж, при которых /Дж) 4- /Дж) > 0.
Т е о р е м а 1 . 1 ) Пусть с = q(i)/q(2), где Q = (<?(1), <7(2)),
<Д2) = 1 — §(1) есть заданное априорное распределение. Тогда
критерий л с, р с критической функцией
( 1, если Z (ж) > с,
р (ж), если Z (ж) = с, (1)

0, если Z (ж) << с,

при любой измеримой функции р(х), 0 < р{х) С 1, является

байесовским для распределения Q: л с_р = лд.
Параметры а Д л с>р) и а 2Ыс, Р) критерия л с, Р удовлетворяют
неравенству

2 Я (/) aj (л с,Р) (/) (1 — gj) (2)

з=1 i=i
при любых gj > 0 , g\ + g 2 = i.
2) Д ля заданного е > 0 такого, что РД Х > 0) > е, существ
ют с > 0 и р(х) = р = const такие, что л с, Р^ / С = (л: аД л) = е)
и л с. р является н .м .к . в К Е. Числа с и р определяются как ре­
шение уравнения
«1 (л с,Р) = MjHc.p (X) = Р г (Z (X ) > с) + />Рг (Z (X) = с) = в. (3)

При этом мощность критерия р(лс, р) = 1 —а Д л с>р) удовлетворяет

неравенству
р(-лс>р ) ^ е . (4)

Если соотношение / 2( ж) =/ Дж) п. в. [р] не выполнено, то. не­

282 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Критерий п С' Р минимизирует вероятность ошибки первого

рода аД я) в классе К всех критериев я с фиксированной вероят­
ностью ошибки второго рода: К — {я: а 2(я) = а 2(я с>Р)).
3) Существуют с > 0 и р(х) = р = const такие, что критерий
я с>р будет минимаксным. Числа с и р определяются из уравне­
ния а^Яс.р) — а 2Ыс,р) или, что то же, из уравнения
Р t(Z(X) > с) + Р a(Z(X) > с) +
+ р[ P 4(Z(X) = с) + Р 2(Z(X) = С)] = 1. (5>
Очевидно, что если Р 1-распределение Z(X) непрерывно, т. е.
Р iiZ(X) = с) = 0 при всех с 5* 0 , то в последних двух утверждени­
ях теоремы мы можем положить р = 1 или р = 0.
Заметим также, что
P t (Z(X) = C) =

= J J ^ - ^ ( d X) = ± P 2( Z ( X ) = c),
Z (jt)= c Z ( jc) = c

так что непрерывность на (0, 00) Р^распределепия Z влечет за

собой непрерывность Р 2-распределепия Z.
Критерий л с, р, основанный на отношении правдоподобия Z,
называют критерием отношения правдоподобия.
Теорема 1 показывает, что все оптимальные критерии являют­
ся критериями отношения правдоподобия.
Второе утверждение теоремы 1 носит назвапие леммы Ней-
мана — Пирсона. Если в пем условие P , ( Z > 0 ) > e не выполне­
но, т. е. если P t(Z = 0) — 1 —б, б < е, то н. м. к. я (х) —
будет иметь мощность 1 и размер 6 < е. Например, если посите-
ли распределений P t п Р 2 пе пересекаются, то Z = 0 па мно­
жестве, где /До?) > 0 и, стало быть, P 1( Z > 0 ) = 0. В этом случае,
гипотезы //i и / / 2 различаются по одному наблюдению с вероят­
ностями ошибок, равными нулю, т. е. различаются детерминиро­
ванным образом.
Доказательство т е о р е м ы 1. Первое утверждение
теоремы является прямым следствием теоремы 1.1 А.
Для доказательства второго утверждения можно воспользо­
ваться теоремой 1.3. Покажем сначала, что уравнение (3) всег­
да разрешимо относительно с и р. Очевидно, что функция
(p(c) = P , ( Z > c ) пе возрастает па [0, °°). Случайная величина Z
относительно распределения P t является собственной, т. е.
Ф(с) = Р , (Z > с) =

= J f i(x)pn( d x ) c ~ j / 2 (*) Ц" (dx)= Р 2 (Z > с) О

Z (J t)> c Z(x)>c

при с °°. Так как по условию ф(0) ^ в, то найдется сее ( 0 , °°)

 ПРОВЕРКА ДВУХ ПРОСТЫХ ГИПОТЕЗ 283

такое, что (<р(с) непрерывна справа)

ф(сЕ—0) 5= е, ф(с8) е. (С)
Если мы положим в (3) с — се и обозначим Де = ф(се —0) —ф(сЕ),
то нолучим
СCi ^ ЗХсе,р) — ф (Се) Ч- рДе*
В силу (6 ) здесь, очевидно, всегда можно выбрать р е [0, 1] так,
чтобы"*) ф(се) + дДЕ= е.
Теперь мы можем поступить так же, как в доказательстве
теоремы 1.3. Положим <?(1) = qE— сЕ/(с е + 1) п фиксируем выбран­
ное нами р. Тогда критерий ^ се.р будет байесовским, соответ­
ствующим распределению Qe = (qe, 1 — qe), и в то же время
a i ( л се,Р) = е. Это означает, в силу теоремы 1.3, что я Се>р явля­
ется п. м. к. в К е.
Если взять критерий л(х) == е, то мы получим
л ее К е, а 2( я С|51р) < а 2 (я) = 1 — 8, р ( я Се>р) > е.
Это есть не что иное, как неравенство (2) ((1.8)) при g2 = £.
Стало быть, если соотношение f2( x ) = f l(x) и. в. [р.] не выполне­
но, то эти неравенства будут строгими. Утверждение теоремы о
минимизации ос,(л) па критерии л с. Р в классе К = (л: а 2(.я) =
= а 2(я С1р)} следует из нрпведеипых выше рассуждений и сим­
метрии относительно гипотез I I i и Я 2 постановки задачи в пер­
вом утверждении теоремы.
Для доказательства третьего утверждения теоремы 1 следует
воспользоваться теоремой 1.2. Для этого нам надо проверить
лишь, что уравнение аДяс, „) = а 2(яс, р) разрешимо относительно
с и р. Это уравнение можно записать в виде
(X ) — 1 — М2я с>р (У)
или, что то же, в виде (5). Разрешимость его устанавливается
точно так же, как разрешимость уравнения (3). Надо заметить
лишь, что всегда P t(Z > 0) + P 2(Z > 0) > 1, так как Р 2 (Z 0) =
= \f f 2( x ) n n ( d x ) = 1. <
; 2(*)>о
Мы видели еще раз, что цель введения рандомизированных
байесовских критериев состоит в обеспечении «непрерывного» из­
менения параметров этих критериев (возможные значения раз­
меров критериев я с>р заполняют весь интервал (0, 1)). Отсутствие
такого непрерывного изменения параметров, связанное с тем,
что на множестве положительной Р^вероятности возможно ра­
венство f i ( x ) = с/ 2Ст), составляет осповыое препятствие при
отыскании критериев заданного уровня или минимаксных кри-

*) Ясно, что если <р(с) пепрерывпа в точке се, то проблема реш ения
(3) сводится к отысканию квантиля распределения Z порядка 1 — е.
284 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

терпев в классе перапдомизировапных критериев. Эта картппа

полпостью сохраняется и в случае проверки большего числа
гипотез.
Важно отметить также, что два вида оптимальных критери­
ев — наиболее мощные и минимаксные — оказываются байесов­
скими при тех или иных априорпых распределениях. Нетрудно
видеть также, что класс всех наиболее мощных критериев сов­
падает в известпом смысле с классом всех байесовских критериев.
Такое положение, при котором в качестве основы для выбора
оптимальных критериев можно использовать байесовский подход,
во многом сохранится и в дальнейшем.
П р и м е р 1. Рассмотрим пример 2, приведенный во введе­
нии. В этом примере гипотезы II t и //2 имеют вид Н х —
=■ (Хгб== F (ж)}, Н 2 = {х*б== F { х — а)}, где F i x ) — заданная
функция распределения, а — данное число. Предположим, что
Fix) имеет плотность fix) и что случайная величина fixi —а)/
/ f i x i) имеет непрерывное распределение. Тогда по лемме Ней­
мана — Пирсона (п. 2 теоремы 1) среди всех критериев уровня
1 — е критерий

будет наиболее мощным в рассматриваемой задаче о проверке

гипотезы II 1 (объект отсутствует) против гипотезы П 2 (объект
присутствует). Число се определяется из условия

р - ( | , ' п 1 т г а 4 > ," ' - ) - * :

При больших п для вычисления этой вероятности мы можем
пользоваться, очевидно, центральной предельной теоремой.

§ 3*. Два асимптотических подхода к расчету критериев.

Численное сравнение

1. Предварительные замечания. В §§ 1, 2 мы нашли форму

оптимальных критериев для проверки простых гипотез. Термин
«расчет критериев», который мы употребили в заголовке, будет
означать вычисление параметров, характеризующих критерий.
В задаче о н. м. к. в случае г = 2 это есть отыскание величин с&
и р для заданного е > 0 и определение вероятности ошибки вто­
рого рода а 2( я Се(р) или, что то же, мощности критерия Р (^ ге,р) =
= 1 — а 2( л се,р). Можно поставить вопрос и несколько ипаче. Мы
видели, что все оптимальные критерии в случае г = 2 имеют вид
функций п с, г, представленных в (2.1). Пусть дан критерий
зхс т. Как определить для него вероятности ошибок аДл.с-1()?
§ 3] ДВА АСИМПТОТИЧЕСКИХ ПОДХОДА К РАСЧЕТУ КРИТЕРИЕВ 285

Этот же вопрос возникает, конечпо, и в общем случае г > 2

для критерия (1.7), по мы в этом параграфе ограничимся для
простоты лишь случаем двух простых гипотез.
Ниже рассматриваются асимптотические подходы, позволяю­
щие приближенно (при больших п) решать эти задачи. Такие же-
подходы можно использовать и для расчета критериев, которые
будут рассматриваться в дальнейшем.
Итак, пусть дан критерий (2.1) и пусть для простоты распре­
деление /(X ) непрерывно, так что мы можем положить р = 1.
Тогда критерий (2.1) станет нерапдомизироваииъш (мы обозна­
чим его 6С), и нам требуется найти значения
a , ( 6c) = P 1 ( i ^ L > A (1>

71 *
Так как /j (X) = П / j ( xi), то событие, стоящее под знаком ве-
i —1
роятности в ( 1), можно записать в виде
V ,' ^2 (Xi) 1
- A lnW > Inc’
где слагаемые
, f2 ( Хг)

очевидно, есть независимые, одинаково распределенные в каждом

из случаевX ^ P j , 7 = 1, 2 , случайные величины.
Таким образом, дело сводится к изучению распределений
71
сумм 2 Щ случайных величин тр.
В дальнейшем мы будем предполагать, что объем п выборки
X неограниченно возрастает. При этом под критерием мы будем
понимать на самом деле последовательность критериев, опреде­
ленных при каждом п (такое же соглашение мы использовали
для оценок в гл. 2 ).
2. Фиксированные гипотезы. В этом разделе мы будем пре
полагать, что распределения Р,- фиксированы, т. е. от объема
п -*■ °о выборки Х„ = [X«J„ не зависят. Рассмотрим задачу рас­
чета н. м. к. фиксированного уровня 1 — е. Имеем

Mpii = — а = J / j (х) 1п р {dx) = — (Рх, Ро) < О,

Г (•*•)
M 2‘1i ^ Ь = ) п {х) 111 р (dx) - р, (Р2, Pj) > о,

где pi еегь расстояние Кульбака — Лейблера (см. § 2.21 ).

 286 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Ото означает, в силу закона больших чисел, что Р г распрсде-

71
1 VI
ленне —
П 2а П; будет сосредоточено в окрестности точки —а,
i= 1
а Р 2-распределецие — в окрестности точки Ъ. II это «разделение»
распределении будет в смысле леммы Неймана — Пирсона наи­
лучшим. Обозначим oj = Djrjj и предположим, что of <С оо. - Тогда

= Г, ( | Ч. > 1» с ) = I*. (g (Ч, + «) > ^

(2)
Выберем в качестве с — с(п) любую последовательность, для
которои
In с -[ - ап .
7= '-е)
Ojl V П

где К, как и прежде, квантиль нормального распределения уров­

ня 1 —8 . Тогда из (2) н центральной предельной теоремы сле­
дует
а , ( 6с) ~ 1 - ф ( ' ^ + Г (3)

- О п р е д е л е н и е 1. Критерий л, удовлетворяющий соот­

ношению
lira а х (л) = lim МхЯ (X) = е,
11—
>ОО * n~*VQ

называется критерием асимптотического уровня 1 — е (или асимп­

тотического размера в). ‘
Стало быть, при
In с — —ап + ?veOiVw + о(У/г) (4)
критерий 6с будет иметь асимптотический уровень 1 — 8.
Соотношение (4) можно рассматривать как приближенное ре­
шение уравнения для числа се, для которого а х ( 6Cf.) ~ е.
Положим для определенности In с = —ап + K c j n инайдем
для выбранного с асимптотическое поведениевероятности ошиб­
ки второго рода

«о (6С) = Р 2 ( 2 Чг < In с] = Р„( 2 r)i < — ап + Vn) =

\ i~ l / \ i — I J

= P 2 ( — дт=- 2 (Hi “ &) < — (« + b) n /n 2 + I j. (6)

\ o 2 Vn ~ J
§ Л] ДВА АСИМПТОТИЧЕСКИХ ПОДХОДА К РАСЧЕТУ КРИТЕРИЕВ 287

Так 1*ак —(а + Ъ)Мп/ог + А£с ,/с 2 —°° при /г-*- оо5 то применение
здесь центральной предельной теоремы дает нам лишь, что
а 2(бс) 0.
Задача вычисления точного асимптотического поведения пра­
вой части в (5) приводит нас к задаче о вероятностях больших
уклонений для сумм случайных величин тр.
Приведем здесь результаты о вероятностях больших уклоне­
ний, изложенные в § 5 гл. 7 [11]. Пусть нам надо вычислить
асимптотическое поведение ? ^ 2 £ i > XJ при п -*■ оо, х оо, где-
пезависпмы и одинаково распределены. Предположим, что рас­
пределение имеет абсолютно непрерывную компоненту п что-
я]>(А) = МеА* <С со
при некоторых А > 0. Пусть, далее,
A+ = sup{A: Д(А) < оо},

Л(ос) = —ini {—аА + In i[)(A)},

x
и A(a) есть значение Я, при котором этот inf {•} достигается.
Тогда справедливо следующее утверждение. (См. теоремы 9,
10 § 5 гл. 7 [44]. Условия Dt* = 1, М£г = 0, фигурирующие в
этих теоремах, ие играют роли.)
г • х — яМН,г
Т е о р е м а 1. Пусть — >- оо так, что
у п
1- х ^ ^ (^+)
Jini sup — С а + = , тт [ *
П-»со "
Тогда уравнение
a\f(A) = 'ф'(Я) (7>
для точки Я(а) имеет при а < а+ единственное решение,

Р ( 2 fei > х I ~ —— т = ехр {— пА (а)}, ( 8)

\Й j o ( n ) U( a ) | У 2д» " W
где
х , , г Ф" (X ( а ) ) о
а = —,
п ’
a 24(a)7 -•
ф (А, ( а ) )
-------а".

о.ке того, справедливы соотношения

Л (М £0 = о, Л ' (а) = Я (а),
288 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Вернемся теперь к вычислению .асимптотического поведеиия

величины а 2(бс), определенной в (5) и равной

Р 2^ — 2 > an — i j V wj = Р 2 ( 2 (“ *li + b) > (а + Ь)п— у V n j

при у = X,eot. Чтобы воспользоваться приведенной теоремой, надо

ПОЛОЖИТЬ

f = — Чг ~ 1
£t In ■U
у М: , лГ~
Х ~ ап — у ]/ П.
2 V г)

Тогда получим при 0 sS А 1

^ (а ) = М2е ^ = J / 2 (ж) (/i (x)/f,{x))K р (dx) —
= J /1 И 1 \~ K И И (<&) < (J /i И Ц (J /г ( х ) 11(^))г Х = 1-
Отсгода следует также, что г]5(А) будет конечным и в некото­
рой окрестности точки А = 1, если

Jh (х ) (fi (*)//* (Х)У V (<&) < '«> (9)

при каком-нибудь у > 0. Далее, уравнение для точки А(а) будет

иметь вид
_ д . Ч’' W = о
+ 4>W ’
НЛП
Г / (-г)
Я})' (А) =5 J / я (л:) (Д (.?)//, (т:))? In - р (do:) =

= а J / 2(ж) (/г (ж)//2 (.г))'’ р (dx). ( 10)

С (Ч
Если а = а = pt (P l5 Р 2) — J / i (■£') In ^ ^ р О&г), т0 (Ю) будет
удовлетворено при А = 1. Это означает, что
А(й) = 1, я]}(А(я)) = г|'(1) = 1.
Отсюда следует, что
А (а) = «А (а) — In \р (А (й)) = а,

Т" («)) = Т" (!) = J / i (х) ( 1п /*{т) ) Р

а 2(й) — зр" ( 1) — й2 = (Tf,
А' (а) = А (а) = 1, А (а) = од 2.
 - ДВА АСИМПТОТИЧЕСКИХ ПОДХОДА К РАСЧЕТУ КРИТЕРИЕВ 289

Условия приведенной теоремы будут выполнены, если

■f (х()
1) Р 2-распределепие I n —- у 1- имеет абсолютно непрерывную
2 \ 1/
компоненту.
2) j /г (х ) (/г (ж)//г (X))VP {dx) <С оо при каком-нибудь ^ > 0 .
Учитывая, что в нашем случае функции о(а), >„(рс), А " (а ) не­
прерывны в окрестности точки а — а и что а — x fn — a — yflln,
мы получаем А (а) = а Ч ^ — р о ( — ).
у п 2о~п \ 111
Итак, мы можем сформулировать теперь следующее следствие
цитированной теоремы.
С л е д с т в и е 1. Пусть выполнено условие (9) и \*2-распреде-
f j
ление In имеет абсолютно непрерывную компоненту. Тогда
при п -> оо

а 2 (бс) - Р 2 2 Дг > ап — у V n j ~

~ — Л = е х р {— па-У у V n — if-/(2o]) 1 =
Oj у Znti

= — х т = е х р {— n p ^ P j, Р2) + К£о 1 V п — (11)

У Znn

Таким образом, а 2(6с) убывает при п-*-°° экспоненциально*).

Нетрудно видеть, что если мы возьмем фиксированное с в
( 1), то обе вероятности а Д 6с) и а 2( 6с) будут убывать экспонен­
циально, как и значение a Q{6Q) при любом фиксированном Q.

*) Мы получили заодно возможность дать еще одно определение рас­

стояния Кульбака — Лейблера:

Pl(pi»p2) = - l —
im
> оо
T ln “ .(«c) = " - itIlm
i оо
T- O *nf
S -K g
1пв2(б).

В связи с этим можно отметить, что тот же порядок малости

ехр{—npi (Pi, Р2) } имеет Р2-вероятность трго, что эмпирическая функция
распределения F* попадет в окрестность функции распределения 1\,
соответствующей Р,. Точнее, если 6 = 5 ( п ) —>-0 достаточно медленно, то

п " 1 Ь ? 2 ( S x P I 7 ” ~ 1 1 ^ I < б ) = р 1 ( Р 1 * Р з ) (1 2 )

(теорема Сапова). Таким образом, расстояние р, (Pi, Р2) имеет глубокий

вероятностный смысл. Доказательство соотношения (12) читатель может
получить, преодолев незначительные трудности, из теоремы 0 § 2 гл. V в [И ].
1 9 Л А. Боропкоп
290 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Так как

М _ J д (<r) Ц {dx) = ф (1 — Я),

min iHA,) = min if(l — %),

х к
то а ,(б с) и сг2(бс) будут при этом убывать с одипаковой ско­
ростью (зависимость от п будет одна и та же). Это означает, что
минимаксный критерий будет соответствовать некоторому фикси­
рованному с, приближенное значение которого нетрудно найти,
решая уравнение cti(6c) = а 2(6с) и пользуясь асимптотическим
анализом правой части (8 ) при а с/п, п оо.
Экспоненциальное приближение (11) действует достаточно хо­
рошо при больших щ если только нормированное уклонение
* + иМ2т] у~ Ае0 г
(Pi (Pi, Р.) + Pi (P., P i ) ) (13)

также велико (см. формулировку теоремы).

В тех прикладных задачах, где число п ограпичепо значения­
ми порядка 100, это условие выполняется довольно редко, и зна­
чение (13) часто оказывается сравнимым с 1. Это делает затруд­
нительным использование описанного подхода к вычислению
а 2(бс) и соответствует той ситуации, когда значение а 2( 6с) вместе
с аДбс) не очень мало (имеет величину, сравнимую, скажем, с
0,1). В то же время значения п порядка 100 вполне достаточны
для удовлетворительного применения центральной предельной
теоремы в зоне «нормальных уклонений».
Таким образом, вопрос, интересующий нас, состоит в том, ког­
да мы можем пользоваться нормальными приближениями

a , f t ) = Р , ( £ П. > ! » « ) * 1 - Ф
(14)
( v-i , ^ /Inc-nMr
а 2(6С) =*= Р 2^ ^ < In с I « ф

для вычисления обоих значений а 4(бс) и а 2{бс).

Для обоснования формул (14) возникает другой подход, ос­
нованный па предположении, что гипотезы II t и IIг являются
близкими.
3. Близкие гипотезы. Мы будем здесь рассматривать выборку
X в схеме серий и предполагать, что распределения P lt Р 2 зависят
от п так, что
pi(Pt, Ра) + Pi(Pa, Pi) 0 (15)
 ДВА АСИМПТОТИЧЕСКИХ ПОДХОДА К РАСЧЕТУ КРИТЕРИЕВ 291

при п оо, а последовательность (13) сходится к конечному по­

ложительному пределу.
Чтобы облегчить рассуждения и сделать их полезными для
дальнейшего, мы ограничимся здесь параметрическим случаем,
когда X Ре,
/Л = (6 = e j , / / 2= {0 = e j ,
а семейство (Ре) удовлетворяет условиям регулярности (R R ) (см.
§ 2.24).
Сделаем сначала несколько неформальных замечаний, поясня­
ющих существо дела. Мы рассматриваем близкие гипотезы, т. е.
предполагаем, что 02 —01 + 6, где б мало. Тогда логарифм отно­
шения правдоподобия, на котором построен н. м. к., представим
в виде *)
/в (х )
1п 7 Г (* Г ~ 6 Z /(X ,0 l)* (16)
Статистику U = L' ( X, 0 0 — главную часть в (16),— называют
иногда эффективным вкладом. Если верна гипотеза I I i, то
Ме/ / = 0 , D ejtf = n l (©!).
Т ак как
U (.X , В,) - U (X , 02) ~ бU (X , 02), М0 L" (*> 02) = - п 1 (02),

то
Мв2£ / ~ б н / ( 0 2) ~ 6 п / ( 0 О ,
De2C/ — n l (02) — n l (0 0 -
Это озпачает, что распределения U при гипотезах H t и Я 2 и при
больших п будут различимы, если только величина
Mo У — М01Я ~ бтг/ (00 будет значительно больше или сравнима
1 3 ~ V n l (00. Другими словами, должно выполняться ра­
венство Ьп = vl/n, v Ф 0 , или, что то же, б = vfl/n.
Итак, переходя к более точному изложению, мы будем пред­
полагать, что
02 = 0 ! + и/ 1 4 (17)
С

где величины 0 t и v мы будем считать фиксированными.

Положим, следуя обозначениям гл. 2,
/ 0 4 -t ( X ) г \

= у - (v) = ln Ш - '
*) Знак , используемый здесь, означает асимптотическую эквивалент­
ность при б 0,
19*
202 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ ГГЛ. 3

Тогда
/р9 (X)
% ^ = ln 7~'(Х) = y i = “ у 2 (— ”)• (18)

В силу теоремы 2.29.3 при X Р ()1 имеем

У 1 ( V) = Uv - i . с 2( / (0j) + е„),(19)

где &п— >-0, £rt/ -1/2 (0j) (==> Ф 0 j. Аналогично при X Ре„
% ' ■ ’
Y 2 (— v) — | 71Р + ~2 ^'2 (®г) "1* ®я),

где е,г— *>0 , £м/ -1/8 (02) (=> Фол*

р®2
Так как /(0 2) -*• / ( 6А), то мы получаем, что при гипотезе FIh
7 = 1, 2,
П 2

2.1.~ЕМ /ПОа-Н-Ц^П0,), 5ёфы-

г—1

Ото означает, что из теоремы 2.29.3 вытекает

С л е д с т в и е 2. Пусть выполнены условия (/?/?), (17). Тог­
да при любом фиксированном с справедливы формулы (14) илиу
более точно,
2

Т П ° < ) -И " С
ах(6С) = Рех^ 2 Л*> In cj 1 —Ф
| о | 1 / 7 ( 0 ,) Г
V К 1} ' (20 )
\ ( —~2~I (0 1) + In с
а , ( Ц - Р , [ Ь < Ь с р ^ *

О п р е д е л с п и с 2. Критерии и л 2 называются асимпто­

тически эквивалентными, если
lim sup | a.j (nj) — aj (я 2) | = 0 , 7 = 1, 2 .
?l->oo

Критерий л называется асимптотически наиболее мощным

критерием (а. п. м. к.), если
11. м. к.
Так как в представлениях
этих представлений следует,
ластью
‘ '- (V ' ■>
он асимптотически эквивалентен
(18), (19) | n = L' ( X, 0 :)тг~1/2, то нз
что критерий 6 с критической об­
.yd, d± Ш + £
21 r I / / ( В , )
§ 3] ДВА АСИМПТОТИЧЕСКИХ ПОДХОДА К РАСЧЕТУ КРИТЕРИЕВ 293

(здесь играет роль знак и), будет иметь те же предельные значе­

ния а,-(б), что и критерий бс, и, следовательно, является а и. м. к.
Кроме того, в силу результатов § 2.29
ln= L'(x, е1)/Уи = (0 * -е 1)Уй'/(е1)(i + e„(x, е,)),
€n ( ^ , 9 i)— ^ 0 . Отсюда следует, что критерий с критической
*е4
областью
i7(0*-et)Vft/(e1)> i;d (2 1 )
также будет а. н. м. к.
Чтобы получить н. м. к. бс асимптотического уровня 1 — 8, до­
статочно в (20) положить d — hc. Вероятность ошибки второго
рода а 2(бс) будет сходиться к Ф (—к 1// ( 01) + А,е).
При с = 1 оба предела в (20) будут иметь одно и то же зна­
чение
lim aj(6c) = Ф(—nV/(8i)/2).
71-^00
В этом случае критерий бс (ср. с теоремой 1.2) естественно на­
зывать асимптотически минимаксным.
4. Сравнение асимптотических подходов. Числовой пример
В разделах 2, 3 мы рассмотрели два асимптотических подхода,
каждый из которых оправдан в определенных условиях и кото­
рые позволяют указывать приближенные зпачения вероятностей
ошибок первого и второго рода н. м. к.*). В случае фиксирован­
ных гипотез эти формулы даны в (3), ( 11), в случае близких
гипотез— в (14), (20). Формулы (11), (20) являются вторичным
приближением по сравнению с (8 ), (14). Поэтому при возможно­
сти следует отдавать предпочтение последним.
Мы уже отмечали, что для малых значений аДб), а 2(б) (ска­
жем, порядка 0,01 и мепее) целесообразнее испйльзовать подход,
связанный с фиксированными гипотезами. Здесь нам важно
иметь достаточно хорошую относительную точность приближения,
которая обеспечивается формулами (8 ) и не гарантируется цент­
ральной предельной теоремой. Если же а,(б) и а 2(б) сравнимы
с 0,1 (скажем, ^ 0 , 1), то можно рекомендовать второй подход,
рассматривая данную вторую гипотезу / / 2 = (0 = 021 как элемент
последовательности близких гипотез Я 2| „ = (8 = 0, + к/Vn), где,
очевидно, надо при данных 01 и 02 положить v = Угс(02— 0j). Так
как ожидаемые значения а!(б) и а 2(б) не являются очень малы­
ми, то абсолютная величина iVV/(0 i) не должна быть большой.
*) Отметим, что наряду с предложенными двумя подходами можно
рассматривать целый спектр промежуточных случаев, которые на парамет­
рическом языке можно представить в форме (ср. с (17)) 02 = 0i + zrc~T,
0 ^ 7 ^ 1/2. Такого рода близкие гипотезы представляют интерес при под­
боре приближенных формул, наиболее точно отражающих данную конкрет­
ную ситуацию.
294 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

П р и м е р 1. Приведем теперь числовой пример, который ил­

люстрирует в какой-то мере соотношение между двумя предло­
женными выше способами аппроксимации.
Пусть Х ^ Г о д , т. е. х{ имеют плотпость
. . /е(ж) = 6е~0*, х > О,
и пусть основпая гипотеза /У4 имеетвид //, = {0 = 1}. Вкачестве
альтернатив мы рассмотрим простые гипотезы / / 21) — {0 = 0,5},
Н ? = {6 = 0,8), H f = е = 0,9).
По выборке X гипотеза //, будет проверяться против одной
из гипотез Н \ / = 1, 2, 3. Таким образом, здесь 0, = 1, а для
02 имеются 3 варианта: 0 2= 0,5, 0г = 0,8, 02 = 0,9, два последних
из которых попытаемся рассматривать как соответствующие ги­
потезам, «близким» к //,. Мы произведем расчет критериев для
выборок объемов п = 30, 100, 300, 1000.
В нашем случае

= , „ e 2 _ ( 0s - 1))£i, (22)

Г (0 1. х 4) = 1 — xif (23)
0* = 1/х .
Отсюда следует, что н. м. к. бс, а также оба а п. м. к., рассмотрен­
ные выше (с критическими областями вида 2 I' (хь 0 Х) < и
0* — ©1 < d tl(n l (©i)), dx = d Y w/(0i)) будут иметь форму: 6C(X )=
= i / 2 \ если

2 (г* - 1) > d ,. (24)

i= l
Если X^E Г 1Л (гипотеза //,), то
MlXl = 1, DiXjl = 1 = / (1) = M l\V (xlt l)p .
Стало быть, если мы положим rf, = 2 Уre, то (ср. с (14))

«1 (вс) = Pj ( 2 (Xi — 1) > d 1j =

= р1 ( Щ 2 j
(xi — В > 2 ^ 1 - ф <2>« 0 ,0 2 3 (25)
п п
при п оо. Так как в нашем случае 2 П; = п In 02 + (1 — 02) 2
i= l i= l
то Inc в (14) (или в (20)) связан с </, соотношением
In с = /г(1п 02+ 1 - 0а) + (1 - 0Ж .
§ 31 ДВА АСИМПТОТИЧЕСКИХ ПОДХОДА It РАСЧЕТУ КРИТЕРИЕВ 295

Ниже мы приводим три таблицы. Во всех трех di предполага­

ется выбранным так, что выполнено (25) (т. е. d l = 2l/n). В пер­
вой таблице сравниваются истинные значения а,(Д ;) с прибли­
жением (25). Во второй таблице приведены истинные значения
вероятности ошибки второго рода а 2(бс) и приближения для
а 2(6с), полученные по формулам больших уклонений (8 ). В треть­
ей сравниваются истинные значения а 2(бс) с приближениями,
полученными но формулам близких гипотез (14). Отметим, что
мы пользуемся здесь приближениями (8 ), (14), а не вторичными
приближениями ( 11), (20 ), которые содержат дополнительные
погрешности. Все необходимые вычисления приведены ниже.
Числа в таблицах 1—3 приведепы с точностью до двух знача­
щих цифр после запятой.
а,(бс).
Т а б л и ц а \. Значения Верхний ряд — истинные,
значения, нижшш — приближения (14)

п 30 100 300 1000

0,031 0,028 0,026 0,024

0,023 0,023 0,023 0,023

Т а б л и ц а 2. Значения а 2(бг). Верхний ряд — истинные

значения, нижний — приближения (8) или (26) (большие уклонения)

30 100 300 1000- ■

0,028 15-10-’ 19-10-™ 18-10-72

0,5
0,033 15-10-7 19-10-™ 18-10-72
0,71 0,35 ' 0,028 33 -ю-*
0,8 0.033 34.10 -8
0,89 0,79 0.53 0,085
0,9
0,11

Сравнение табл. 2, 3 показывает, что, в соответствии со сде­

ланными выше замечаниями, приближение, основанное на боль­
ших уклонениях, лучше действует в верхней правой части таб­
лиц (где (0! — 02)Уп — (1 —02)V/i > 3), а приближение, основан­
ное на близких гипотезах — в нижней левой части таблиц (где
(1 —02) Vn < 3 ) . Прочерки в таблицах проставлены там, где при­
менение рассматриваемого подхода бессмысленно (в табл. 2, на­
пример, приближение (8 ) не применяется во всех случаях, когда
сс2(6с) > 0 , 1). Вычисление а 2(6с), когда это значение меньше, ска­
296 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

жем, 10~6, редко имеет практический смысл. Очень мдлые зна­

чения а 2(6с) в табл. 2 при 02— 0,5, п = 300, 1000 подсчитаны нами
лишь для сравнения результатов вычислений.
Таблица 3. Значения а 2(6с). Верхний ряд — пстппные
значения, нижний-— приближения (14) (близкие гипотезы)

п
30 100 300 1000
«2 ---^

0,028 15-10'7 19-10~19 18-10-72

0,5 0,041 зм о -в — —
0,71 0,35 0,028 33-10-8
0,8 0,69 0,35 0,031 12-10-7
0,89 0,79 0,53 0,085
0,9 0,89 0,79 0,52 0,086

Для заверш ения комментариев к таблицам нам осталось пояснить, как

вычислялись истинные значения а , ( 6С), i — 1, 2, и во что превращаются
приближения ( 8), (14) в нашем конкретном случае.
Значение а 2(6с) равно

г=1 “)•
Так к ак MBt>x { = 1/0O, De^xi = 1/ 0 |, то нормальное приближение (14)
для «2 (6с) будет иметь вид

Ф
[{' ' i ) " + 2 у " ] ) = ф ((°2 _ 4) у " + 20^ '
~
Рассмотрим теперь формулу (8), в которой в пашем случае падо поло­
жить li = ——п—
Xi, X 2|'й1 Здесь условие теоремы 1«
х - пМ|, — п —2У п+ н/02 ( 1 -0
— Д/п
~\/ п
выполнено. Далее,
ОО
—\ х —09х , 0„
z dx — ___ _

~[/ п '
Так как Jim а = — 1 < 0 , то условие lim sup -i_ < а . такж е выиолнеио.
П->оо П-гсю И
 ДВА АСИМПТОТИЧЕСКИХ ПОДХОДА К РАСЧЕТУ КРИТЕРИЕВ 297

Уравнение (7) имеет в нашем случае вид

“ 02 62
и-е2 (Ч~е2)2’
и его решение есть Х(а) — —1 / а — 02. Отсюда находим:
Л (а) — — In (— а 0 2) — 1 — а 0 2, а 2 (а) = 1/А' (а)
Таким образом, в силу (8) получаем

«2 (fic) = \ | 2 fi>*j =ре2^2 (xr 1)<2V'«j ~

'• ' ■ ~ (1 + ае‘ )У ёЙ ехр <п 11п <“ аеУ + 1 + “е*»' (2С>
Полагая здесь а = —1 — 2/Уп, мы получим формулы, по которым вычисля­
лись значения а 2( 6с) в табл. 2 (нижний ряд).
Отметим для сравнения, что правая часть (11) превращается в нашем
случае в выражение

( l - e j v s r «р {«I* е, + 1 - в,] + *(1 e j у ; - в}. от

которое можно получить из (26), подставляя туда а = — 1 — 2/у я п отбра­
сывая после разложений в ряд члены порядка l/~\hi и выше.
Первый .множитель в знаменателе (26), равный о (а) | К(а) | = 1 + а 0 2—
= 1 — 02 — 20 2/Ущ заменяется в (27) на G| = 1 — 02. Если 0 2 близко к !,
то относительная погрешность, связанная с поправочным слагаемым
—202/Ущ может оказаться значительной. Например, для 0 2 = 0,8, гг = 100
получаем 202/Угг = 0,16, 0[ = 1— 0 2 = 0,2, о (а ) |7,(«) | = 0,2 — 0,16 — 0,04,
так что первый множитель в (27) в 5 раз (!) больше, чем в (26). Этот
пример показывает, что в случае близких гипотез, когда множитель Oi в
( 11) мал, приближения (11) (или (27)) надо использовать с большой
осторожностью.
Для вычисления истинных зпачепий а,-( 6с) использовался следующий
факт. Пусть ц (t) есть процесс восстановления (см. [И ]) для блуждания со
скачками x l5 х2, . . . , т. е.

ц (t) = m in |а-: 2 X i> «j.

Тогда, если х ; ^ Г0 г , то, кгтк показано в § 4 гл. 13 [11], процесс

К О — Л ( 0 — 1 представляет собой при t :> 0 процесс Пуассона с пара­
метром 0, г. е.
,-ы m f
к\

Заметим теперь, что j

x i 5 s * — (Л (0 ^ п) » и, стало быть,
298 ТЕОГИЯ П1'ОТ!Е1>КИ ГИПОТЕЗ ' [ГЛ. 3

Поэтому при t — п + 2) п
/ п \ я —1

М ес) = Г е ^ < < Ц - П

£ ' - 1’2' к[
\г = 1 / к =о

Эти равенства и использовались для вычислении точных значений « , (6Г),

t=r 1, 2. -
Отметим, что наряду с (28) можно выписать и другие формулы
11 п
для распределения У x t , основанные на том, что 2
i= l i= l

5. Связь и. м. к. с асимптотической эффективностью о. м. п.

Используя проведенные вычисления и результаты §§ 1, 2 , мы
можем доказать теперь теорему 2.25.3 об асимптотической эф­
фективности о. м. п. 0* в классе К° асимптотически центральны.к
оценок (принадлежность 0* е R была установлена в п. 2.29.3).
Д о к а з а т е л ь с т в о т е о р е м ы 2.25.3. Допустим против­
ное, что существует а. и. оценка 0 *, такая что при каком-ни­
будь 0 t
lim (0* — 0Д2 = а 2(0j ) <С 1 ~ х (0Д = lim IV ^n( 0* — 0Г)2.
? 1-> оо —> оо

. Рассмотрим задачу проверки гипотезы Н t = {Х ^= Р0Д против

7/ 3 = { Х ^ Р0, 0 — 0 1-(-nw_1/2j и построим для этого критерий 6
следующего вида:
|Н г, если 0* ^ 0Х+ v n 1 2,
6 (Х) =
[н.2, если 0* > Вх-|- Iлг~г/2,
где мы приняли для определенности, что v > 0. Тогда
a i (6) = ^>1 (0* > 0jl -|- vnT1' 2) =
= р /, ( 0 * - 9 , ) У 7 , „ \ - ( » \
Ч ®'(в,) > 0 ( 0, ) ) ( « ( О ,) ] -

Далее, принадлежность 0* s R ° означает, что

«*($) = р 0(е* ^ 04+ уП- 1/г) = Р е(0* < 0) ->■ 1/ 2.

Рассмотрим теперь другой критерий б 0(Х) с критической об­

ластью
0* — 0, > (v + -у)/Vn, ^>0,
который, как мы установили, будет а .и .м .к . (см. (21)). Так как
 ПРОВЕРКА СЛОЖНЫХ ГИПОТЕЗ. ОПТИМАЛЬНОСТЬ 299

ири достаточно малом у > О

(V + y)V/(0i) < v /o id j,
то для этого критерия
lim a ,( 6 J = 1 —Ф((и + 'у)1//(()1)) > 1 — <D(i;/o(0i)),
П —*<х>

lim a 2(60) = 11т Р«(0* *£ 0 + у/Уп) > 1/2.

71 —* оо И —* оо

Э т о означает, что пачипая с некоторого п критерий Ь будет

лучше, чем и. м. к. Полученное противоречие доказывает теоре­
му. <3

§ 4. Проверка сложных гипотез.

Классы оптимальных критериев

1. Постановка задачи и основные понятия. В §§ 1, 2 мы рас

смотрели наименее сложные задачи проверки гипотез, когда эти
гипотезы являются простыми. Однако часто проверяемые гипо­
тезы имеют более сложную природу. В параметрическом случае,
например, гипотеза может иметь вид Р^; 0 d ©,}, где © i—
данное подмножество 0 . Такая гипотеза, очевидно, уже не опре­
деляет однозначно распределение выборки.
Всякую гипотезу II, не являющуюся простой, мы будем на­
зывать сложной.
Например, гипотезы (X (§§ Ф 0 0г1 ^ 0 ] , { X Ф а а ^ 0}
являются сложными.
Везде в дальнейшем в этой главе мы будем рассматривать
задачи о проверке двух гипотез, которые будем - обозначать //,
и II2. При этом в ближайших параграфах мы ограничимся изу­
чением параметрического случая Pg, 6 d © . Гипотезы //,
в этом случае можно записать в виде
//* = { Х ^ Р е; 0 е 0 ф © i d © , ©i П ©2 ^ 0 •
Так как остальные значения 0, пе принадлежащие ©4U 0 2, вооб­
ще пе рассматриваются, то мы не ограничивая общности можем
считать, что © =■ 0 , U 0 2 и что / / 2 есть гипотеза, дополнительная
(или противоположная) к //,, так что гипотезу / / 2 можно запи­
сать также в виде / / 2 = illi не верна). Аналогично тому, как это
делалось в § 2 , одну из гипотез — в нашем рассмотрении //, —
мы будем называть основной. Простые гипотезы Но — {^(еёРоЬ
0 е ©2, мы будем называть альтернативами.
Выделение среди гипотез основной часто отражает отношение
исследователя к изучаемому объекту. Основная гипотеза обычно
соответствует некоторой концепции, а альтернатива — отклоне­
ниям от нее, наличие которых надо либо доказывать, либо от­
300 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

вергать. Обычно имеется одна или небольшое количество основ­

ных гипотез и огромное количество мыслимых альтернатив.
Процедура приема гипотез основывается па статистическом
критерии. Так как мы рассматриваем всего две гипотезы, то, как
и в § 2, любой (рандомизированный) критерий я однозначно оп­
ределяется измеримой функцией я(.т), СКя(ж ). < 1 , которая оп­
ределяет вероятность принятия я(Х) гипотезы П2 для каждой
выборки X (реализация случайного выбора с вероятностью я(Х)
должна производиться с помощью дополнительного устройства).
Функция я(.т) называется, как и в § 2, критической. Для перан-
домизированного критерия б функция я(а?) = б(.т) принимает
лишь два значения 0 и 1; область Q2 пространства Р6 П, в кото­
рой 6(л0 = 1 (область приема / / 2), называется в этом случае кри­
тической, ее часто отождествляют с критерием б.
О п р е д е л е н и е 1. Размером или вероятностью ошибки пер­
вого рода критерия я называется число
a i (я ) ~ SUP Мо31 (^0-
e=©jL
Для нерандомизированных критериев, очевидно,
a i ($) = sup Ре (X е 0 2).
6G0J

Это есть максимальная (no 0 ^ @i ) вероятность отвергнуть гипо­

тезу Hi, когда она на самом деле верна. Обычно, чтобы облег­
чить поиски оптимальных критериев, рассматривают критерии я,
удовлетворяющие условию
а ,(я ) = е (или аД я) < е).
Класс таких критериев мы обозначим К е.
Число 1 —аД я) = 1 — е мы будем называть уровнем (значи­
мости) *) критерия я.
Статистически использование критерия б ^ К & означает, что
в длинном ряду экспериментов но проверке гипотезы //, с по­
мощью критерия б ЩК е мы будем' ошибаться не чаще, чем в до­
ле случаев е, если на самом деле была верна гипотеза Н у.
Выбор уровня значимости критерия в значительной степени
произволен. Стало обычным выбирать в качестве е одно из стан­
дартных значений, таких как 0,005, 0,01, 0,03, 0,1. Эта стандар­
тизация имеет то преимущество, что позволяет сократить объем

*) Часто уровнем значимости называют число е, а не 1 — е. Но это

несколько противоестественно: ведь естественнее считать, что чем выше
уровень значимости, тем «значимее» критерий. Именно из этих соображе­
ний мы определяли уровень значимости (или доверия) для доверительных
интервалов. Так как между статистическими критериями и доверительными
интервалами существует прям ая связь (см. § 8), то было бы неразумно
менять терминологию при переходе к критериям па противоположную.
 ПРОВЕРКА СЛОЖНЫХ ГИПОТЕЗ. ОПТИМАЛЬНОСТЬ 301

таблиц, используемых статистиком в своей работе. Никакой дру­

гой специальной причины для выбора именно этих значений
нет. Выбирая уровень значимости критерия л, нужно обращать
внимание на мощность критерия
[Зл (6) = Мел (X), 0 <= 0 2.
Если она окажется слишком малой, то, возможно, следует заме­
нить уровень 1 —е на меньшее значение.
Важным обстоятельством, которое может влиять па выбор
уровня значимости, является наше отношение к гипотезе до про­
ведения эксперимента. Если мы твердо верим в истинность гипо­
тезы (априорная вероятность Q(//,) в байесовской постановке за­
дачи велика), то потребуются убедительные свидетельства про­
тив нее для того, чтобы мы отказались от своей уверенности.
В таких условиях нужны критерии высокого уровня, и е выби­
рается очень малым (тогда попадание в Q2 будет крайне неправ­
доподобным, если верна / / J .
Здесь используется та же концепция, которую мы излагали
при построении доверительных интервалов. Она состоит в следу­
ющем: если вероятность е некоторого события А мала, то мы
считаем практически невозможным, что это событие произойдет
при единичном испытании. . •
Среди некоторых специалистов по математической статистике
существует и другая точка зрения. Она состоит в том, что нет
надобности задавать фиксированный уровень значимости и что
для его предварительного выбора нет разумного правила. Они
рассматривают проверку гипотез не как процедуру, ведущую
обязательно к приему одной из двух гипотез, а как некоторый
процесс в созпаиии исследователя, определяющий его отношение
к гипотезам. С этой точки зрения фиксированному уровню зна­
чимости можно предпочесть «фактически достигаемый» уровень,
который определяется следующим образом. Рассмотрим семейство
пераидомизированных критериев б уровня 1 —е, когда е пробе­
гает значения из интервала (0, 1), и обозначим Q2, е критическую
область б, предположив, что ^ 2,е<> ^ 2.8! при е2 < е ь
О п р е д е л е н и е 2. Фактически достигаемым уровнем семей­
ства критериев б на выборке X называется случайная величина
1 — е(Х), где
е(Х) = inf (е: Х ^ Й 2. е>.
Чем больше 1 —е(Х), тем сильнее свидетельствует выборка
против гипотезы /Д.
Значение е(Х) дает возможность принимать или отвергать
гипотезу при любом заранее данном уровне 1 — е путем простого
сравпения е(Х) с е .
П р и м е р 1. В предыдущем параграфе мы построили п. м. к.
для проверки гипотезы Н х = {Х (= Г 1Д} против гипотезы Н г =
302 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

«= {Х^= Г 1/2Д}. Этот критерий имеет критическую область

х<е^%п\ 2 (x i — 1) >
i=l J
10
Допустим, что для выборки X объема п = 10 оказалось 2 xi •==
г=1
гг
= 18. Так как при гипотезе Н х 2 хг€ = Г 1>п и Г 1>зг(( а, Ь)) =
= Н 2п ((2а, 26)), то r t>ю((18, оо)) = Н2((36, оо)) = 0,0154 (см. таб­
лицы III или [8]) и фактически достигаемый уровепь в этом
случае будет равен 1 — е(Х) = 1 —0,0154 = 0,9846, так что гипо­
теза Н 1 будет отвергаться н. м. к. с уровнем 1 — е = 0,98 и не бу­
дет отвергаться н. м. к. с уровнем 1 — е = 0,99.
2. Равномерно наиболее мощные критерии. Вернемся к про­
извольным рандомизированным критериям я, которые мы дого­
ворились задавать критической функцией я(х), x ^ S 6 n. (Функ­
цию п (х) можно называть также статистической (рандомизиро­
ванной) решающей функцией.)
Если существует достаточпая статистика S (X ), то можно ог­
раничиться критериями я(Х ), которые зависят от X только через
достаточную статистику S(X ), т. е. критериями, представимыми
в форме я(Х ) == ф(£(Х)). Ведь мы знаем, что вся информация о
неизвестном параметре сосредоточена в & и привлечение других
статистик (другой информации о выборке X) не имеет смысла.
Как мы уже отмечали, для отыскания оптимальных критери­
ев обычно сужают множество рассматриваемых критериев до
класса К в критериев фиксированного уровня. Среди них можно
пытаться отыскать такой критерий, для которого мощпость
Ря (6) = Метс (X)
в области ©2 максимальпа (т. е. вероятность ошибки второго
рода 1 — (3„(0) минимальна). Другими словами, максимальной
должны быть вероятность принять гипотезу Я 2, когда она верна.
Функция (6) = Мея (X) часто называется также функцией
мощности критерия я.
О п р е д е л е н и е 3. Критерий я " е й , называется равномер­
но наиболее мощным критерием (р. н. м. к.) в К е, если для лю­
бого я е К е
Р„г(0) 5? рл(0 ) при всех 0 е 0 2. ( 1)
Конечно, р. н. м. к. существуют далеко не всегда. Если такой
критерий я° существует, то для него фупкция мощности ( 0)
располагается на графике выше любой другой функции рД 0 )
в области 0 2 при условии, что обе они не превосходят значения
е в области ©( (ведь а 1 (я) = sup (Зя (0)), так что Ря° (®) есть
6=©!
огибающая семейства (ря(0 )} в области @2.
 ПРОВЕРКА СЛОЖНЫХ ГИПОТЕЗ. ОПТИМАЛЬНОСТЬ 303

Допустим, что M0i^°(X) = е. Тогда р. и. м. к. я° бу­

дет, очевидно, н. м. к. уровня 1 — е для проверки гипотезы {0 =
= 0,} против альтернативы {0 = 02} при любом 02 е 0 ,. Так как
форма н. м. к. известна, то отсюда возникает следующий есте­
ственный путь отыскания р. н. м. к.: мы найдем его, если окажет­
ся, что н. м. к. в поставленной выше задаче о проверке гипотез
{0 = 0i) и {0 — 02) не зависит от 02. •
Верно и обратное: если п. м. к. из К е для проверки гипотезы
{0 = 0i) против {0 = 02}, 02 & ©2, существенно зависит от 02, то
это будет означать, что р. н. м. к. для проверки {0 = 0 J против
{0 е 0 2} не существует.
Если гипотеза / / 2 простая ( 0 2 состоит из одной точки 02), то
понятие р. н. м. к. частично теряет свой смысл и превращается в
понятие обычного п. м. к., т. е. критерия, для которого в классе
К е максимизируется Мо0я (X).
Определим теперь байесовские и минимаксные критерии для
проверки сложных гипотез.
3. Байесовские критерии. При проверке сложных гипотез мы
будем различать два байесовских подхода.
а) Полный байесовский подход. Он состоит в предположении,
что гипотезы 0 е 0 , выбираются случайно с апри­
орным распределением Q. Другими словами, на © = 0 t U ©2 фикси­
руется некоторая о-алгебра подмножеств ©, 0! е @, 0 2 е и 0
рассматривается как случайная величина на выборочном прост­
ранстве (О, ©, Q).
Распределение Q индуцирует распределения Q, па ©,, i —
= 1, 2, п вероятности Q(0 е ©,), так что Q = #iQi + #2Q2. Ги­
потезу о том, что 0 е 0 { выбирается случайным образом о рас­
пределением Q,, обозначим H q{.
О п р е д е л е н и е 4. Критерий л<? называется байесовским,
если он является байесовским критерием, соответствующим ап­
риорному распределению (gt, q2) для проверки двух простых ги­
потез HQt и Hq ( см. § 1).
б) Частично байесовский подход. Здесь предполагаются задан­
ными априорные распределения Q, па ©i, но отсутствуют априор­
ные вероятности qu q2. В этом случае мы имеем дело с проверкой
двух простых гипотез H qj и H q2.
Обозначил!, как и прежде,
К е — /я: sup МеЛ (X) е\,
I ee0t J
и положим
К ®1 = {я: MQln ( X ) < e } ,
где Mq. обозначает безусловное математическое ожидапие по
распределению на 0 , X порожденному Q, и Р 0.
304 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Определение 5. Критерий ^QltQz называется байесовским

т.- .
в К г , если это есть п. м. к. уровня 1 — 8 для проверки двух про­
стых гипотез //q j и H q2.
Если одна из гипотез //, вырождается в простую ( 0 t или ©2
одноточечно), то будет вырождаться и соответствующее распре­
деление. В этом случае индекс у обозначения *1 q 1 ,q2 мы будем
укорачивать и писать, например, Лс^ вместо JtQ1,Q27 если ©2 =
= {02) одноточечно.
Построение критериев л т р у д н о с т е й не вызывает. Они
будут использоваться нами как вспомогательное средство для
построения р. и. м. к. и минимаксных критериев.
h. Минимаксные критерии.
О н р е д е л е и и е б. Критерий л для проверки I I t = { 0 е 0 t)
против IIг = {0 & 0 2} называется минимаксным в К г (в К г 1\
если л G ( я g К Е*) 11 для него максимизируется

inf Моя (X) = inf (0).

в£в2 0ее2
Такой критерий правильнее было бы называть максиминным
(максимизируется минимум). Однако мы будем использовать все
же единый термин «минимаксный» — тем более, что он сохраняет
свой смысл, если иметь дело не с мощностью, а с вероятностями
ошибок второго рода.
Более подробно байесовские и минимаксные критерии будут
изучаться в § 9. Ближайшие же параграфы будут посвящены вы­
яснению условий, при которых возможно построение х>- н- м. к.

§ 5. Равномерно наиболее мощные критерии

В этом параграфе мы рассмотрим два важных частных слу­

чая, относящихся к одномерному параметру 0, когда р. и. м. к.
удается построить. Мы получим также один полезный результат,
касающийся построения и. м. к.
1. Односторонние альтернативы. Монотонное отношение прав­
доподобия. Пусть основная гипотеза Н t состоит в том, что 0 ^ 0 , ,
а альтерпативная гипотеза Н 2 в том, что 0 > 01- Такую гипотезу
II 2 будем называть односторонней, в отличие, скажем, от гипоте­
зы У/2 = (0 ^ 0Л (дополнительной к //, == (0 = 0j}), которая явля­
ется двусторонней, так как допускает отклонения от 0t в обе
стороны.
Другое панте предположение будет состоять в следующем.
Пусть выполнено условие С40) и существует функция Т{х)у
§ 5] РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ 305

такая что при всех 0, 0О, 0 > 0Оотношение правдоподобия

/е (ДО
(1)

является пеубывающей (или невозрастающей) фулкцией от Tix)„

В этом случае говорят, что семейство {Ре) имеет монотонное от­
ношение правдоподобия.
Так как Т — достаточная статистика, то fix ) = х]:(Г(ж), Q)h(x)T
и сформулированное условие будет относиться к отношению’
^ (Т , 0)Л|)(7\ 0О). Эго условие означает, что при всех 0 > б о и лю­
бом d > 0 неравенство /е {х)//е 0 (ж) ^ d будет разрешимо в виде
Tix) > сп(в, 0О, d) (пли Tix) < с „ (0 , 0О, d)).
Например, семейства (Ф ал) и |Ф 0,о2} имеют монотонное
отношение правдоподобия, так как

■ = е х Р { ( а — а о) пх — ^ (а 2— «о )],

ix ) f 1 / 11 11 \\ 'V
V 2]

и соответствующие неравенства будут иметь вид (а > а 0, о > а0)

х > с„ (а, а„, d) = (а + а 0) + ^ ( Т (X) = х),

2xf>c„ (o ,o „ d )-^ 4 ln d ( г ( Х ) = 2 х?1 О

i=i ° °0 V г=1 J
Мпогхте параметрические семейства из § 2.2 также имеют моно­
тонное отношение правдоподобия. В дальнейшем для определен­
ности будем считать, что (1) есть неубывающая функция Tix).
Т е о р е м а 1. Пусть 0 — одномерный параметр, а семейство
{Ре> имеет монотонное отношение правдоподобия. Тогда
1) В /С существует р .н .м .к . для проверки гипотезы H t =
= (0 ^ 0 J против альтернативы Н 2 = {0 > 0 J , который имеет вид
1, если Т (X) > с,
л° (X) = . р, если Т (X) = с, (2)
0, если Т (X) < с,
где с и р определяются из условия
M0l3i° (X) = Р()1 (Г (X) > с) + р Р б1 {Т (X) = с) = е. (3)
2) Ф ункция мощности р° (0) = Мол.0 (X) строговозрастает по
0 при всех 0, для которых (i°(0) < 1.
20 А. А. Бороиков
30G ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ 3

3) При всех 0о критерий (2) является р. п. м. к. в классе

Хщ °о) для проверки гипотезы Н х = {0 ^ 0О} против Н 2 = {0 > 0О}.
4) Д ля любого 0 < 0t наш критерий' минимизирует (i(0) =
— М()Я (X) в классе К е.
Д о к а з а т е л ь с т в о . Рассмотрим сначала простые гипотезы
{0 = 0i} и {0 — 02), 02> 0 1 . Н. м. к. для проверки этих гипотез п
классе критериев я, для которых Мс^я (X) = е, имеет, согласно
теореме 2.1, вид (2), так как неравенство Z { X ) > d эквивалентно
Г ( Х ) > с (при надлежащем соответствии между с и d ), где по­
стоянные с и р определяются из (3) (ср. с (2.3)). Так как числа
с и р из уравнения вида (3) определяются единственным образом,
то мы получаем также, что критерий (2) будет п. м. к. в ^Цг((>0)
для проверки гипотезы {0 = 0„} против (0 = 0 J , 02> 0 О. Отсюда
и из теоремы 2.1 (см. (2.4)) следует, что Р°(0Д > [Г(0и).
Так как (У(0) не убывает, то
Мвя° (X) е при 0 ^ 0 Х. (4)
Класс КР критериев я, удовлетворяющих (4), содержится в клас­
се {я: Ме1я(X ) = е}. Так как критерий (2) максимизирует р(Э2)
в этом последнем классе, то он будет максимизировать р(02) и в
К Е. Остается заметить, что критерий (2) никак не зависит от 0*
и, стало быть, сделанные выводы справедливы при любом 02 > 0(.
Тем самым первые три утверждения теоремы доказаны.
Четвертое утверждение теоремы следует из первых трех, если
их применить к задаче о проверке гипотезы П г = (0 ^ 0j} против
Н 2 = {0 < 0i}, для которой р. и. м. к. в классе {П (X): МеП (X) ^
^ 1 — е, 0 ^ 0 j } будет иметь вид П (X) = 1 —я°(Х), а функция
1 — (0) = МеП° (X) станет максимальной при 0 < 0 , функцией
мощности. <1
Важный класс семейств распределений, допускающих моно­
тонное отношение правдоподобия, образует одиоттараметрическое
экспоненциальное семейство (см. § 2.15), когда плотность / 0(х)
представима в виде
feix) = h(x) exp {a{0)U{x) + У(0)К (о)
Действительно, в этом случае

j - j x j = ехр (а ~ а (0°)) 2 и м + п (у (°) “ 1 (0°»|*

и отношение правдоподобия будет монотонно зависеть от Т{х) —

пГ
= 2 U (^i)i если а(в) — а(0о) сохраняет знак при всех 0, 0О, 0 > 0t>.
i—1
С л е д с т в и е 1. Пусть f 0 {x) имеет вид (5), где а(0) есть моно-
гонная (функция. Тогда существует р. п. м. к. я° в классе К е для
 РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ 307

проверки гипотезы //, — {0 ^ О,} против //2= { 0 > 0 ,} . Если а(0)

возрастает, то этот критерий имеет вид (2), (3). Если а(0) убы­
вает, то неравенства в (2), (3) заменяются па противоположные „
Отметим, что если проверяется двусторонняя альтернатива,
например, гипотеза //, — {0 — 0,} против И 2 = (0 ^ 0,), то р. н. м. к.
для экспоненциального семейства (5) уже не существует. Дейст­
вительно, допустим для простоты, что а(0) возрастает и что Р е-
П
распределение Т (X ) = 2 j U (х*) при всех 0 абсолютно депрерыв-
i= l
но. Тогда согласно теореме 2.1 н. м. к. для проверки {0 = 0,} про­
тив {0 = 02} будет перандомизировашгым и будет иметь критиче­
скую область Т ( Х ) ^ с , если 02> 0 ,. Если же 02< 0 i , то критиче­
ская область будет иметь вид Т {Х ) < с. Мы видим, что макси­
мальная мощность в точке 02 будет достигаться на существенна
разных критериях в зависимости от знака разпости 02— 0,. И»
теоремы 1 видно, что если мы возьмем какой-нибудь из этих двух
критериев, например, тот, для которого я(Х ) = 1 при Т(X) 5s с,
то он будет р. и. м. к. для всех 02 > 01 и заведомо не будет тако­
вым для 02 < 0]. • *
Уже отмечалось, что положение двух простых гипотез в тео­
реме 2.1 о и. м. к. в известном смысле симметрично (п. м. к. ми­
нимизирует вероятность ошибки второго рода а 2(я),' если фикси­
ровано значение осДя), и наоборот — минимизирует аД я), если
фиксировано а 2(я)). Такой симметрии в постановке задачи а
проверке сложных гипотез пет. С этим обстоятельством связан
следующий иптереспый факт. Мы только что видели, что для
экспоненциального семейства не существует р. и. м. к. для про­
верки гипотезы //, = {0 = 0,} против / / 2 = {0 Ф 0,}. Из приведен­
ных рассмотрений легко попять, что не существует также р. н. м. к„
для проверки гипотезы {0, < 0 < 02} против альтернативы (0 Ф
Ф (О,, 02)). Однако если мы рассмотрим теперь в качестве основ­
ной гипотезы //, гипотезу //, = { 0 ^ ( 0 , , 02)}, а в качестве альтер­
нативы гипотезу / / 2= { 0 ^ ( 0 „ 02)), то р. н. м. к. в К е будет уж а
существовать. Итак, мы рассмотрим теперь вторую возможность,
когда удается построить р. н. м. к.
2. Двусторонняя основная гипотеза. Экспоненциальное се­
мейство.
Т е о р е м а 2. Пусть /е(я) определяется равенством (5), и про­
веряется гипотеза //, == {0 (0,, 02)}, 0, < 02, против альтернативы
Нг — (О е (01, Ог)). Тогда если функция а(0) монотонна, то
1) в классе К г — / я: sup Моя (X) ^ гХсуществует р. н. м. я.
I ее(в1.о2) /
л°, который имеет вид
1 1, если с 1 < Т (х) < с2,
р п если Т (а) = си i — 1, 2, (6)

0, если Т (х) ф \сг, с2],

308 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

где Т (х) — ^ и { х {) ,а постоянные си рг определяются из условий

U 4 n° (X ) = Ме2л° (X ) = е. (7)
2) Этот критериймаксимизирует функцию мощности (Л0) =
при условии (7) внутри интервала (0,, 02) и минимизи­
рует ее вне этого интервала
(см. рис. 4).
3) При 0 < е < 1 функ­
ция р°(0) имеет максимум в
некоторой точке 0Ое (0И 02)
и строго убывает при уда­
лении 0 от 0ц вправо или
Fhc. 4. Вид функции мощности р° (0) —
влево. При этом мы исклю­
= M0ji° (X) и (J [ 0) — Мни (X) для про­ чаем, тот случай, когда рас­
извольного критерия л е Ке. пределение Т{Х) сосредото­
чено в двух точках, т. е.
когда существуют такие t u f2, что
Р в (Г Ш = 0 + Р в(Г(Х ): t2) = 1 при всех 0. (8)
В проводимых рассмотрениях полезно также следующее ут-
верждение.
Л е м м а 1. Уравнения (7) при 0 < е < 1 всегда разрешимы
относительно cf, i = 1, 2.
Доказательство этой леммы мы приведем позже.
Д о к а з а т е л ь с т в о т е о р е м ы 2. Запишем функцию правг
донодобия в виде
/ e U ) = c ( 0 ) e o(O)T(*>M*), (9)
где будем считать для определенности, что д(0) строго возра­
стает.
Рассмотрим следующую байесовскую постановку задачи. Пусть
проверяется осповпая «смешанная» гипотеза Я, которая состоит
в том, что {0 = 0i} с вероятностью q и {0 = 02) с вероятностью
1 — г/, против альтернативы Я 0 = (0 = 0О), 0оs (0t, 02). Пусть, да­
лее, априорные вероятности гипотез Я и Я 0 равны соответст­
венно г и 1 —г. Так как гипотезы Я и Я 0 полностью определяют
распределение выборки, то их можно считать простыми и вос­
пользоваться результатами § 2. Байесовский критерий (мы обоз­
начим его зт°) будет иметь в этом случае вид
(
1Г если Я (X) =н V х) >
9/оА(^) + ( 1 - ? ) / е 2(х ) 1
л \Х )= р {Х ), если Я (Х ) = (10)

0, если Я (X) 1—г*

 ГАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ 309

Неравенство R (X ) > г /(1 — г) в силу (9) эквивалентно нера­

венству
„ ' ( Ч J f . H ' . ] ] 1' , н , ' (fy г(о(в2)-а((10))Г ^ _ г
"Ж ) 7 (ё5 1 '
Так как а(0Э — а(0о) < 0, а(02) — а(0о) > 0, то левая часть здесь
есть выпуклая функция от Т. Это означает, что (11) можно запи­
сать в виде
Ci < Т < с2,
где Ci — Ciiq, г); числа с4< сг пробегают при изменении q и г все
возможные значения. Функцию р {Х ) в (10) положим равной р,,
если Т{Х) ~ Ci, и рг, если Т(Х) — сг.
Согласно лемме 1 найдутся с,-, i — 1, 2 (или, что то же, q н г)
и р, такие, что (7) будет выполнено. Покажем теперь, что функ­
ция зт°(X), определенная в (10) или, что то же, в (0), будет об­
ладать всеми сформулированными в теореме 2 свойствами. Ска­
занное означает, что мы стали теперь рассматривать п° одновре­
менно как решающую функцию для проверки IR против / / 2. Так
как критерий я° байесовский (для проверки II против / / 0), то
для любого другого критерия л
Г [?Ме1л° + (1 — q) Ме2я°] + (1 — г) Ме0 (1 — л°) <
< г [gMojrt + (1 — q) Ме2я] + (1 — г) Ме0 (1 — л). (12)
Стало быть, если критерий л наряду с зх° будет удовлетворять
(7), то
Мо0я ° > М е 0я.
Это значит, что в каждой внутренней точке 0„ е (0Ь 0,) критерий
л° максимизирует функцию мощности Р (0) = Моя в классе кри­
териев л , удовлетворяющих (7). По условия (7) выделяют класс
критериев, более широкий, чем К е. Следовательно, я° будет мак­
симизировать р(0) и в К Е. Так как критерий п° не зависит от 0Й,
то он будет р. н. м. к. в /С..
Отметим еще, что в силу теоремы 2.1
Р°(0о) = М0ол о > е

и равенство здесь возможно лишь в случае, когда

(7/е, И + (1 — Q) /е2 И = /е0 И (13)
jC-nOHTII всюду. .
Совершенно аналогично с помощью (12) можно убедиться, что
я° будет минимизировать Мехя при фиксированных Ме0я , Ма,я
(мы используем здесь те же соображения, что в доказательстве
теорем § 1).
310 ТЕОРИЯ ПРОВЕРКИ гипо тез [ГЛ. 3

Покажем теперь, что я° минимизирует р(0) вне (0,, 02). Пусть

0° < ©!. Заменим в предыдущих рассмотрениях тройку точек
(0i, 0о, 0 J на тройку (0°, 0t, 02) и заметим, что для новой задачи
критерий л° снова будет байесовским (ведь его форма от выбора
точек 0„ i = 0, 1, .2, не зависит) в классе критериев л, для ко­
торых Ме°л = Р° (0°), Мо2 я = е. Но согласно сделанному выше
замечанию л° будет минимизировать Мвол при фиксированных
Мехл; и Ме2я. Первые два утверждения теоремы доказаны.
Докажем третье утверждение. Заметим предварительно, что,
пользуясь заменой переменных интегрирования, мы можем за­
писать
Pe Т
( =е А) = с (0) f e°m ™ h ц" (dx) =
[дг: Г (д :)е А }

= с (0) I (dt),
tSA
где мера v определяется соотношением
v {А) — j* h (a?) j / 1(dx)t
{х: Одел)
Ото означает, что распределение Т относительно меры v имеет
плотность (см. также лемму 2.15.1) g e(f) = c(0)ea(6)t и, стало быть,
также принадлеяшт экспоненциальному семейству. Далее, в силу
монотонности а(0) можпо ввести новый параметр j} = a(0), совер­
шенно пе изменив при этом задачи и ее условий. Следовательно,
мы можем считать, не ограничивая общности, что н(0) = 0. В этом
случае функции с(0) = 1 j*ee*v(d£)j и Р° (0) = Мея°(Х) бу­
дут, очевидпо, непрерывными. Допустим теперь, что утвержде­
ние теоремы о характере поведения р°(0) неверно. Тогда найдут­
ся три точки 0' < 0" < В"', для которых
Р°(0') = Р °(0") = р°(0~) = a е (0, •1). (14)
Мы видели, что л° максимизирует р(0") при условиях р(0') =
= (Н0") = а, при этом если не выполнено условие вида (13), то
Р°(0") > а . Но равенство (13) в пашем случае означает, что

+ (1 - е < е" - 6 " , г =1

v-почти всюду. В силу выпуклости левой части по Г, это равен­

ство возможно не более чем для двух значений Т. Стало быть,
если (8) исключено, то р°(0") > {5°(©') — а, и (14) невозможно. <3
Д о к а з а т е л ь с т в о л е м м ы 1. Мы проведем доказательст­
во при упрощающем предположении, что распределение Т(Х )
непрерывно, т. е. Р е(Т = с ) = 0 при всех 0 и с. Это освободит
 РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ 311

нас от несущественных усложнений. В этом случае в силу за­

мечаний, сделанных в конце доказательства теоремы 2, мы мо­
жем записать
с2 с2
М е эх° ( X ) = Р е ( Г е (clt с2)) = J ge (t) v ( dt)= с (0) J Л (d£).
ci ci
Это будет непрерывная функция от 0, ct, с2.
Обозначим через с+ значение с, для которого Ро1(7’^ с +) —
= 1 — е. Тогда на (—°°, с+) определена функция d (c ),.такая что
d(c) .

Рех (2" е= (с, d (с))) = J gBl (t) v (d£) = е.

С

Ясно, что с?(с) есть непрерывная возрастающая функция.

Мы докажем требуемое утверждение, если убедимся, что
функция
d(c)

я!>(с) = Ре2 (Т е (с, d (с))) = J gre2 (*) v (di)

£
непрерывно возрастает, if>(—оо) < е< -ф(с+) > е. В этом случае най­
дется с0, такое что я|)(с0) = е, и, стало быть,Ре{(с0, d(c0))= e , 1= 1, 2.
Непрерывность i|)(e) очевидна. Докажем монотонность.^ Запи­
шем i])(c) в виде
d(c)

Ф ( 0 = J 8*1 (*) r (*)v № » (15)

С

тде г(£) есть плотность Ро2 -распределения Г относительно Р е ,“

распределения:
с (еа) (в*—e2)t
r(f) =
(°i)

Пусть Д, для определенности, таково, что c + A < d ( c ). Тогда

та к как
с+Д еДс+Д)

J got (t) v (dt) = . f g0i (t) V (df), (16)

с d(c)
40
ф (с + A) — ф (c) =
d(c+ A ) с+ Д

= J f t 1( Or (*)v ( * ) ~ j £Г0! (0 r (0 *v (dt) >

d(c) с

> [r (d (с)) — г (с + Д)] A, > 0,

где А, есть общее значение интеграла (16).
312 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Убедимся теперь, что -ф(—°°) < е. Обозначим через t 0 решение

уравнепия r(f) = 1. Если d{—оо)=^£0, то r{t) < 1 на интервале
(—оо, о?(—оо)), п требуемое неравенство в силу (15) очевидно. Если
же d{—оо) > t 0, то аналогично паходйм
ij5(— ос) = 1 - Р 02( Г е ( ( 1 ( - оо), о о ))<
< 1 — Р()х {Т <= {d{— оо), ос)) = Р01(Г <=(— оо, d { — оо))) = е.
Точно так же устанавливается, что г])(с+) > е. <1
З а м е ч а н и е 1. Мы предоставляем читателю самому убе­
диться в том, что при 0t < 02 утверждение теоремы 2 и все про-
ведеппые рассмотрения сохранятся, если мы интервал (0Ь 02) за­
меним на отрезок [0Ь 02], т. е. будем проверять гипотезу Hi==
= { 0 ^ [0 i, 0 J ) против //, = {0^10!, 02] >.
З а м е ч а н и е 2. Требование экспонепциальностп семейства
(Ре), как это видно из доказательства теоремы, может быть ос­
лаблено до условия выпуклости отношения
Ч <*> V *)
? /e0W +<1 ? ) /е„(*>
относительно некоторой статистики Т (ср. с (10), (11)).
З а м е ч а я и е 3. Обратим внимание еще раз на то, что если
бы осповпоп гипотезой была Н г-= {0 е (01? 02)}, а альтернативой
Hi = 10 ^ (01, 0г)К то р. и. м. к. не существовало бы, так как в
этом случае «односторонние» критерии вида Т > с или Т < с со­
ответственно для альтернатив 0 > 02 и 0 < 0t оказались бы более
мощными, чем критерий вида Т (сь е2). Например, для альтер­
натив 0 > 02 будет существовать р. и. м. к. вида Г > с, а условие
л if e приведет к единственному ограничению Ме2я ^ е (см.
замечания в копре п. 2).
Тем не менее, окажется, что если штасс Ке дополнительно не­
сколько сузить вполне естественным образом (см. §§ 6, 7), то
р. п. м. к. будет существовать п в этой задаче.
3. Другой подход к рассматриваемым задачам. Математичес­
кое существо главного утверждения теоремы 2, а также теорем
§§ 1, 2, весьма просто и заслуживает того, чтобы его выделить.
Например, в теореме 2 оно состоит в следующей вариационной
задаче. В классе функций л, удовлетворяющих условиям

j я(лг) / е. (х) р 1{dx) = е , i=l,2,

мы ищем элемент я°, для которого максимизируется

j я {х) /о0 (х) ц'1{dx).
Следующее утверждение называется обычно обобщением фун­
даментальной леммы Неймана — Пирсона.
 ГЛВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ 313

Л е м м а 2. Пусть / т+1— действительные функции,

определенные на SBn и интегрируемые относительно меры рп.
Пусть критические функции я таковы, что
j я (,х ) (,х) pn (dx) = еи i= 1 m. (17)

Тогда элемент п°, на котором J л (a?) f m+1 (х) \\!l(dx) достигает мак­
симума, имеет вид
771

1, ГС./Ш / т+1 (Ж) > S

7=1
Я° (х) =
О, если fm+i (х) < 2 k ifi(x ),

еде к и . . . , к т определяются из условий (17).

Доказательство. Обозначим Ь\ (я) = j* п ( х) / г( х ) р71(dx),
i = l , . . . , m + 1. Элемент я, удовлетворяющий условиям Р{(п )=
= е„ г = 1, пг, максимизирует Fm+l(я) тогда и только тогда,
771

когда он максимизирует // 7П+1 (я) — 2 k^F i (л) при каких-нибудь

i=l
k it . .., к,п (ведь значение суммы здесь фиксировано). Стало быть,
нам достаточно, чтобы я максимизировало

J ( j m + i (ж) — 2 к i f г ( х ) j Я (a?) |i" (с1х).

Но это выражение делается максимальным, если положить я (х ) =

ГП
— 1 там, где fm+i (х)— 2 кф, ( х ) > 0, ц п(х) = 0 там, где это вы-
1
ражение отрицательно. Постоянные к {, от которых зависит это я,
а также «свободные» значения я на множестве {fm+i (х) —
771

= 2 k \fi (а?)} следует подобрать так, чтобы выполнялось (17). <3

i~l
к. Байесовский подход и наименее благоприятные априорные
распределения прн построении и. м. к. и р. и. м. к. Лемма 2 выяс­
няет математическое существо построений, которые проводились
нами в этом параграфе. В этом разделе речь будет идти также
о существе этих рассмотрений, по с несколько иной точки зре­
ния. Дело в том, что при доказательстве теоремы 2 мы неявно
использовали подход, связанный с построением минимаксных
критериев с помощью байесовских (ср. с теоремой 1.2). Этот под­
ход позже будет рассматриваться более подробно. Здесь же мы
получим одно общее утверждение, полезное нри построении
р. п. м. к. в общем случае, н поясним его связь с минимаксным
подходом.
314 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Пусть проверяется основная гипотеза Hi — {0 е 0,} против,

простой альтернативы / / 2 =■ (В = 02), 02 & ®i. В качестве Нг здесь
можно взять и произвольную альтернативу {X G}, где G име­
ет плотность g относительно р и с семейством {Ре) никак пе
связано. Задача состоит в отыскании н. м. к. л уровня 1 —е для
проверки Hi против Н 2. Другими словами, надо найти функцию
Л ИЗ Кг,
К е = Гл: sup Мея ( Х ) < б \ ,
I ееех ] (1о>

которая минимизирует Р (02) = Ме2л (X). В предыдущих рас­

смотрениях мы не раз наблюдали известную «дуальность» в по­
становке задачи: максимизация мощности при фиксированной
вероятности ошибки первого рода эквивалентна минимизации
последней при фиксированной мощности. Но при таком обра­
щении мы приходим в нашей задаче к проблеме минимизации
(18), а это и есть проблема построения минимаксного критерия
(более подробно эта проблема будет обсуждаться в § 9). Это
объясняет в какой-то мере сходство доказываемого ниже утверж­
дения с теоремой 1.2.
Итак, рассмотрим частично байесовскую постановку задачи,
в силу которой параметр 0 на множестве 0 , выбирается случай­
ным образом с распределением Q,. Сложная гипотеза H t заменя­
ется при этом простой гипотезой H qx , при которой плотность X
Определяется как усредненное по мере Qt значение

/<?! 0*0= f /aO*OQi № •

ёх -

Qi
Для проверкиH Ql против / / 2 в классе К г = {л: е}
критериев уровня 1 —е существует н. м. к. л<э , имеющий вид
(л*^ есть критерий ^ q xq2 в обозначениях § 4, где Q2 — вырож­
денное в точке 02 распределение):
(1, если g ( x ) > c f Q l(x),
л Ог 0*0 |q^ если g {x ) c c f Ql{x) ^

(здесь g {х) — /е2 {х) в параметрическом случае).

Т е о р е м а 3. Допустим, что существует такое распределение
Qb сосредоточенное на подмножестве ©i а 0 г
для которого
1) е К г 1у (20)
2) МеЯл (X) = const = sup Me^g (X) (21)

для всех О е 0j.,

 РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ 315

Тогда критерий Kq1 е К е и является к. м. к. для проверки II ,

против Н г.
Доказательство. Проверим спачала принадлежность
е К е. В силу условий теоремы

snp М6Лд1 (X) = f MeHQi (X ) (d9) = MQl n Q (X ) < e. (22)

Gee, о
©i
Пусть теперь я — любой другой критерий из К е, т. е. крите­
рий уровня 1 — е для проверки против / / 2. Тогда

М01я (X) = J л (х) f Ql (х ) pn {dx) = j Мея (X) Qx (dQ) < е,

©i
Q.
и, стало быть, я е £ е . Но тогда в силу определения Лс^

что и требовалось доказать. <3

Распределение Q„ фигурирующее в теореме, называют наи­
менее благоприятным. Это связано со следующим обстоятельст­
вом. Величина Pq, (02) = Ме2я ^ г (X) есть наибольшее значение
мощности, которое можно достичь в К в 1 при «априорном» рас­
пределении Qi на в ,. Если мы возьмем теперь любое другое рас­
пределение Q' на 0 i, то получим

(V (ег) ^ Р(?х (^г). (0г) = in* IV (62)

Q'

{это и есть смысл термина «наихудшее распределение»). В са­

мом деле,яд в силу (22) принадлежит К в и, стало быть, К®'.
Это означает, что его мощность Pqx (02) = M e^Q x (X) не будет
TjrQf м
превосходить мощности н .м чк. в Я е , равной по определению
pQ' (0г)*
Мы могли бы теперь с помощью теоремы 3 доказывать тео­
ремы 1 и 2. Множество ©х, на котором сосредоточено наиме­
нее благоприятное распределение, в теоремах 1 и 2 состоит соот­
ветственно из одной {0Э и двух {0,, 02) точек. Условия (20), (21)
превращаются соответственно в условия (3) и (7).
Аналогичным образом следует использовать теорему 3 для
построения р. п. м. к. и в других случаях: если построенный кри­
терий Hqj не зависит от 02 е 0 2, то он будет р. н. м. к. для про­
верки Hi = (0 е 0 i) против IIг —•{0 е 0 2) в классе К г.
Наименее благоприятное распределение Qt, удовлетворяющее
условиям теоремы 3, существует при весьма широких предполо­
жениях, которые в реальных задачах обычно выполнепы. Доста­
316 ТЕОРИЯ ПРОВЕРНИ ГИПОТЕЗ [ГЛ. 3

точно требовать компактности 0 , и непрерывности / е(х) но В

для п. в. х (подробнее об этом см. [40] и продолжение этой
книги).
Дальнейшее обсуждение связей между байесовским и мини­
максным подходами см. в § 9.

§ 6*. Несмещенные критерии

В этом и следующем параграфе мы будем использовать прин­

ципы несмещенности и инвариантности для естественного суже­
ния класса рассматриваемых критериев. Цель такого сужения —
отыскание оптимальных критериев.
1. Определения. Несмещенные р. н. м. к. Пусть, как и в преды­
дущем параграфе, мы рассматриваем проверку сложной гипотезы
/ / n l f i e O J против Н 2 — (В е ©г) по выборке -^(§§Ре, 0 0 = 0 ! U
U ©2. Рассмотрим критерии я из класса К е — (л: sup М е ^ ^ е ) .
v | te 0 i ]
Если, например, 0! состоит из одной точки 0ц М е ^ — е, то
е есть вероятность отклонения //„ когда IIt верна. Естественное
требование к критерию л состоит в том, чтобы вероятность откло­
нения I I !, когда Н 1 не верна, доло/сна быть больше е. Если это не
так, то найдутся альтерпативы, при которых принятие //, более
вероятно, чем в случаях, когда /7t верна. Такое положение явля­
ется нежелательным. Мы приходим к необходимости выделить
следующий важный класс критериев.
О п р е д е л е н и е 1. Критерий я называется несмещенным,
если для него

inf Моя (X) ^ snp Мел (X). m

0еб3 0ееА ' *

Таким образом, критерий л для которого snp М е я= е ,

будет несмещенным, если (Зл(0) ^ е при в е 0 2. Класс несмещеп-

иых критериев уровня 1 — е обозначим К,.
Односторонний критерий я с критической областью Т > с
(или Т < с) для экспоненциальных семейств, упоминавшийся в
предыдущем параграфе, не может быть несмещенным для про­
верки Ну = РеЦ против Н 2 = { ^ ^ Р е 15 ВфВу], так как здесь
0 2 = {В: в ф 0j }, Моя < е при В < Bi, если Mot H — е (см. теоре­
му 5.1).
Наоборот, р. и. м. к., если они существуют, с необходимостью
являются несмещенными, так как для них мощность (3(0) при
0 <= 0 2 пе может быть меньше мощности критерия я(Х ) = е.
 НЕСМЕЩЕННЫЕ КРИТЕРИИ 317

Принцип несмещенности *) представляет самостоятельный

интерес, поскольку оп дает возможность естественного сужения
класса критериев. Это позволяет нам стропть р. н. м. к. в клас­
сах К е в тех случаях, когда р. и. м. к. в классе К ь пе сущест­
вуют.
Как мы увидим, это относится, в частности, к задаче о про­
верке гипотезы = {0 ^ [0i, 02О, 0! ^ 02, против двустороппёй
альтернативы // г = { 0 ^ [ 0 , , 02]) (ср. с разделом 2 § 5).
Отыскапие р. и. м. несмещенных критериев во многом может
быть сведено к использованию уже применявшихся приемов, су­
щество которых изложено в лемме 5.2. При этом может быть
полезным следующее утверждение.
Дрпустим, что существует общая непустая граница Г мно­
жеств ©! и 0 2 из R h:
Г *;= П д&2
(dSi обозначает границу ©,), т. е. мпожество точек, предельных
одновременно для 0 4 и ©2. Допустим кроме того, что для всех
л е Ке
. Рл (0) = Мол (X) = е при всех 0 е Г . (2)
Это свойство будет, очевидно, всегда выполнено, если рл(0)
непрерывно зависит от 0 для любого критерия л из К Е.
Так как

Рл (6) = J л (х) h И И*(d x), 0< яИ < 1 .

то непрерывность (Зя(0) будет иметь место, если непрерывной по
0 для р,"-п. в. х будет функция / е(#). Это вытекает из следствия
1 Приложения _VL
Обозначим К Е класс всех критериев я, удовлетворяющих (2).
Л е м м а 1. Пусть К е<=Ке (г. е. выполнено (2)). Тогда если я
есть р. н. м. к. в Ке П Ке, то л — р. н. м. к. в K t.
Д о к а з а т е л ь с т в о . Нам достаточно убедиться, что я е К к
и что Ке <= Ке ПКе. Второе из этих соотношений вытекает из пред­
положения Ке <= Ке. Первое следует из того, что критерий л = е
принадлежит Ке П Ке и, стало быть, inf Мйл (X inf М0 л = е. <1
е~е2 оее2
Таким образом, лемма 1 позволяет свести поиски р. п. м. не­
смещенных критериев к поискам обычных р. и. м. к., по при на­

*) Термин «несмещенность» использовался и применительно к оцен­

кам. Свойство несмещенности оценки в известном смысле аналогично свой­
ству несмещенности критерия: если оценка 6* является смещенной, то
Мп 0* ф 0П и найдутся другие значения параметра 0 ф 0о, при которых
О и
среднее значение М60* будет равно 0 О.
318 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

личии грапичпых условий (2). Если число точек границы Г ко­

нечно, то мы окажемся в условиях леммы 5.2, где нам останется
проверить независимость полученной оптимальной критической
■функции я от значения 0 е 0 2, для которого максимизировался
функционал М0я(Х ). Это и будет означать равномерную наи­
большую мощность.
Отметим теперь следующее обстоятельство, связанное с вы­
рождением условий (2), которое проще всего пояснить для одно­
мерного случая. Если = [0!, 02], а 0 2 есть дополнение к 0 Ь то
условия (2) будут представлять собой два уравнения М0?-Я (X) =
— е, г = 1 , 2. Однако в предельном случае 0! = 02 эти уравнения
превратятся в одно. Но в силу несмещеппости критерия я его
мощность ^ ( 0 ) должна будет в точке 0j достигать своего мини­
мума (см. (1)). Стало быть, если (Зп(0) дифференцируема, то роль
уравнений (2) в случае 0, = 02 будут играть равенства

Рл (0i) = в, Рл (0х) = 0* (3)

Условия дифференцируемости j* /о (х) р {dx), а тем самым и
Ргх (0) = Мозг (^Г), выяснены в Приложении VI. Если эти условия
выполнены, то
Рл (0) = J я (х) /е (ж) ц п {dx) =
, = J n ( x ) L ' (х , 0) /о (я) pn (dx) = М0я (X ) L ' (X, 0).
Это означает, что условия (3) вновь можно записать в терминах
интегралов:
Мегя (X) = е, М01я (X) L ’ (X, 0t) = 0. (4)

Например, для экспоненциального семейства (5.9)

L '(x, 0) = с'(0)/с(0) + а'(0)Г(л:).

Т ак как MeZ/ (X, 0) - 0, то с' (0)/с (0)— а' (0)М0;Г (X),

Мея (X )L' (X, 0) = - а' (0) М0Т (X) • М0я (X) -|- а' (0) М0я (X) Т (X ),
и уравнения (4) примут вид
М01 (я (X) - е) = 0, М01 (я (X) - в) Т (X) = 0.

В качестве иллюстрации рассмотрим случай, к разбору кото­

рого по существу уже все подготовлено.
2. Двусторонние альтернативы. Экспоненциальное семейство.
Т е о р е м а 1. Пусть }в(х) определяется равенством (5.9), и
проверяется гипотеза 7 /,= = { 0 ^ [0 i, 02В, 01 ^ 02, против альтерна­
тивы / / 2 = { 0 ^ [ 0 i ‘, 0JK Тогда, если функция а(0) монотонна, то
 НЕСМЕЩЕННЫЕ КРИТЕРИИ ЗШ

1) в классе К е несмещенных критериев уровня 1 —е сущест­

вует р и. м. к. я, который имеет вид

{О, если сх < Т (х) < с2,

Pi, если Г (ж) = щ, i = l , 2, (5)

1, если Т {х) ф [ с 1ч с2],

П
где Т (х) — (х{), а постоянные са, р,-, i = 1, 2, определяются
i=l *
из условий
Мв п ( Х ) = г, i = l,2, (6>

если 01 < 62, и из условий

M6ln (X ) = е, M6l ( я (X) — е) Г (X) = О, (7>
если 0, = 02.
2) Критерий я мипшшзирует функцию (Зл (0) = М ея(Х) при
условиях (6)внутри отрезка [0,, 021 и максимизирует ее вне
[0i, 02] при условиях (6) или (7) (последнее при 0i = 02).
3) При О < 8 < 1, 01 < 02 функция р(0) = М ея(Х) имеет ми­
нимум в некоторой точке 0ое ( 0 () 02) и строго возрастает при
удалении 0 от 0О вправо или влево. При этом мы исключаем слу­
чай (5.8).
Нетрудно видеть, что формулировка этой теоремы почти пов­
торяет утверждение теоремы 5.2 с той, однако, разницей, что са-.
ми утверждения иногда носят «противоположный» характер и не
исключается равенство 01 == 02.
Д о к а з а т е л ь с т в о . В случае 01 < 02 оно полностью следу­
ет доказательству теоремы 5 2. В замечапии 1 к упомянутой тео­
реме сказано, что при 01 < 02 все рассуждения теоремы полностью
сохранятся в случае, когда проверится гипотеза {0 ^ [0lt 02П
против { 0 е [0,, 023}, т. е., в обозначениях этого параграфа,—
гипотеза Н 2 против //,. Положим п (х) — 1 — я°(#), где я ’ — функ­
ция, определенная в (5 .0 при условиях Ма.я° (X) — 1 — е, i =■ 1, 2,
вместо (5.7). Тогда, очевидно, утверждения 2), 3) будут прямыми
следствиями соответствующих утверждений теоремы 5.2.
Первое утверждение теоремы следует из второго, так как
класс критериев я, удовлетворяющих (6), шире, чем К г, и, стало
быхь, я будет максимизировать Моя (X) в классе К е в любой
точке 0 впе [0lt 02]. Это означает, что я есть р. н. м. несмещен­
ный критерий.
Нам осталось рассмотреть случай 0t = 02. Здесь, по-видимому,
320 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

рассмотрим задачу максимизации Мел (X) при условиях

Мч п ( Х ) = е , М01я (X) Т (X) = еМ01Т (X). (8)
Очевидпо, мы будем находиться в условиях леммы 5.2, если по­
ложим m = 2, fi — /о1, j-i — T f bl, / 3 = / е, — г, е2 ~ еМоТ1 (X).
Согласно этой лемме, максимум Мел будет достигаться на
функции
|1, если / е (х) > k xf Ql (ж) + к 2Т (х) / 01 (ж),
П^ ~ [О, если / е {х) < k J Ql (х ) + к2Г (х ) / 0J (а?).
Рассмотрим последнее неравенство, которое можно записать в
форме
е^-Ч °г))П * > < k i + h T ( x ) '

Ясно, что для любых Ci < сг можно всегда выбрать к 1у кг так,

нтобы это неравенство было эквивалентно
с, < Т < с2.
Ото доказывает, что критерий вида (5) максимизирует М0л (X)
при условиях (7), если только с,-, piy i = 1, 2, в (5) можно выбрать
так, чтобы удовлетворялось (7) (или (8)). Этот критерий будет,
очевидно, р. н. м. несмещенным критерием, так как класс крите­
риев л, удовлетворяющих (8), шире, чем К е и, стало быть, л бу­
дет максимизировать Мея (X) и в К г. Итак, для доказательства
теоремы пам осталось убедиться, что справедлива
Л е м м а 2. Уравнение (7) при 0 < е < 1 разрешимо относи­
тельно с,, р^ i = 1, 2.
Д о к а з а т е л ь с т в о этой леммы мы приведем, как *и дока­
зательство леммы 5.1, при упрощающем предположении, что
Ре -распределение Т (Х ) непрерывно, т. е. Р01 (Т (X) = с) = 0
при всех с.
Напомним, что плотность распределения Т относительно не­
которой меры v мы можем считать равной (см. § 5) ge(t) —
= c(Q)eot. Тогда уравнения (7), (8) будут эквивалентны соотно­
шениям
с2

М01 (1 — л (X)) = с (0Д £ e x*v (dt) = 1 — 8,

ci
О)
с2 с2

1И01 (1 — л (X)) Т (X) = с (0j) J te”1 v (dt) = (1 - е) с (0Д j t e ^ v (dt).

Cl ' С1
r o t
Обозначая r ( t ) — t, m = MqxT (X) — с (0Д J te 1 v (dt), мы можем
 ИНВАРИАНТНЫЕ КРИТЕРИИ 321

уравнепия (9) записать в виде

с2

с (0i) J е 1v{dt) 1 — е,
ci
с2
(10 )
с (0i) j r (t) (dt) (1 — е) т.
ci
Мы пришли к задаче, совпадающей с задачей, рассматривавшейся
в лемме 5.1, с той лишь разницей, что распределение с плот­
ностью r{t)gQ1 (t) может быть обобщенным (т. е. принимать и
отрицательные значения). В этих новых условиях следует поло­
жить t 0 = т. В остальном рассуждения леммы 5.1 не меня­
ются. <1
§ 7*. Инвариантные критерии
В этом параграфе мы рассмотрим еще одип способ сужения
класса всех критериев, основанный на этот раз па соображениях
инвариантности.
Предположим, что ^(=§{Pe} и {Ру} есть инвариантное се­
мейство. Напомним необходимые обозначения и понятия (см.
§ 2.19). Пусть дана группа G измеримых преобразований g про­
странства <%п в себя. Семейство {Р0) будет инвариантным отно­
сительно G., если для каждого g ^ G и 0 ^ 0 найдется элемент
0g е 0 , такой что
P0g (X е Л) = Р 0 {gX <= А).
для любого Л <=
Преобразования g пространства 0 , определяемые равенством
при выполнении условий С40) образуют груину G (см.
§ 2.19).
О п р е д е л е н и е 1. Мы будем говорить, что задача проверки
гипотезы IG = {0 ^ ©j} против Нг = {0 е= 0 2}? 0 , U 0 2 = 0 , являет­
ся инвариантной, если выполнены следующие два условия:
1) Семейство (Ре) является инвариантным относительно G.
2) Множества 0 , и ©2 являются инвариантными отиоситель-
по g е= О, т. е. g & i = i = 1, 2.
Если задача проверки гипотез является иивариаптпой, то для
ее решения естественно воспользоваться инвариантным крите­
рием.
О п р е д е л е н и е 2. Критерий я называется инвариантным
если я(Х ) есть инвариантная относительно g статистика*)!
nigx) = п(х) для всех х е= g ^ G.
*) См. сноску на стр. 182,
21 А , А. Боровков
322 ТЕОРИЯ ПРОВЕРЮ ! ГИПОТЕЗ [ГЛ. 3

Если л есть перандомизмроваииый критерий и Qj есть область

приема гипотезы IIj, то инвариантность л означает, что gi 2, ==
= Qj, j = 1, 2.
Естественность использования инвариантных критериев, по-ви­
димому, проще всего понять па примерах. Общее обсуждение,
связанное с трактовкой g как замены координат и нечувстви­
тельности к этой замене соответствующих статистик, содержится
в § 2.19.
П р и м е р 1. Наиболее простые примеры относятся к тому
случаю, когда группа G тривиальна, т. е. g для любого g есть
тождественное преобразование ё пространства 0 .
Пусть X ф о2; проверяется гипотеза 11j = (а, < о ^ а2) про­
тив дополнительной альтернативы IL. В этом случае

Очевидно, что семейство Ф 0 о2 инвариантно относительно группы

G ортогональных преобразований g (вращений) пространства <%п,
при этом g = e для любого g. Поэтому естественно рассматривать
гг
критерии я, зависящие лишь от статистики Т (X) = 2 хп Так
г= 1
как о~ 2 Т ( Х ) ^ Г 1/2 „/а = Ии, то Т (X) Га<п/2 при а = 1 /.( 2 о 2),
и мы приходим к задаче о проверке гипотезы Н 1 = { а 1 ^ . а ^ . а 2},
a i = 1/(2of), а 2 = l/(2 o f), но наблюдению Т(Х), имеющему рас­
пределение Га_п/2 из экспоненциального семейства. С иомошыо
результатов предыдущих параграфов мы можем построить р. н. м.
несмещенный критерий уровня 1 — е, принимающий II { при
( 1)

где Сх выбираются так, что( ы Г\х^,п/2 ~ 2

сг\) = е.
Отметим, что критерий вида (1) в этой примере мы могли бы
построить и из других соображений, основываясь на принципе
достаточности, так как статистика Т является достаточной. Ведь
мы зпаем, что вся информация о параметре а2 сосредоточена в Т
и привлечение других статистик (т. е. другой информации о вы­
борке) не имеет смысла.
В дальнейшем там, где это возможно, мы будем сразу реду­
цировать задачу к задаче о распределении достаточных статистик.
П р и м е р 2. Пусть X Фа а2, II х = {ах ^ а 2}. В этом
случае 0 = (а, о2), и преобразование сдвига gX — X + с =
= (х4+ с, . .., х„ + с) индуцирует преобразование ga = а + с, ко­
торое оставляет гипотезу IIL неизменной. Если ограничиться рас­
§7] ИНВАРИАНТНЫЕ КРИТЕРИИ 323

смотрением достаточных статистик

Т х = х, Г а = 2 ( х 4 — х )2,
г=1
то преобразование g дает
Td g X) = х + с, T 2(gX) = TAX) .
Таким образом, статистика Т 2 является ипвариантной относи­
тельно G. То есть инвариантный критерий зт, основапный па
достаточных статистиках, должен быть функцией от 1 \. (Ниже
мы увидим, что любой инвариантный критерий зт должен быть
функцией от Т2.) В силу § 2.32 о~?Т 2 (§= Г1/2, (n-i)/2, и мы приходим
к задаче, разобранной в предыдущем примере. Р. н. м. инвари­
антный несмещенный критерий будет иметь вид щ --51 Т> ^ с2.
П р и м е р 3. Оба рассмотренные выше примера касались
нормального распределения. Применительно к распределению
выборки X это было многомерное пормальное распределение с
диагональной матрицей вторых моментов. Для дальнейшего по­
лезно отметить, что семейство произвольных многомерных нор­
мальных распределений Фа
а2, а е R m, о2 = ||оу|!» *,7 = 1, , тп,
является инвариаптпым относительно группы G линейных невы­
рожденных преобразований
g x = ( х — а)С,
где С — обратимая матрица. В самом деле, мы должны убедить­
ся, что при некотором преобразовании g выполняется Р^е(21) =
== P e G ^ M ) , где Р е = 0 = (а, Фа>ав»
g ~ l A, -как обычно,
означает множество g~lA_= { х ^ R m: g x ^ A ) . Имеем (а = УIа21)

ф ».я» (г ~ 1д) = (2ix).TT/2ff' J е х р | - Х ( ж - а ) а Щ ж - а ) т}<&.

е~хА
После замены у = g х получим

% . А е ~ 1 А ) = (2д)»/^|С||cxP(-i-(g-V-<x)o-4g~V-«)r}<6g-
Учитывая, что g~l y = y C ~ l + a, мы можем показатель у экспо­
ненты в последнем интеграле записать в виде
( у - ( а - а)С)С- 1а~ЧС-1)т(у - (а - а)С)т.
Стало быть, если ’положить
g t i ^ g i a , а2) - (get, Сто2С) = ((а - а ) С , СтогС), (2)
то мы получим '
ф а, А е ~ ' Л ) =Фг(а>0»)И). О)
21*
326 ТЕ0Г11Я ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

п
статистика Т 2 = 2 ( x i — х) 2 является, очевидно, максимальным
?=i
инвариантом в наблюдении (х, Т 2).
В заключение этого параграфа отметим еще раз, что суще­
ство подхода, связанного с инвариантностью, состоит в редукции
рассматриваемых задач о проверке гипотез к более простым за­
дачам, относящимся к распределению максимальных инвариан­
тов. В этих новых, более простых условиях в ряде случаев ока­
зывается возможным построить и. м. или р. п. м. критерии. В этом
отношении «принцип инвариантности» близок к «принципам»
достаточности и несмещенности, в соответствии с которыми ис­
ходная задача редуцируется к задаче в терминах достаточных
или несмещенных статистик.

§ 8*. Связь с доверительными множествами

1. Связь статистических критериев и доверительных множеств.

Связь свойств оптимальности. Понятия доверительного множе­
ства и статистического критерия тесно связацы между собой.
Определение доверительного множества было дано в § 2.31. На­
помним его.
Пусть X Ро, 6 ^ 0 -
О п р е д е л е н и е 1. Случайное подмножество 0* = 0*(Х, е)
параметрического пространства 0 называется доверительным
множеством уровня 1 — е, если
Ре(©*(Х, б ) э 0 ) > 1 - е (1).
для всех 0 е 0 .
Очевпдио, доверительный интервал есть частный случай дове­
рительного множества. Последнее сохраняет тот же см^ысл: с ве­
роятностью > 1 — е оно накрывает истинное значение параметра.
Обозначим
0(0, г) = {хе=%?п: 0 е 0 % , 8)}. (2)
Тогда соотношения
0 е 0 * ( ж , е) и a :e Q (0 , е) (3)
будут эквивалентными.
Определение доверительного множества предполагает, что
множество 0(0, е) в (2) является измеримым, так что вероят­
ность в (1) имеет смысл и равна P 0(X e Q (0 , е)).
Доверительные множества и статистические критерии для
проверки гипотезы Я , = {0 = 0 J против дополнительной альтер­
нативы Я 2 = {О<^0Л, 0 ,<?£©2, связаны между собой следующим
образом. Пусть для каждого 0t определено свое множество ©2 =
— ©2(0i) ^ 0 i .
 СВЯЗЬ С ДОВЕРИТЕЛЬНЫМИ МНОЖЕСТВАМИ 327

Т е о р е м а 1. 1) Рассмотрим для каждого 0, нсрандомизиро-

ванный, критерий л = 6 уровня 1 — е для проверки гипотезы Н 1
против Н 2 и обозначим Q(0i, е) его область принятия гипотезы
Ht. Тогда множество
в *( Х, е ) ’= { в ^ в : Х е Й ( 0 , е)>
будет доверительным множеством уровня 1 — е.
Наоборот, если ©*(Х, е) — доверительное множество уровня
1 —е, то множество Q(0j, определенное в (2) и взятое
в качестве области приема II и будет определять критерий для
проверки Я 1= {0 = 01} против Н 2 = {0 е 0 2(0,)} уроёня 1 — 8 для
любого 0 2(0i), 0 ! ^ 0 2(0i).
2) Если критерий л. с областью приема Q(0t, е) гипотезы Н
является р .н .м .к ., то соответствующее множество 6*(Х, е) ми­
нимизирует вероятность
Р о (О 'е 0 * (Х , е)) для всех 0, 0 ', 0 е © 2(0'), (4)
в классе всех доверительных множеств уровня 1 — е.
Верно и обратное утверждение: минимальность (4) означает,
что соответствующее множество Q(0, е) будет порождать р .н .м .к .
Для одномерного параметра наиболее употребительными явля­
ются случаи ©гС©7) = (G: 0 ^ 0 ' } и ©2(0 ') = {0: 0 > 0© (или
{0: 0<О' } ) . В нервом из них в (4) будет иметь место мипимиза-
пия при всех 0' Ф 0, во втором — при всех 0' < 0.
Итак, в (4) теорема утверждает, что для ©* минимизируется
вероятность Р 0 того, что в доверительное множество попадет лю­
бое другое значение 0' =^О, такое что 0 ^ 0 2(©7)- Ото есть один
из способов выделения оптимальных доверительных интервалов.
О п р е д е л е н и е 2. Доверительные множества, для которых
минимизируется (4) при условии (1), называются наиболее точ­
ными доверительными множествами (уровня 1 — е) относительно
альтернатив 0', таких что 0 е 0 2(О').
Ниже будет приведено некоторое дополнительное обоснование
для такого понимания онтимальпости доверительного интервала.
Таким образом, теорема 1 устанавливает, что «обращение»
множества £Д0|5 г) для р .н .м .к . дает наиболее точное довери­
тельное множество. При этом важно отметить, что рассматривае­
мая процедура построения доверительных множеств с размер­
ностью 0 никак ие связана. Можно даже рассматривать беско­
нечномерные параметры 0 и отождествлять 0 -с самим распреде­
лением Р выборки X. Тогда соотношения эквивалентности (3),
где Й(0, e) = Q(P, е) есть область приема гипотезы {X*=iP}
нрп альтернативе { Х ^ е Р ^ Р } , позволяют построить доверп-
' тельное множество для Р. Например, мы видели в § 1.6, что
распределение статистики Dn = / п sup I Fn (t) —■F (t) I при уело-
t
вин X ^ P , где F есть непрерывная функция распределения,
328 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

соответствующая Р, от F пе зависит и может быть найдено. Ста­

ло быть, мы можем найти такое cl — d(e), что V{Dn ^ сКе)) =?=
= 1 —е. Таким образом, неравенство

/ п sup | F* (t) — F {t) | d

t
определяет область приема гипотезы {X £= Р} для критерия
уровня 1 — е.
Но это же неравенство определяет и доверительное множе­
ство для F — просто ввиду симметрии этого неравенства относи-
I л t
тедьпо F и b п специальной процедуры «ооращения» здесь не
требуется.
Д о к а з а т е л ь с т в о т е о р е м ы 1 почти очевидно. В осно­
ве его лежит эквивалентность (3), в сплу которой
Р е(0еЕ0*(Х , e ) ) = P 0(Xe=Q(0, е ) ) > 1 - е .
Это доказывает первое утверждение. Чтобы доказать второе, рас­
смотрим какое-нибудь другое доверительное множество ©*(Х, е),
ц пусть Q(0, е) — соответствующее ему подмножество в 96п.
Тогда
Ре(ХеГН0, е ) ) = Р 0( 0 е ©* ( Х, в)) 5* 1 - е ,
Р е ( Х е Й ( 0 1, е ) ) > Р в ( Х е й ( 0 1, е))
при 0 ^ © 2(0i), и, стало быть,
Ре(01 е 0 * (Х , е)) ^ Ре(0i е ©*(Х, е)). <1
Рассмотрим теперь важный частный случай, связанный с одно­
мерным 0.
2. Наиболее точные доверительные интервалы.
Т е о р е м а 2. Пусть множество Q(0, е) р .н .м .к ., рассмот­
ренного в теореме 1, имеет вид
сДО, е) «S Т(х) «S с2(0, е),
где с30, е) монотонно и непрерывно *) зависят от 0. Пусть, для
определенности, сД0, е) возрастают. Тогда наиболее точное дове­
рительное множество (уровня 1 —е) относительно альтернатив
0' таких, что 0 е 0 2(0'), будет иметь форму интервала
Ч 1 (2", е ) < 0 < сД1 (Т, е),
где Т = Т (X), сД1 (£,е) есть решения относительно 0 уравне­
ний сД0, е) = t.

*) Свойства монотонности и непрерывности с,(0, е) обычпо вытекают

из таких же свойств функции распределения Ре(7ДХ) < с). В обозначениях
§ 2.31 с1 (0, е) = С ^ 1 (гД , с2 (0, е) = (1 — е2), где Се — функция рас­
пределения Т ( X) , et + ег = е.
 СВЯЗЬ С ДОВЕРИТЕЛЬНЫМИ МНОЖЕСТВАМИ 329

Мы видим, таким образом, что процедура построения довери­

тельного интервала здесь по существу та же, что и в § 2.31 —-
с той лишь особенностью, что в качестве статистики S здесь ис­
пользуется статистика 71 р. н. м. критерия.
Доказательство теоремы вполне очевидно, и оно предоставля­
ется читателю.
Рассмотрим теперь более подробно односторонние доверитель-
ные интервалы для скалярного 0. Они используются там, где
наибольший интерес представляет лишь одна граница для оцени­
ваемого параметра. Такие ситуации возникают, когда оценивает­
ся вероятность какого-нибудь пежелательного события или, ска­
жем, оценивается величина разрывающего усилия для нового
сплава.
Ввиду симметрии можно ограничиться рассмотрением нижней
доверительной границы 0“ (Х, е), для которой
Ре(0-(Х , е) < 0 ) 5* 1 - е . (5)
О п р е д е л е н и е 3. Граница 6" = Q~(X, е), -для которой
Pe CG' ^G' ) минимальна при всех 0 '< 0, называется наиболее
точной нижней доверительной границей уровня 1 —е.
Допустим, что ш(0“, 0) есть какая-нибудь мера потерь, возни­
кающих от «недооценки» 0: н;(0- , 0) — 0 при 0“ ^ 0 и ш(0~, 0)
5 s 0 при 0 ~ < 0 ; при этом ш(0~, 0) нелрерывпо возрастает при
удалении 0“ от 0, Мо^ ( 0 . е) < оо.
Следующее утверждение в какой-то мере поясняет смысл оп­
ределения 3.
Л е м м а 1. Наиболее точная нижняя граница 0“ минимизи­
рует значение Ме w (в-, е) при условии (5) и при любой функ*
ции w, обладающей сформулированными выше свойствами.
Д о к а з а т е л ь с т в о . Пусть 0" — другая ннжняя граница.
Тогда, так как приращения duw(u, 0) по и в области и < 0 отри­
цательны, то
а о
Ме ^ ( О“ , 0 ) = 0) tfJPe (0“ < и ) = — J Р о(0'~< м У „н;(н,0)^
— оо — со

О
— j* Ре ( 0~ <С и) duw (и, 0) = Меи> ( 0_ 5О). <\
— оо

Мы видим, таким образом, что подход к определению наибо­

лее точных доверительных множеств в случае односторонних
множеств является вполне естественным. Можно теперь с по­
мощью теорем 1, 2 п результатов § 5 построить в явном виде од­
носторонние доверительные иптервалы для случая, когда отноше­
ние правдоподобия монотонно.
Т е о р е м а 3. Пусть X ^ Р е , семейство {Рп} имеет монотон­
ное отношение правдоподобия относительно статистики Т (Х ),
330 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

¥ в-распределение которой Ge(t) — ¥ 0 (Т(Х) < t) непрерывно по

6" и t. Тогда статистика Т по распределению монотонно и непре­
рывно зависит от 0 (т. е. Ge(t) непрерывно убывает с ростом 0,
см. определенно 2.31.3). Если b it, ц) есть решение относительно
0 уравнения G 0 (t) = у, то наиболее точная нижняя граница
Q (X, г) уровня 1 —е равна
0-(Х, е) = М Ш ), 1-е ).
Другими словами, в утверждении теоремы 2.31.1 мы получим
наиболее точную нижнюю доверительную границу, если будем
использовать в качестве S статистику Т.
Д о к а з а т е л ь с т в о . В нашем случае в условиях теорем 1, 2
надо положить ©2(0) = П: £ > 0 ) . В силу теоремы 5.1 существует
нерапдомнзированный р. н. м. к. для проверки ТЕ = (6 = 03 про­
тив 7/2 = (0 > 03 с областью Q(0,, е) = (Хл Т ( Х ) < с } принятия
ТЕ, где с = с (01} 1 — е) = (1 — е) определяется из условия
Pojl {Т (X) < с (01} 1 — е)) == 1 — в.
При этом
Р 0 (Т СX ) > с ) > е = Р в1(Т (X) > с)
при G > 01. Последнее означает, что с(0ь 1 — е) < с(0, 1 — е) при
01 < 0, т. е. функция с(0, 1 — е) возрастает но 0. Непрерывность
г(0, 1 — е) = GT 1 (I — е) по 0 следует из непрерывности Ge.
Мы видим, чт’о условия теорем 1, 2 полностью выполнены при
е2(0, s ) = c ( 0 , 1 —е) п, стало быть, наиболее точное доверитель­
ное множество имеет форму полуинтервала ic~iiT(X), 1 —е), °о),
где, как мы видели в теореме 2.31.1, c~liT , 1 — е ) = Ы Т, 1 — е). <1
. Точно так же можно построить наиболее точную верхнюю
границу 0+(Х, в).
Пусть теперь Q~iX, e L) < 0 +(Ar, е2) обозначают верхнюю и
иижшою доверительные границы уровней 1 — 8! и 1 — е, соответ­
ственно. Так как события (0~(Х, ei) > 0) и {0+(Х, е2) < 0) не
пересекаются, то
Ре(0-(Х, еД < е < 0+(Х, е2)) = 1 - 0! - 83,
п (0_(Z, Q+iX, е2)) представляет собой доверительный интер­
вал уровпя 1 — Е, — 82.
Пусть шДО- , 0) п ir2(0+, 0) — функции потерь для границ 0Т,
обладающие свойствами, описанными в формулировке леммы 1.
Л е м м а 2. Пусть ir(0~, 0+, 0) = ih1(O", 0) + ш(0+, 0). Тогда
доверительный интервал (0~, 0+), образованный наиболее точны­
ми верхними и нижними границами, минимизирует Мо*г(0 , 0+, 0)
при условиях
Р е( 0 - > 0 ) ^ 8 „ Р в ( 0 + < 0 ) ^ е 2.
 СВЯЗЬ С ДОВЕРИТЕЛЬНЫМИ МНОЖЕСТВАМИ

Эта лемма является очевидным следствием леммы 1. Она по­

казывает, что доверительный интервал, построенный с помощью
точной нижней и точной верхней границ, также будет обладать
свойством оптимальности.
Теорема 3 дает возможность в явном виде строить такие ин­
тервалы для параметрических семейств с монотонным отношени­
ем правдоподобия.
Предлагаем читателю убедиться с помощью сделанных заме­
чаний, что доверительные интервалы, построенные в § 2.32 для
среднего и дисперсии нормального распределения, будут иметь
наиболее точные верхние и нижние границы.
В теореме 1 и последующих рассмотрениях фигурировало ус­
ловие, что р. п. м. к. является иерандомизированпым. Одиако это
ограничение не является существенным. Любой рандомизирован­
ный критерий л можно представить как нерандомизированный,
если ввести в рассмотрение дополнительное наблюдение У, неза­
висимое от X и равномерно распределенное па [О, П. Действи­
тельно, рассмотрим для новой выборки (X , У) критическую об­
ласть
£2 = {(х, у): л(дс)>7/},
т. е. положим б (-Х-, У) = 4, если (X, 7 ) e Q , п 6 (Х, У) — 0 в про­
тивном случае. Тогда при любом распре-делении X
1
Р (6 (X, Y ) - 1) = Р (л (X) > У) = j Р (л (ХГ) > у) dy = М л (ХГ),
о
и, стало быть, критерий б по своим параметрам эквивалентен л.
Как воспользоваться этим обстоятельством для построения
доверительных интервалов в условиях теоремы 3? Допустим для
простоты, что статистика Т(Х) целочислеппа (как мы видели, от­
сутствие перандомизированных р. л. м. к. может быть вызвано
лишь дискретностью распределения Т), Тогда наблюдение
S{X, Y) — T { X) - \ - Y, У | = и 0)1, сохраняет всю информацию, со­
держащуюся в Т{Х), так как Т{Х) есть целая часть S(X, У).
Р. н. м. к. уровня 1 —е можно придать выбором нецелого с(0, е)
следующую форму: принимается гипотеза II и если
S( X, У ) < с (0 ,, 1 - е ) .
Тем самым мы построили требуемые множества £!(0, е), и оста­
ется лишь «обратить» их тем же способом, что и прежде. Мы по­
лучим пижшою границу
6-(Х , У,' е) - с - 1 (Т(Х) + У, 1 - е),
где с-1 — функция, обратная к с по первому аргументу. Здесь
из самой формы записи видно, что для определения G- нужно
произвести дополнительное наблюдение У. .
332 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

П р и м е р 1. Пусть I g B p, п нас интересует верхняя дове­

рительная граница р + уровня 1 — е для вероятности р = Р(хг =
= 1) ==• 1 —Р(х,- = 0). Семейство распределений Ш Д экспоненци­
ально н удовлетворяет условиям теоремы 3, где следует положить
П
Т (X ) — 2 xi* Рассмотрим наблюдение
i=i

S = £ хг'--|- У, у ^ и о;1.
i=l
Оно имеет в точке t, 0 ^ t ^ п + 1, плотность С \Р р ^ (1 — р)п ^ .
Обозначим GpСО функцию распределения с этой плотностью.
Тогда р+ будет решением уравнения Gp(t) = е.
3. Несмещенные доверительные множества. Вернемся к во­
просу о наиболее точных доверительных множествах. С помо­
щью теоремы 3 мы можем строить наиболее точные верхние п
нижние границы, основываясь на том, что для односторонних
альтернатив (0 > 0Д, {0 <. 0Д гипотез {0 = 0 J в ряде случаев су­
ществует р. п. м. к. Если же попытаться использовать теоремы 1, 2
непосредственно для построения наиболее точных доверительных
интервалов, то нам потребуется существование р. и. м. к. для про­
верки гипотезы {0 = 0!} против (0 0 1}, что бывает весьма ред­
ко. Выход из этого положения состоит в естественном сужении
класса рассматриваемых доверительных интервалов на тон же
основе, на которой мы сужали классы рассматриваемых крите­
риев в § 6, 7. Именно, введем понятия несмещенных и инвари­
антных доверительных множеств.
Пусть, как н прежде, каждому 0 соответствует множество
0 2(0), О<£©2(0).
О п р е д е л е н и е 4. Доверительное множество 0*(Х, е) для
0 уровня 1 — е называется несмещенным относительно альтерна-
тие 0', таких что 0 е 0 2(0' )5 если
Р о( 0 ' е 0*(Х, е ) ) < 1 — е при всех 0, 0', -0 ^ 02 (0 0 . (6)

Множество 0*(Х, е) называется просто несмещенным, если

(6) справедливо для всех 0/;^ 0 .
Несмещенность доверительного множества означает, что веро­
ятность покрытия им ложного значения 0' не больше, чём истин­
ного.
О п р е д е л е н и е 5. Доверительные множества, для которых
минимизируется (4) при условиях (1), (6), называются наиболее '
точными несмещенными доверительными множествами (уровня
1 — е) относительно альтернатив, для которых 0 е @2(0О.
Т е о р е м а 4. 1) Несмещенные не рандомизированные крите­
рии порождают в силу эквивалентности (3) несмещенные' довери­
тельные множества, и наоборот,
 СВЯЗЬ С ДОВЕРИТЕЛЬНЫМИ МНОЖЕСТВАМИ 333

2) Если Q(0,, е) при каждом 0 , е 0 есть область принятия

гипотезы 10 = 64} нерандомизированного р. н. м. несмещенного
критерия при альтернативе l6 < ^ 0 2(0i)}, то соответствующее мно­
жество 0*(Х , в) будет наиболее точным несмещенным довери­
тельным множеством, и наоборот.
Д о к а з а т е л ь с т в о теоремы полностью повторяет рассуж­
дения теоремы 1, к которым надо добавить лишь, что свойство
песмещенпости при переходе от критериев к доверительным мно­
жествам и обратно сохраняется. Действительно, соотношения (1),
(6) эквивалентны
sup Ре (0Х, е)) ^ 1 — е ^ Ре ( I g Q (0х, е)).
0^02(0!)
Если п( Х) есть критическая функция нерандомизировапиых
критериев, фигурирующих в теореме ( я(X) = 0 при X Q(01} е)),
то мы получаем
Моя (X) = 1 — Ре (X <= Й(0Ь е)),
inf Мол (X) ^ Мо, я(Х ).
0-©2(Oi)
Это и есть, очевидно, свойство несмещенности, эквивалентное
(6). <
Если воспользоваться результатами § 6 и построить несме­
щенное наиболее точпое доверительное множество для параметра
0 экспоненциального семейства, то мы получим тот же довери­
тельный интервал (0“, 0+), который мы строили, используя моно-
тонпость отношения правдоподобия, т. "е. интервал, у которого
0“ и 0+ есть соответственно наиболее точные нижняя и верхняя
грапицы уровней 1 — е/2.
4. Инвариантные доверительные множества. Следующее опре
деление использует обозначения и понятия предыдущего парагра­
фа. Пусть 1РЙ} — инвариантное семейство относительно G.
О п р е д е л е н и е 6. Доверительное множество 0*(Х , е) назы­
вается инвариантным *) относительно группы G, если

0*(gX, е ) = # 0 * ( Х , е) (7)
для всех g ^ G .
Смысл этого понятия аналогичен смыслу эквивариантпой
оценки (§ 2.19). Если преобразования g и g интерпретировать
как замену системы координат, сохраняющую распределение, то
(7) означает, что доверительпое множество не зависит от коорди­
натной системы, в которой вПражепы исходные даппые.

*) Если следовать замечанию, сделанпому в сноске па с. 182 § 2.19, то

доверительное множество со свойством (7) было бы естественнее называть
эквивариаытным,
334 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

О п р е д е л е н и е 7. Доверительное множество ©*(Х, е) назы->

вается наиболее точным инвариантным доверительным множест­
вом уровня 1 —е, если на нем минимизируется Р в(0' е ©* (X, е))
при всех G' Ф 0 вч классе всех множеств ©*, удовлетворяющих (7)
и условию Р е(0 е= ©*(Х, е)) = 1 — е.
Пусть Q(0j, е) есть область приема гипотезы Я 1= {0 = О1}
при альтернативе (О Ф 0t} для инвариантного критерия уровня
1 — е. Отметим, что есть существенное различие в определениях
инвариантного критерия и инвариантного доверительного множе­
ства (его не было бы, если бы требовалось выполнение равенства
# й (0 , e) = Q(g0, е), а не £Й(0, е) = £2(0, е)). С этим фактом свя­
зало то обстоятельство, что соответствие между' р. и. м. инвари­
антными критериями и наиболее точными инвариантными дове­
рительными интервалами выглядит несколько сложнее, чем в
предыдущих теоремах.
Рассмотрим группу преобразовании G и предположим, что для
каждого 01 в лей есть подгруппа GtOil, оставляющая инвариант­
ной задачу проверки гипотезы !h = {0 = 0Д. Другими словами,
£0, = 01 при %е GL0J.
Т е о р е м а 5. Пусть 0*(Х, е ) — инвариантное относительно G
доверительное множество уровня 1 — е. Тогда
1) Область £2(0, е) = {х: 0 ^ 0 * ( х , е)} будет инвариантной
относительно G[0] при каждом 0.
2) Если область Q(0t, е), соответствующая 0*(Х, е), есть об­
ласть приема 7/j при альтернативе {0 Ф 0,} для р. н. м. инвариант­
ного критерия уровня 1 — е, то ©*(Х, е) будет наиболее точным
доверительным инвариантным множеством..
Д о к а з а т е л ь с т в о . 1) Пусть g е 6710]. Тогда gQ = 0,
#Q(0, e) = {gx: 0 е 0 * ( х , е)> = {л:: 0 е &*(g~1xt е)> =
= {х: 0 е £-*©*(*, е)) = {х: f 0 s © * ( x , е)} =
= {х: 0 е 0*(х, e)} = Q(0, &).
2) Пусть 0* — любое другое инвариантное доверительное
множество уровня 1 — 8. Согласно первому утверждению ему
соответствует инвариантный критерий уровня 1 — е с областью
Й (0Ь е). приема Я ,.
Так как по предположению
P e ( X s Q ( 0 „ e ) ) > P e ( X e £ X 0 i , е)),
то
Р 0(01 е 0*(Х, 8)) > Pe(0, s 0*(Х , е))
при 01 Ф 0. Что и требовалось доказать. <1
П р и м е р 2. Пусть X Фа о2. Требуется построить наиболее
точное доверительное множество для параметра о2 при неизвест­
ном а. Мы видели в примере 2 предыдущего параграфа, что
 СВЯЗЬ С ДОВЕРИТЕЛЬНЫМИ МНОЖЕСТВАМИ 335

семейство Фа о2 инвариантно относительно преобразований сдви­

га gX — X +• с, если положить g(а, о2) = (а + с, о2). Статистика
П
So = - __- f ^ j ( x i ~ х)2 является максимальным инвариантом, ио-
t= i
строенным по достаточной статистике. Кроме того, гипотеза I I i =
= {а = o j инвариантна отпосителыго G. Согласно примеру 7.2
р. н. м.инвариантный несмещенный критерий для проверки IIt
имеет вид
^l.e^i < (п — 1) S i < й2>ео2, (8)
где £ определяются из условий (см. условие (6.7) теоремы 6.1)
Р (^ l,e Jj i —i <С! ^ 2 ,е ) = 1 6,

М ( %п—1) ^ i ,e <С Хп—1 < 1 ^ 2 ,е ) = (1 е) М х « -1 ,

Хп СЁ!Пп—
— 1 j•
Соответствующее (8) доверительное множество ®*(Х, е) имеет
вид интервала
(п — 1) £ о Д 2,е < о-'2< (тг— 1) SoAi.e. (9)
Этот интервал, очевидно, инвариантен относительно g, как
и критерий (8) (в этом примере G[oJ = G для любого щ). Следо­
вательно, в силу вторых утверждений теорем 4, 5 интервал (9)
есть наиболее точное инвариантное несмещенное доверительное
множество уровня 1 — е.
П р и м е р 3. Пусть X Фа о2. Требуется построить наиболее
точное доверительное множество для параметра а при неизвест­
ном о. Здесь

/ 2(Х) = — - ехр | — —Д- ^ (х.; — а)2}.

-

'«•°2 v ' (2я)п-2 и11 { 2а ^ })

Семейство Фа о2 будет инвариантно относительно группы G ли­
нейных преобразований gX — аХ +J >, если положить g(а, а) =
= (на + Ь, оо). Пара наблюдении (х , Si ) образует достаточную
статистику. Нетрудно видеть, что с ее помощью нельзя построить
статистику, инвариантную относительно G. Однако для каждого
од можно выделить подгруппу G[ a j преобразований gX =
= а{Х — «О + ощ относительно которой статистика (х — aJ/S o
будет максимальным инвариантом. Гипотеза //i = {а = аЭ оста­
ется инвариантной относительно G[ a j . Исследуя плотность
(х —осЭ/^о, можно показать с помощью методов § 7 (ввиду слож­
ности этих рассмотрений мы их опускаем*), что при каждом a

*) Подробнее об этом см. [40], с. 312,

£36 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ 3

р. н. м. несмещенный инвариантный критерии для проверки

гипотезы 1 1 1 против {а ^ о^} существует и имеет область приема
//i вида
V п\ х — а 1 |/5 0< т е, (10)

где т Е определяется из условия Р ( | tn_ x | те)— е, tn_ x Tn-i*

Соответствующее доверительное множество 0* имеет вид

х —TeS0/Vn < а < х + xES0/lln. (11)

Легко видеть, что этот доверительный интервал является ин­

вариантным (0*(gX, e )= g 0 * ( X , е)). В соответствии с первым
утверждением теоремы 5 критерий (10) будет инвариантным от­
носительно G ta J . Согласно второму утверждению доверительный
интервал (11) будет наиболее точным (равномерно по о) инвари­
антным несмещенным доверительным интервалом уровпя 1 — е.
Таким образом, в этом параграфе мы установили, что все
доверительные интервалы, построенные нами в § 2.32, являются
в известном смысле оптимальными.

§ 9. Байесовский и минимаксный подходы

к проверке сложных гипотез

1. Байесовские и минимаксные критерии. Байесовский и мини­

максный подходы были описаны в § 4. Там же были даны соот­
ветствующие определения, которые мы по ходу изложения на-
помпим.
Пусть, как и прежде, проверяется гипотеза = { 0 £ ©4}
против Л 2 = ( 0 е 0,} по выборке X Ре.
Полный байесовский подход предполагает, что 0 выбирается
случайно с априорным распределением Q на © = 0 i U ©2. Распре­
деление Q индуцирует распределения Qi на ©,-, i = 1, 2, и вероят­
ности q{i) = Q(0 е ©,•), так что Q = g(l)Q i + q{2)Q2. Гипотезу
о том, что 0 ^ 0,- выбирается случайным образом с распределени­
ем Q,, обозначим Hqv В соответствии с этой гипотезой X пмеет
плотность
/Oi И = J /е 0*0 Qi {dx).
Подразумевается, конечно, (см. § 4) что на определены
о-алгебры @i? па которых заданы Q,, и что feix) измерима относи­
тельно в , х в Ь -
Из результатов § 1, 2 следует, что байесовский критерий n Q
для проверки H Ql против H q 2 в описанной выше задаче будет
 БАЙЕСОВСКИЙ И МИНИМАКСНЫЙ ПОДХОДЫ 337

иметь вид
1, если /q2 {X) > c/Ql (X),
я Q( X ) = P, если /q 2 {X) = cJQi (X ),
(1)
О, если fQ2 ( X ) C c f Q l ( X ) t

где с = q( l ) / q{ 2 ), р е [0, 1] произвольно.

Частично байесовский подход связан с проверкой гипотезы
H q 1 против H q 2 в т о м случае, когда априорное распределение
между и H q 2 (определяемое вероятностями < ? (1 ), q( 2 )) от­
сутствует. Положим
К е 1 = {я: М(31Я ( Х ) < £ ] .

Тогда критерий я q^ мы называем байесовским в X®1,

еслн это есть и. м. к. уровня 1 — е для проверки II qa против #<?2.
Критерий n Qiq2 будет иметь тот же вид (1), где с, р выбираются
из условия Mq1Mqiq2(Z) ~ е.
Вместо я Qiq2 мы будем писать я ^ или я<?2, если одно ив
множеств 01 пли 0 2 вырождается в одноточечное множество {04}
или Ш .
В приложениях не часто встречаются задачи, в которых рас-
пределения Q, полностью известны. Одиако, как мы уже не раз
видели, польза байесовского подхода не ограничивается лишь
возможпостью его непосредственного применения. Он позволяет
строить р. н. м. к., а также мипимаксные критерии (ср. с §§ 1, 5,
6). Позже мы будем использовать байесовский подход также для
построения асимптотически оптимальных критериев. Пусть, как
и раньше,
(2)

Тогда критерий я мы называем минимаксным в К й (в К ^ 1),

если Я Е / { е( я Е К f 1) и для него максимизируется
inf М е я ( Х ) ^ inf р (0). (3)
0е©2 0е©2
Следует отметить, что если функции мощпости |Н0)
= МеД (Z) непрерывны и множества 0! и 0 2 соприкасаются, то
Р = sup inf p ( 0 ) ^ e (4)
л 0 е © 2
и неравенство [1 > г выполняться не может. Поэтому, если же­
лать, чтобы гарантированная мощность (3) была достаточно боль-
22 а А. Боровков
33 8 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

шой (во всяком случае, больше е), т о следует рассматривать

«разделенные» множества ©t н @2. Другими словами, зону значе­
ний 0, где (5(0) близка к е, как зону «безразличия» критериев,
следует изъять и рассматривать в качество ©2 множество, не со­
прикасающееся с 0 ь ,
Если все же множества соприкасаются, то любой несмещен­
ный критерий е К е будет минимаксным. Действительно, для не­
смещенных критериев р (0) = Мол (X) ^ е, B e 0 2, и, стало
быть, Р — inf р (0) ^ е достигает в силу (4) своего максималь-
OS02
ного значения.
Обратное утверждение верпо в общем случае: минимаксный
критерий, если он существует, является несмещенным. Это следу­
ет из того, что
Р = sup inf Р (0) ^ е
еее2

(мы можем взять л(Х) = е) и того, что для минимаксного кри­

терия
inf Р (0) — р.
оее2

Р. и. м. несмещенный критерий л в классе К„ всех несмещен­

ных критериев является минимаксным в Ке. Действительно, пусть
р(0) — функция* мощности критерия л. Тогда для любых л ^ К е,
0е02
р (G) > р (0), inf (3(0) > inf (5(0),
в€г©2 O—Og
inf Р ( 0 ) = sup inf р ( 0 ) = sup inf Р(0). (5)
Gs0-2 л<=кЕ0ее2

Последнее равенство объясняется тем, что добавление к К е кри­

териев из КЁ, для которых inf Р(0)<Се, величины sup в (5)

пе меняет. <3
В теореме 5.3 мы использовали байесовские критерии для
отыскания р. н. м. к. Следующее утверждение есть некоторое
«развитие» теоремы 5.3. Опо является также аналогом теорем 1.2,
2.11.2 и устанавливает, что минимаксные критерии следует искать
в классе критериев (1), явный вид которых нам известен.
Т е о р е м а 1. Пусть существуют распределения Q,, сосредото­
ченные соответственно на подмножествах ©i сz ©i, i = 1, 2,
и постоянные с и р, такие что критерий ^ qxq2, определенный
с (1), обладает свойствами
§ 9] БАЙЕСОВСКИЙ И МИНИМАКСНЫЙ ПОДХОДЫ 339

1) ^ е й 1,
2) МеЯадДХ) = sup MchQiq2(X) (6)
Os ©j

при всех 0 е ©1}

3) M«3Xq q (X) = inf МсЯп q (X) (7)
ое©2 1
при всех 0 €Е ©2-
Тогда g и является минимаксным критерием в Kt
для проверки IIi против II2.
Пара распределений Qt, Q2, обладающая свойствами 2), 3),
является наименее благоприятной в том смысле, что для любых
двух других распределений Q x, Q2
inf М6Яр Q < inf Мел / /,
oe©2 2 es 0 2 Qi<3'

где n > >— критерий вида (1) из К й.

Q\Q<l
Последнее утверждение означает, что среди всех байесовских
критериев (1) критерий ^QtQ2 обладает наименьшей гарантиро-
ваиной мощностью.
Д о к а з а т е л ь с т в о . Так как
sup MoMQlQ4(X) = j (<70) = MQi KqiQ2 = e,
os©i - 0c

to ^ Qlp0 e К ъ. Гарантированная мощность Я р^ равна (см.

.(7))
inf МоЯр1<?2 (X) = J M(3nQlQ2Q2 (с1в) = M q2^ Qiq2 ~ Pqaq4. (8)
ее©2 е°
2
Пусть теперь я — любой другой критерий нз К Е для проверки
Н х против Н2. Тогда я будет одновременно критерием из К г 1
для проверки I I qx против //р 2, так как

Мр я(Х) = f М(-я(Х) Qx( ^ 0 ) ^ sup Мо я(Х )^в . (9)

в° ' Gs0i
i
Но критерий яр 1р2 является п. м. к. в / i f 1 для проверки Яр,
против Я р 2. Стало быть, в силу (8)
inf М0яр р„ (X) = рр р > Мр я (X) > inf М0я (X). (10)
0е©2 0е©2

Первое утверждение теоремы доказано. Пусть теперь Qb

Q 2 — Два любых других распределения на @х, ©2 соответственно.
22 *
340 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ' [ГЛ.

Q'
Критерий q , как и л > г, будет критерием из Кг
для проверки Н г против Н >, так как
Qj Q3

М ' (Х ) = J Mo«QlQ9 (X) Qi (d0) < sup MextQlQ2 (X ) < e.

vi 0i e se i

Но критерий зт / / является и. м. к. для этих гипотез, поэтому

QiQz
в силу (8)

•= j ini MeJteiQ2 (Х) = рв1<3а. <J

ё3 . 6е02
Основная трудность в применении теоремы 1 к реальпым за­
дачам состоит в отыскании (или угадывапии) наименее благопри­
ятных распределении Qt и Q2. Иногда при этом могут оказаться
полезными соображения инвариантности, как это имеет место
в примерах следующего раздела. Эти примеры представляют са­
мостоятельный интерес п будут использоваться в дальнейшем.
2. Минимаксные критерии для параметра а нормальных рас
пределений.
П р и м е р . 1. Пусть X = хг есть выборка объема
п — 1 из m-мерпого нормального распределения со средним а —
= (ai, . . . , а т) и единичной матрицей вторых моментов. Обозиа-
7П

чнм | а р = 2 a i и рассмотрим задачу о проверке гипотезы

г=1

I h = {\ а I ^ а} против Н г — {Iо. Ъ > а (здесь имеется «разде­

ляющая» зона а < led < Ъ).
Если, нанрпмер, X определяет в канале связи амплитуды век­
тора-сигнала, состоящего из «шума» Х0£ § Ф 0>1 и полезного сиг­
нала а , \ а \ ^ Ъ , то гипотезы //, прн а — 0 можно рассматривать
как гипотезы о паличии полезного сигнала.
Так как рассматриваемый пример будет неоднократно исполь­
зоваться нами в дальнейшем, то утверждение, относящееся к виду
минимаксного критерия, мы сформулируем в_гшде теоремы.
Т е о р е м а 2. Минимаксный критерий л ^ КЕ для проверки
al ^ а) против 7/2 = {1а| М, а < Ъ , по наблюдению Х(=Б
6ёвФ<х,е имеет вид

J1, если | X | > се,

Л ' (О, если | X | <1 Со,

где сг выбирается из условия рс(а) = е, гарантированная

 БАЙЕСОВСКИЙ II МИНИМАКСНЫЙ п о д х о д ы 341

Фо,1 w независимы.
Д о к а з а т е л ь с т в о . Мы начнем с наводящих соображений.
В нашем случае для х = (ж(1), х (т)) имеем

UW = ехР { - Т - “ ) (ж - “ )Т}>

где х Т — вектор-столбец. Отсюда видно, что рассматриваемое се­

мейство распределений инварнантпо относительно ортогонального
преобразования g x —xC, где С есть матрица ортогонального пре­
образования в 7?т . При этом надо положить ga — аС. Гипотезы
Нг будут инвариантными относительно g.
Пусть для простоты а = 0. Если бы распределеппе Q2 на ©2 —
= {а: 1а1 > &} не обнаруживало инвариантности относительно g
(так будет, например, если оно сосредоточено в окрестпости ка­
кой-нибудь точки а 0), то эту песимметрню можно было бы как-то
использовать при решении задачи (при сделанном только что до­
пущении мы были бы близки к задаче проверки двух простых
гипотез (а = 0} п (а = а 0) и получили бы при этом критерии
с большой мощностью). Стало быть, такое распределение не мо­
жет быть наименее благоприятным. Им должно быть распределе­
ние Q2, инвариантное относительно g. Кроме того, яспо, что пан­
худший вариант мы получим, если все распределение будет со­
средоточено па границе 0 2 (чем ближе гипотезы, тем трудпее их
различать). Аналогичные наводящие рассуждения можно прово­
дить относительно Q1} если а 0.
Итак, представляется естественным, что наименее благоприят­
ные распределения Qt и Q2 в нашем примере есть равномерные
распределения на сферах ©! = {&: | a j = а) и ©2 = {а : j а | = Ь}.
В этом случае согласно теореме 1 мпнпмакспын критерий я
будет иметь вид п(х) == Hqxq2 (а?), где n QlQ2 (х) = 1, если

> С JСХР(—у(ж—V)(ж—1')Т}^ 1
( 11)
©1

11 ^0 ^2 (ж) = ^ в противном случае. Здесь dV(v) означает пло­

щ адь' элемента соответствующей сферы, Г* = mes ©ь i = 1, 2.
342 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ ГГЛ. 3

Рассмотрим любой из этих интегралов, например, правый,

и заметим, что его можно записать в виде

exp {Г— —
1 х х т — 2\ | т\} dVy (v)
Г\ c x V {xv

©i
Иптеграл здесь равен
J exp {| x I aexvT} dV (h)/F, V = mes 0 °,
©°
где 0° — поверхность единичного шара, ex = x l\ х j. Стало быть,
если обозначить
4 (0 .[ ехР \ texVT] dV (v), (12)
©°
то область (11) приема / / 2 примет форму
4(|а?|6) > с4'(1ж|а) (13)
(через с мы обозначаем здесь постоянные, не обязательно совпа­
дающие со значением в (11)). IIo очевидно, от х тте зависит,
поскольку значение интеграла (12) не зависит от направления
единичного вектора ех . Поэтому
4 (0 = j схр {fEj} dV (и},
©°
где и, есть первая координата вектора v.
Так как i] /( 0 ) = 0 , i|) " U ) > 0 при f > 0, то фИ) есть выпук­
лая возрастающая функция на [0, °°). Отсюда следует, что нера­
венство (13) (или (11)) эквивалентно
\х\ > с. (14)
Эго есть, очевидно, инвариантный критерий Проверим для него
выполнение условий 1—3 теоремы 1 и устаповим тем самым, что
это минимаксный критерий.
Имеем
(X) = Ра ( | X | > с) = Ф о,е ({ж: | ж — а | > с}).
Ясно, что перемещение точки'1а по сфере 1а1 = const этой вероят­
ности не меняет. Стало быть, она зависит лишь от |а | и, следова­
тельно,
Ma^Q1<?2 = Р ( 11 — а |2> с2) =

= Р ( 2 (5i - aV >■<?) = Р ((S i - ! к I + Й + 1™

где С; (е е Ф 0д есть иезависимые координаты вектора д.
Л е м м а 1. Ф ункция p c{t) = Р ((£,_ — *)2 + Ег + • •. 4- > с2)
при каждом с является возрастающей функцией U|.
 байесовский и м иним аксны й подходы 343

Из этой леммы вытекает, что

ManQiQ2 (X) = р с ( I a IX р с (а) при [ а | < щ
Ma ttQlQ2 (X) = р с ( | а | ) > р с (Ъ) при | а | > Ь.

Эти соотношения эквивалентны условиям 2)', 3) теоремы 1. Чтобы

критерий был критерием уровня 1 — е, мы должны поло­
жить с равным решению се уравнения рс{а) = е. Таким образом,
n QiQ2 ссть минимаксный критерий уровня 1 — е, и его гаранти­
рованная мощность равна Рсе {Ь). <3
Д о к а з а т е л ь с т в о л е м м ы 1. Так как pcit) = pci—t), то
мы можем ограничиться рассмотрением значепнн t > 0.
Рассмотрим спачала случай т — 1. Обозначим функцию pc(t)
в этом случае через p(t). Имеем
pit) = Р ( ||, - t \2 > с2) - ф(* - с) + 1 - Ф(£ + с).
Стало быть, производная по t равна
р' (t) = — I 2 — e-(c+ty/-2 ] _
' У 2n 1 J
= e - ( c2+t2f /2[ect — e ~ ct] > 0,

и функция pit) возрастает при £ > 0 .

При m > 1 функция pcit) есть свертка функции pit) =■ pit, с2)
с распределением %2 с т — 1 степенями свободы:
оо

Рс (t) = J pit, ^ —l^dUm-^u).

- *0

Очевидно, это также есть возрастающая функция t при t ^ 0. <3

По поводу теоремы 2 можпо заметить следующее. Пусть для
простоты й — 0. Тогда гипотеза Hi — (а — 0} станет простой. Если
мы построим и. м. к. для каждой альтернативы а е 0 2, то полу­
чил! критерии вида
х а Т > с.
Это значит, что каждое направление a = a ut, a o e 0 2) t 5s 1,
будет иметь свой и. м. к. уровня 1 — е
xcCq с£, (15)
где сЕ зависит только от е, так как М0(Х ао) — 0, D0(X ao) =
= la ol2 = fr- Но критическая область минимаксного (инвариант­
ного) критерия должна быть одинаково чувствительна по всем
альтернативам. В соответствии с этим она имеет форму объедине­
ния полупространств (15), представляющего собой внешность
сферы. " ' ...
544 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

П р и м е р 2. Пусть теперь X — хг Фа а2, где о2 = Ис«Н есть

произвольная положительно определенная матрица вторых мо­
ментов. Рассмотрим задачу о проверке гипотезы /Д = {ао~ 2а т^
^ а2} = {|аа~Ч < а} против II 2 = {аа_2а т ^ Ь2} — В асгЧ ^ Ь}у
а < Ъ . Из теоремы 2 вытекает
Т е о р е м а 2А. Критическое множество минимаксного крите­
рия уровня 1 — е для проверки I I i против II 2 имеет вид
—2 Г 2
ХО X > С8

и гарантированную мощность рс£Ф), где сЕ, как н прежде, есть

решение уравнения рс(и) = е.
Д о к а з а т е л ь с т в о . Положим g x ~ x о и заметим, что в си­
лу (7.3)
Ф к М А ) = Фг(а?Е)
где g(a, Е) — {ас, о2). Для шара А = { х ; \х \ < с) будем иметь
gA = {г/ = жег: жжг < с2} = {#: ijo~ 2j/t С с2},
Фа,Е (^) = Фао,о2({*: х о ~ 2х т< с2}).
Множество (а: 1а1*£а) переходит после преобразования g
в множество (р — ао: а а т< й2) = {р: ро_2рт < а2}.
; Таким образом, все соотношения, установленные нами в при­
мере 1 для Фа,вС4) при Iос1 ^ й или ial > 6 , будут справедливы
д л я Ф р а-2({#: х о ~ 2х т< с2]) при 1ро_11 ^ й или соот­
ветственно.
Это доказывает теорему 2А. <1
П р и м е р 3. Рассмотрим спова выборку из нормального' рас­
пределения ФК,Е с единичной матрицей вторых моментов. Однако,
в отличие от примера 1, проверяемые гипотезы Hi будут касаться
лишь части координат вектора а. Представим а в виде набора
двух векторов а — ( а ', а " ) , где а — ( а 1? . .., со), а." = (а ?+|, . . .
. . а,,,), и рассмотрим задачу о проверке гипотезы /Д = { |а " 1-г£
=5 а) против Нг = \ \а " I > Ь) по выборке Х = х1 = (х11, х1(™)
объема п = 1. Величина а при каждой из гипотез может прини­
мать произвольное значение. Поступим точно так же, как в при­
мере 4, но выберем в качестве Qt, Q2 равномерные распределения
на «сферах» © 1—{а: |а " | — а, а ' = а0\, ©2 = (а:| а!' |= 6, а' = а 0|,
где а 0 — какая-нибудь фиксированная точка. Если обозначить
x! = (xi,i* х1,г)» xj = (х и + ы • • ч хг,«0, то мы получим
в результате минимаксный критерий
I *11> се,
где се есть решепие уравнения.
Р ( & — й)2 -f £2 + • ** + E?n—i > с2) = e (^0
 БАЙЕСОВСКИЙ II МИНИМАКСНЫЙ ПОДХОДЫ 845

(множители ехр | — — а 0) ( х ' :— а 0) j в иеравепстве

Ы Х ) 1 Щ Х ) > С сократятся, и оно перейдет в неравенство типа
(11)). Этот результат является вполне естественным, так как ко­
ординаты Xi,j в нашем случае независимы и, стало быть, подвек-
тор х х не песет в себе никакой информации относительно а ," .
Поэтому из всей выборки X = х у достаточно рассматривать лишь
- нодвектор х1? а в этом случае задача сводится к примеру 1.
Проверка гипотез в примере 3 относится к классу задач при
наличии так называемого «мешающего» параметра. Б пашем слу­
чае мешающим параметром служил вектор а'. В силу отмечен­
ных выше причин он на самом деле практически не мешал по­
строению минимаксного критерия, который автоматически полу­
чился пе зависящим от а '. -
Несколько иначе дело обстоит в следующем более общем при­
мере, когда координаты x tj зависимы.
П р и м е р 4. Пусть X = хх Фа а-2* Рассмотрим задачу о про­
верке гипотезы
И х =* {arf_2a T^ ог\ против I I 2 =* {ad~ 2a T ^ 62}, (18)
где d~z — неотрицательно определенная матрица ранга т — I < т,
полученная из о-2 заменой элементов каких-нибудь I строк и I
-столбцов (с теми же номерами) на нули. Для определенности мож­
но считать, что для положительно определенной матрицы по­
рядка (т —V) X (т — /), обратной к матрице
< 4 = Ма д 2 ( Х: - < х ') Т ( х ; - а " ) ,
образованной последними т — 1 столбцами и строками матрицы
с2 ~ проверяется гипотеза Н 1 = [о/го 7 2о /г ^ а2} против Т/2 =
= {а"щГ2а" ^ 6 ' ) , где х1? «"означают те же подвекторы векторов
Xt и а, что и в предыдущем примере. Мешающий параметр а мо­
жет быть в каждой из гипотез IIi произвольным.
В этом примере распределение х1? вообще говоря, зависит от
а " . Сделаем следующее преобразование по превращению х, в век­
тор с «ортоиормированными» координатами. Положим
У= х Л (ИВ
где Л = Ha.jll — треугольная матрица с элементами а у = 0 при / >
i. Оставшиеся элементы выбираются из условия у €§§ Фр,е , гд
P’= (P i, •••, pm) = a A . Это всегда можно сделать, так как из (19)
получаем
Уm Xi niOm, ui,
Ут—1 Xi, тп.Ощш77i—1 Xi>m—iClm—i m_j,
3 46 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Отсюда и из условий
Ма ,а2(Уг— pi)2 = 1,
М а ,а 2 (Y i — p i) (У; — Pj) = 0,

поочередно определяются значения

2____ ____ ,4 j
dm,m —
& т ,т а т ,т —1 Т i,m—l — 0,
® т .т @ т ,т —-1 T 2 о т ^т — \& т ,т —1@т— l , m —1 Т = Ij

Таким образом, треугольная матрица А такова, что

Мад2 (У- Р)г (у - Р) = м а „2Л Т (х, - (х, - а) Л = Л гсг2Л = Е.
Из треугольиости А следует, что вектор $" — (рг+1, . рта) зави­
сит лишь от а", и наоборот. Если обозначить Л2 треугольную мат­
рицу порядка (т — I) X (га —Z), полученную из последних т — 1
строк и столбцов матрицы А, то мы получим, очевидно, |3" = а"А2,
— Е. Множество ©i = {ос: а"(Т3 2а"7 ^ а2} перейдем в мно­
жество
|р: р = аЛ , cc"a2“ V T< a 2} = {р: р"Л.Г‘а 7 2Л “ 17'р"т < а2] =
= IP: Р Т Г < « 21 = !Р: |Р” | < « } -
«Подпараметр» $ ' может быть произвольным, если произвольно а'.
Мы пришли к задаче примера 3. Мппимаксный критерий
уровня 1 — 8 для проверки Hi против II 2 имеет, следовательпо,
вид у " у " Т > се или (Л.2Л 2 = <72 г)
п 9 ff'f
Xi02 Xj Се,
где с£ — решение уравнения (17).
Последний пример является паиболее общим из примеров
1 — 4. Он резюмирует содержание этих примеров следующим об­
разом.
Т е о р е м а 2В. Если по выборке X — х х£ = Ф 2 проверяются
гипотезы (18), связанные со значением ad~ 2a T, го минимаксный
критерий уровня 1 — е имеет вид
X jiT M 1> ■ (20)
где сЕ определяется в (17), m — l есть ранг d~z.
Гарантированная мощность критерия (20) равна
P((Ei — by + Ег 3” • • ‘ Т" £>т—г Cg), ^ Ф од.
Если выборка X имеет объем и, то х(Е§Фа, о2/п будет доста­
точной статистикой, а минимаксный критерий будет иметь вид
, „ . . xd~ 2x T > cjn .
 БАЙЕСОВСКИ!'! И МИНИМАКСНЫЙ ПОДХОДЫ 347

Следующий пример будет носить несколько иной характер.

П р и м е р 5. Пусть, как и в примере 1, Х = х 1(==Фа>Е есть
выборка объема п =■ 1 из m-мерпого нормального распределения
со средним а — (a i? » . сст ). Пусть И ±= {а = 0}, а гипотеза Н 2 со­
стоит в том, что а принадлежит некоторому множеству 0 2, не со­
держащему точки а ^ ©9. Обозначим ©2 выпуклое замыкание мно­
жества 02 (наименьшее выпуклое замкнутое множество, содержа­
щее ©2), и пусть р> есть точка из 0 2, ближайшая к пачалу коорди­
нат. Тогда если р <= ©2, то распределение Q2, сосредоточенное в
точке (3, будет наименее благоприятным, и минимаксный крите­
рий л будет иметь вид л(Х) = 1, если
( X - p ) ( X - p ) T< X X r + Cl

или, что то же, если

Х р г/ |£ | > с 2,

где с2 выбирается из условия л е К Е.

В самом деле, нам достаточно проверить условие (7). Имеем

м а п(Х ) = р а ( х р 7 | р | > с г),

где Хр / |р |е = Ф а|5Г/т д1. так что

М «п(Х) = 1 - ф ( < - г - а р 7 |р |) .

Это значит, что минимум Магс (X), с с ^ 0 2, достигается при а, ми­

нимизирующем функцию сфт/1{3|. Но очевидно, что офт ^ = 1^!2
при всех а ^ 0 2, так что

М р л ( Х ) = inf М а^(Х ). <1

аее2

Мы предлагаем читателю построить мппнмаксиын критерий в

той же задаче, когда X Фа,а 7 0-2 есть произвольная матрица
вторых моментов.
3. Вырожденные наименее благоприятные распределения для
односторонних гипотез. ПустьХ(==Ро, где 0 и элементы х, выборки
X вещественны.
Предположим, что мы проверяем одностороннюю гипотезу
Z/±= {0 0 i) против П 2 — (0 5s 62) при наличии непустой «зоны
безразличия» 0! < 0 < 02. При каких условиях наименее благо­
приятные распределения будут сосредоточены в точках 0 t и 02?
348 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Ведь в этом случае минимаксный критерий я уровня 1 — е выгля­

дел бы весьма просто:

1, если /о2 (X) > cfQl (X),

и(Х ) р, если / 0.2 (X) = c/0l (X), (21)
О, если /е2 (X) < с/01 (X),

где р и с определяются равенством Ме1я(Х ) = е.

Мы уже знаем, что если отношение правдоподобия монотонно,
то такой критерий будет р. и. м., а, стало быть, и минимаксным.
Следующее утверждение дает другое достаточное условие для то­
го, лтобы критерий был минимаксным.
Т е о р е м а 3. Пусть плотность f e(x) обладает тем свойством,
что отношение / 0' (x)ifo(x) не убывает по х при любых 0 '-> 8. Тог-
да наименее благоприятные распределения Q, и Q2 будут сосредо­
точены соответственно в точках О, и 82, и, стало быть, критерий
(21) будет минимаксным.
Д о к а з а т е л ь с т в о . Пусть сначала п = 1. П о условию теоре­
мы найдутся такие а ^ Ь , что /е' (ж)//е (ж) ^ 1 при х ^ ( — оо, а],
/ е' (хУ/е (х) = 1 при х е (а, Ъ), foj_(x)/fe (ж) ^ 1 при х ^ [Ъ, «=). Так
как л(х) не убывает, то л(Ь) ^ л(а) и

Мы я (X) — Мо-я (X) ^

и ОО

> ЯН J {/О1 (х) — /о (х)) И (dx) + Я (Ь) j (/о/ (х) — /е (ж)) ц (dx) =
■
—со Ь
оо

= (я (b) — я (a)) J (/ы (х) — /о (х)) [.I (dx) > 0.

Если п > 1, то для получения такого же неравенства пужио

воспользоваться последовательным интегрированием (сначала по
x l5 затем по х2 и т. д.) и тем, что л(Х) не убывает по каждому
из своих аргументов.
Таким образом, мы установили, что мощность Р (0) = М0я (X)
является неубывающей функцией.
Отсюда следует, что уровень л равен 1 — е и что Р (0Х) =*
= s upp( 0) , (3(0. ) = inf р (0). Это означает, чго выполнены все
о<е, “ е>е2
условия теоремы 1. Теорема 3 доказана. <3
Если 0 — параметр сдвига: / е(а0 = /(я —0), то можпо показать,
что /ы (x)/fo (х) будет монотонно по х тогда и только тогда, когда
функция —In fix) является выпуклой (см. [40]),
§ 101 КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 349

§ 10. Критерий отношения правдоподобия

В предыдущих параграфах мы получили ряд результатов, ка­
сающихся построения разного рода оптимальных критериев. Важ­
ный вывод, который можно сделать из приведенных рассмотрений*
состоит в том, что эти оптимальпые критерии существуют лишь
при весьма ограниченных условиях. В теории оценпвапия мы име­
ли примерно ту же ситуацию: эффективные оценки существуют
также лишь при ограничительных условиях. Однако мы видели в
главе 2, что если рассматривать не точное, а асимптотическое
свойство эффективности, то оцешш, обладающие этим свойством,
существуют уже довольно часто, при весьма •широких условиях,
связанных главным образом с регулярностью семейства {РеК Та­
кими оценками являются о. м. гг.
Другое выражение асимптотической оптимальности о. м. п., как
мы видели,- состоит в том, что о. м. п. асимптотически эквивалент­
ны байесовским оценкам для любого фиксированного гладкого ап­
риорного распределения.
В теории проверки гипотез некоторым аналогом о. м. и. являет­
ся так называемый критерий отношения правдоподобия (к. о. п.).
При широких предположениях он совпадает с оптимальными кри­
териями, если таковые существуют, и оказывается асимптотически
эквивалентным байесовскому критерию в случае 0 t = (бД при лю­
бом фиксированном гладком априорном распределении Q2 на ©2.
Это свойство и ряд других асимптотических свойств к. о. и. будут
установлены в ближайших параграфах.
Дадим определение к. о. п. Пусть в параметрическом случае,
когда X €= Ре, проверяется гипотеза / / ±= {0 ^ © J против гипотезы
/ / 2 = { 0 ^ © 2}.
О п р е д е л е н и е 1. Критерий л (X ) с критической областью
sup W )

v * sup / 0 {X) ■
(1 )
4>
0еег
называется критерием отношения правдоподобия (к. б. п.) для про­
верки гипотезы Hi против Н2.
Постоянная с обычно выбирается из условия
snp Ре (Я (Х )> с) = в, -
0=0!
при котором к. о. п. будет иметь уровень 1 — е.
Наряду с критерием (1) часто рассматривают по существу эк­
вивалентный ему критерий (который также называется к. о. п.)
вида
sup / е {X) . , у,

- (3 )
ее©! . еееА
350 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ' [ГЛ 3

Близость этих критериев вытекает из того что при 0 = ©i U 0 2

и, стало быть, Ri (X) — max {1, R(X)}.

Если гипотеза Н 1 простая: 0 4= O il, П2 = {0 Ф 0 J , так что
0 2 —0 \{0Д , то для непрерывных по 0, будем иметь
R ( X ) ^ R 1 (X) = f ^ ( X ) ! f 0 l(X).
По своей форме критерий (1) естественным образом обобщает
п. м. к. для проверки простых гипотез в лемме Неймана — Пирсо­
на. И хотя точных свойств оптимальности этот критерий в общем
случае, по-видимому, не имеет, асимптотически он часто оказыва­
ется наилучшим (см. §§ 13—16).
Многие несмещенные инвариаптпые и мптпшаксные критерии,
рассмотренные выше, являются к. о. и. Рассмотрим для иллюстра­
ции примеры 9.1—9.4, в которых строились минимаксные крите­
рии для параметра а нормальных совокупностей. Во всех этих
примерах минимаксные критерии являются к. о. п. Докажем это.
Задачи примеров 9.2, 9.4 с точностью до линейных преобразова­
ний параметра сводились к задачам примеров 9.1, 9.3. Так как
отношение правдоподобия (1) от таких замен (при соответствую­
щем изменении областей 0 3 пе зависит, то нам достаточно рас­
смотреть лишь примеры 9.1, 9.3.
В примере 9.1 по выборке X £== к единичного объема из мно­
гомерной нормальной совокупности с единичной матрицей Е вторых
моментов проверялась гипотеза = /Л {|а1 <
а) против Н 2 = { 1а! ^
> £>}, а <Ъ. Оказалось, что минимаксный критерий имеет форму
IXI > с. (4)
В пашем случае sup fo(X) определяется значением
OcEOj
inf ( X — а) (X — a f = inf | X — a f
asGj
так что для статистики R( X) в (1) будем иметь

I n 7?(X) = ] — 1 ( | Ж | - 6 ) 2 + - * - ( | Х | — а) \ если а < \ Х \ < 6 ,

если \ X \ ^ Ъ.

Ото есть непрерывная возрастающая функция от 1Х|. Поэтому

области (1) и (4) при подходящих значениях с совпадают.
Предлагаем читателю убедиться, что критерий (3) в этом при­
мере также имеет вид (4).
§ 101 КРИТЕРИЙ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 351

В примере 9.3 по выборке Х€=Ф а,Е единичного объема прове­

рялась гипотеза I I i = { |а " I =? а) против II 2 — { let" \ ^ Ь}, где а." —
— (%+1, ат) есть подвектор вектора а , составлеппый из его
последних т —I координат. Минимаксный критерий имеет вид
IХ " \ > с , ‘ (5)

где X " составлен из т —I последних координат вектора X Но в

этом случае
inf (X — а ) ( Х — a f = inf (X" — а") {X" - а ) т.

Аналогичное неравенство справедливо для ©2. Поэтому все сводит­

ся к рассмотрениям, проведенным для примера 9.1, и к. о. п. (1) и
(3) будут совпадать с (5).
В условиях § 5 построенные там p. i t . м. к . для экспоненциаль­
ных семейств
f 0 (x) = c{Q)e0T^ h ( x ) (6)
также будут совпадать с к. о. п. Читатель может проверить это
Самостоятельно, заметив, что функция

Ф (0) = In с (G) = — In ( J еог(л)/т (х) |_i” (dx)]

является выпуклой, поскольку ф' (6) = — МцГ, ф" (0)= — DqT < 0.
Из выпуклости ф вытекает однозначная разрешимость уравнения
ф '( 0 ) + П Х ) = 0

для о.м. п. 6* = ^(Г ) п монотонность функции Ч}). При ЭТОМ ОДИН

из snp /о(X) будетдостигаться в точке 0*, адругой — вточках
(tee*
0! ИЛИ 02.
Проверка сделанного утверждения для нормальных семейств
Фо, к, являющихся частным случаем (6), содержится в § 15.
Несколько иначе обстоит дело в примере 9.5, в котором по вы­
борке Х ^ Ф аЕ проверялась гипотеза II i =■ {а = 0} против П 2 —
= {а<^©2}. Предполагается, что множество ©2 и его выпуклое за­
мыкание ©2 пе содержит точки а = 0 . Если ближайшая к началу
координат точка (} множества ©2 принадлеж’ит ©2, то минимакс­
ный критерий существует и имеет вид
Хрг > с. (7)

Этот критерий не является инвариантным относительно какой-ли­

бо группы преобразований. Мы предлагаем читателю убедиться,
что в этом случае к. о. п. будет отличным от (7) и будет иметь
 852 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

ВИД
р2(Х, ©2) - р2(Х, 0) < с,
где р (X, 0 2) — inf | X — а |, р (А', 0) = [ X |.
аев-2
Установим теперь, что при выполнении некоторых предполо­
жений критерий отношения правдоподобия обладает свойствами
инвариантности. Пусть G — любая группа преобразований в й? ",
относительно которой задача проверки гипотез Я* п Я 2 инвариант­
на, и пусть U — соответствующая группа преобразований g на ©.
Т е о р е м а 1. Если fe(x) обладает свойством
/е {gx) = с (g , х) / - 0 (я), (8)
то критерий отношения правдоподобия инвариантен относитель­
но G.
Но поводу условия (8) отметим, что опо всегда выполпепо, если
р есть мера Лебега, и g — преобразование, сохраняющее меру
( сдвиг, поворот). В этом случае c(gt ж) = 1. Для преобразований
' сжатия cig, х ) ен=const.
Д о к а з а т е л ь с т в о т е о р е м ы 1. В силу того, что g S t = ©,,
i = 1, 2, будем иметь
sup f Q(gx) sup С {g, X) f . (x) Slip f e (x)
„ , 0efi2 —— - =
v
R (gx) — ------ e=^e2 j—:—\ = Яr , ,(ж).
j - 7-7g—— = — v ^
<]
45 >sup / q (gx) sup {g, x) f- x)
С sup f 0 (x)
I ~ >_
- 0=0! OS©! osi©!
Другие свойства к. о. п. см. в §§ 11, 13—16.

§ 11*. Последовательный анализ

I. Вводные замечания. Во всех предыдущих рассмотрениях

объем п выборки X = Х п, которой мы располагаем, был фиксиро­
ванным. При этом условии мы искали критерии, обладающие
теми или иными свойствами оптимальности. Например, в самом
простом случае, когда проверяются две .простые гипотезы Я , =
•— {Х^ЁР*}, г = 1 , 2, оказалось, что существует н. м. к. л уровня
1 — е, который имеет вид (см. теорему 2.1)
/1, если / 2 (X) > cfу (X),
л (X) = ]/?, если / 2 (X) == cfy (X),
(О, если / 2 (X) < cfy (X).
Здесь с и р определяются из условия М уП (X) = е, fi(x) суть плот­
ности распределений Р„ i = 1, 2, относительно некоторой меры р.
Возможно ли дальнейшее улучшение этой статистической
процедуры? В сформулированных условиях, конечно, пет. Но
если отказаться от фиксации объема выборки, т. е. сделать число
§ 11] ПОСЛЕДОВАТЕЛЬНЫЙ АНАЛИЗ 3 53

наблюдений п случайной величиной, зависящей от уже провс-

деппых наблюдений, то улучшения возможны. Имеется в виду
сокращеппе числа наблюдений,» необходимых для построении
критерия с заданными параметрами. Это обстоятельство суще­
ственно для тех экспериментов, где проведение опытов сопряже­
но с затратами.
^ Принципиальную возможность такого улучшения критериев
можпо пояснить на следующем примере. Допустим, что распре­
деления Pi и Р 2 не являются взаимно абсолютно непрерывными,
н пусть существуют множества В { и В 2 из такие что
fi(x) > 0, / 2(ж) = 0 при л 'е Д ,, п / t( x ) = 0 , f 2 { x ) > 0 при х е В , .
Тогда ясно, что если x t ^ B i е Б 2), то мы безошибочно можем
утверждать, что имеет место гипотеза Я, (Я2). При этом 'нет
никакой необходимости делать дальнейшие наблюдения.
Таким образом, если проводить эксперименты не сразу в ко­
личестве п штук, а последовательно, рассматривая результат
каждой новой серии наблюдений, то можно объем наблюдений
сократить.
Введение последовательной процедуры представляется очень
естественным и с точки зрения байесовского подхода. В самом
деле, байесовский критерий, рассмотренный пами в § 2, предпи­
сывает принимать гипотезу Я 2, если апостериорная вероятность
q(2/Х) этой гипотезы ^ 1 /2 . При этом в критическом множестве
среди других будут находиться как выборки X , для которых
g(2/Х ) близка к 1 (для таких X прнем Я 2 представляется целе­
сообразным), так, и выборки X, для которых q{2/Х) близко к 1/2.
Эти последние было бы естественно рассматривать как «недоста­
точные» для приема решения и требующие дополнительных экс­
периментов. Кроме того, как и в приведенном выше примере,
апостериорная вероятность q{2/Х) может оказаться большой уже
после первых опытов, и тогда решение можно было бы прини­
мать без последующих испытаний (в упомянутом примере
q{2/Х) = 1 при Х ^ х ^ Я , для любого априорного распределения
(g( 1), д(2)), q{ 2 ) > 0).
Ниже мы рассмотрим последовательную процедуру для про­
верки двух простых гипотез, на которой будет достигаться наи­
большее возможное сокращение числа наблюдений.
2. Байесовский последовательный критерий. Рассмотрим сна
чала байесовскую постановку задачи и обозначим через q(i) = q,
q(2) = 1 — q априорные вероятности гипотез Я ь Я 2. Тогда апо­
стериорная вероятность гипотезы II t после наблюдений X = X"lt
будет равна
■|;1 1 , Л О М *»)
9 (1 « (1 )/,(* „) + «<2>/,( * „ ) •
п> ()
Будем проводить наблюдения последовательно и при каждом п
будем вычислять значения qi 2/Х„), п==1, 2, . . . (или q(\_/Xn)),
25 А. А. Боровков
354 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ ГГЛ. 3

В плоскости переменных (и, у) рассмотрим случайную траекто­

рию апостериорных вероятностей (случайную ломаную), выхо­
дящую при /г = 0 из точки у — q( 2 ) и принимающую в точках
п — 1, 2, . . . значения у — q(2/Xn). С помощью этой траектории
можно построить следующий критерий для проверки гипотезы
IIi против IIг\ рассмотрим в плоскости (/г, у) две прямолинейные
границы y = 4 i, i — 1, 2; 0 < ^ 1 < 7 2< 1 , для перемеыпой q(2/X,J.
Принимается гипотеза Я 2, если траектория q( 2/ Xn)t п — 0, 1, . . . ,
впервые выйдет из полосы ^г) через верхнюю границу
Если траектория q(2/Х и), тг = О, 1, . . выйдет из этой полосы
через нпжшою грапицу у,, то принимается Я,. Позже мы увидим,
что Pj-вероятпость (£ = 1, 2) того, что q{2IXn) никогда не выйдет
из полосы ('Yi, ^г), т. е. вероятность события
{^i < q( 2/ Xn) < -у,, h = 0, 1, ...} (2)
равна нулю.
Число испытаний v, которое потребуется для того, чтобы при­
нять одну из гипотез (т. е. чтобы нарушить неравенства (2)),
очевидно, является марковской случайной величиной (моментом
остаповки) относительно последовательности х1} х2, . . . для каж ­
дого из распределеннй Р 1} Р 2. В этом смысле приведенное пра­
вило принятия гипотез является последовательным. Оно доволь­
но хорошо согласуется с правилами, которыми руководствуется
человек в своей практической деятельности — принимать то или
иное решение, после того как наблюдения позволяют уменьшить
в достаточной степени неопределенность, имеющуюся в отноше­
нии изучаемого объекта.
Построенный критерий зависит от q — q{{) и вектора ^ ==
“ Wo Чг). Поэтому обозначим его т. Установим теперь, что
критерий бд, 7 является оптимальным. Для этого введем сначала
общее понятие последовательного критерия, существенными ха­
рактеристиками которого наряду с вероятностями ошибок 1-го
и 2-го рода становятся средние значения Mxv и M2v для числа
наблюдений v, необходимых для принятия решения.
Пусть н а ( ^ ° ° ,3 3 ^ ) дана произвольная целочисленная случай­
ная величина v ^ О, являющаяся марковской относительно по­
следовательности х15 х2, , . „ ({v ^ п} е о (xlf . . . , Обо­
значим пространство векторов (п , Х п), таких что v(.Xoc>) =
= п, Х п = [Хте]п. На введем о-алгебру S3V, порожденную собы­
тиями {v = п, Х п е В'1}, В п <= п = 0 , 1, . . . . Ясно, что любое
распределение н а (^ ,3 3 ^ > ) (или на индуцирует
соответствующее распределение па ( ^ v, 33v).
О п р е д е л е н и е 1. Последовательным критерием б для про­
верки II, против IIг называется пара (v, Й), где й ^ 39v представ­
ляет из себя область приема # 2 (критическую область), а слу-
s 111 ПОСЛЕДОВАТЕЛЬНЫЙ АНАЛИЗ 355

чайная величипа v предполагается собственной относительно

обоих распределений Р,, Р 2 (Pi(v < оо) = 1, г = 1, 2).
В тех случаях, когда необходимо будет отметить, что v и Q
относятся к критерию 6, мы будем писать v(6) и Q(6).
Ясно, что эквивалентным образом последовательный критерий
можно задать с помощью двузначной измеримой функции на .
Ясно также, что последовательный критерий б можно задавать
и с пемощыо построения критической области (обозначим ее
снова Q) во всем пространстве 3?°°. Однако при таком отобра­
жении в областей Q п R?V\Q приема гипотез Нг и Н, мы пе
обязательно получим все элементы из <%°°\ на тех из них, для
которых v i X ^ ) — «о, не принимается никакая гипотеза. Но в со­
ответствии с определением Р г вероятиости множества таких Х м
равны нулю.
Обычный не рандомизированный критерий б является частным
случаем последовательного, когда т(б) = п постоянно (если
v(6) = 0, то решение принимается без проведения испытаний).
Последовательный критерий б, как и любой обычный крите­
рий для проверки двух простых гипотез, характеризуется веро­
ятностями а г(б) ошибок г-рода (г = 1, 2):
а Д б ) = Р <((v, X v) Ф Q,),

где Q2 = Q, Qt = ^ v\Q 2. Кроме того, как уже отмечалось, мы

будем характеризовать последовательный критерий средними
значениями M*v,i = l , 2 . Очевидно, что для обычного крите­
рия б, построенного’по выборке Х п, выполняется IVI^v (5) е= гг.
Чтобы учесть появление этих новых факторов в постановке
задачи (т. е. характеристик, связанных с величиной v), будем
считать, что проведение каждого наблюдения требует затрат ве­
личиной а. Нам будет удобно также характеризовать потери,
возникающие при неправильном решении, различными значения­
ми wl и w2. Имепно, будем считать, что потерн г-го рода, воз­
никающие при ошибочном решении, когда верпа //,, равны wt,
£ = 1, 2 .
При этих соглашениях математическое ожидание R iq, б) по­
терь, которые возникают при использовании критерия б, равно
Д (д, б) = q [ах (б) wx + flMxv (б)] + (1 — q) [ос2 (б) w 2. + aM2v (б)].
(3)
Это выражение называют байесовским риском в рассматриваемой
задаче. Если положить здесь а — 0, ш , = и >2 = 1, то получим вы­
ражение для вероятности ошибочного решения критерия б, кото­
рое памп уже неоднократно использовалось в §§ 1, 2.
О п р е д е л е ы п е 2. Последовательный критерий б, миними­
зирующий байесовский риск (3), называется байесовским.
23*
?56 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Следующее утверждение устанавливает оптимальность (байе-

совость) критерия б5, т, построенного в начале этого раздела.
Т е о р е м а 1. Д л я заданных а, wu wz существуют y if v2,
такие что критерий 6д>^ является байесовским.
Д о к а з а т е л ь с т в о . Обозначим б£ критерии, который при­
нимает гипотезу Hi без проведения испытаний, так что v( 6,-) = О,
к £(б£) = 0. Выясним сначала, в каких случаях критерии 6, мини­
мизирующий R{q, б), совпадает с б£ пли б2. Очевидно, что
R{q, б£) = (1 — q)w2, R(q, б2) = qwlt
Пусть К — класс критериев {б = 6 (Х)}, которые зависят хотя бы
от одного наблюдения, т. е. класс критериев б, для которых
v( 6) > l . Очевидно, что Ж д, б) S3 а для б s К. Обозначим
R (q) = inf R (q, 6).
бек
Так как критерий б, основанный на одпом испытании (v( 6 ) = 1),
принадлежит К, то R(q) <
Для любого / > е ( 0, 1) имеем в силу линейности R ( q , б) как
функции от q:
Ripqi + (1 —p)qs) = inf [pR(qu 6 ) + (1 —p)Riq2, 6)1 >
бек
^ pR(qi) + (1 —p )R (qz).
Это означает, что R ( q ) —■вогнутая функция. Так как а <
< R(q) < °°, то отсюда следует, что R(q) является также непре­
рывной иа [0, 1] функцией. Сравним теперь риски критериев 6*
и б <= К в зависимости от q (см. рис. 5).
Одно из двух: либо R(q) ^ min Ж д, б£) при всех q (это соот-
i
w0 \ w IV
( "ш "ф и\ ^ лцбо существуют ре­
шения, которые мы обозначим 1 — Ki, 1 — ^ 2, 1 — 7, > 1 — 42, соот-
ветствеппо уравнении R(q, б£) —Ж<7), R{q, б2) = Ж<?). Очевидно,
что R(q) < min R(q, б,) внутри
i
интервала (1 —*у2, 1 — Для
первой из перечисленных двух
возможностей положим

1 — Yi = 1 — V2 =
шг шг так что
Рис. 5.
m i - ь , бЭ = л ( 1 - % б2).
Из приведенных рассуждений и рис. 5 вытекает следующее
оптимальное правило действий. По данным а, щ , w% вычисляем
l — ^i, 1 — ^ 2. Если —72 или, что то же, 1 — q~> то наи­
меньший риск среди всех критериев дает б2 (т. е. надо немед-
§ 11] ПОСЛЕДОВАТЕЛЬНЫЙ АНАЛИЗ 357

ленно принимать / / 2). Если g 5* 1 —fi (I — q ^ ' i J , то наимень­

ший риск дает 6 i (надо принимать I I X II лишь в случае 1 — <
< 1 — ^ 1, де =(1 —ч2, 1 — Y,) (или у2)) следует вос­
пользоваться критерием из К, т. е. необходимо проводить экс­
перимент. •
Воспользуемся теперь индукцией. Пусть проведено п наблю­
дений п мы имеем выборку Х п. Перед Ы + О-ым наблюдением
мы имеем ту же альтернативу: либо больше пе проводить наблю­
дении и принять одну из гипотез Н{ тут же, либо продолжить
наблюдения. Тот факт, что мы уже понесли потери ап, роли пе
играет, так как они ничем уж е устранены быть не могут. Су­
щественные изменения касаются лишь априорного распределе­
ния. Теперь роль вероятностей g(l) = g и д(2) = 1 — q должны
играть апостериорные вероятности q ( i / X n), q{2/Xn). Примени­
тельно к этой новой ситуации уже выработанное нами оптималь­
ное правило дает, что нужно принимать Я 2, если g(2 /Х п) ^ ч , ,
и //,, если q(2/Xn) ^ 4 ,. Если g(2/X n) е (v„ ^ 2), то следует про-'
должать наблюдения. Но полученное правило есть не что иное,
как критерий б7Л. Таким образом, мы нашли wu w2),
обладающие тем свойством, что критерий 6q т минимизирует риск
Шд, 6). <
Отметим, что числа нд, w2) остаются неизменными при
умножении a, wu w, на одно п то же число — это очевидно из
пх определения, так как такая операция приводит лишь к умно­
жению па то же число всех рисков R(q, б). Таким образом, на
самом деле ^ есть функции лишь двух переменных, например,
а и ид, если считать, что w2 = 1 — ид. - -.
Что из себя представляет байесовский критерий б,; 7? Оп пред­
писывает не проводить наблюдений в двух случаях: если ^ = Ч*
(это бывает, когда а велико но сравнению с ид, w2), либо если
q{2) < 4 i или g(2) 5s В остальных случаях следует проводить
эксперименты до первого нарушения неравенств
Ч, < q ( 2 /X J < 42
или, что то же (см. ( 1)), при первом нарушении неравенств
y tq (t) /8(*„) ?2<?(1)
(1 - Т*)« (2) ^ f1 (*„) ^ (1 - тt)q (2)* ^

При этом принимается гипотеза Н2, если впервые нарушается

правое неравенство, и гипотеза Hi — если левое. В таком виде
«переменная» часть критерия 6q>т с байесовской постановкой за­
дачи уже пе связана, и мы можем, обозначив через Г\, Г 2 левую
и правую границы в (4), рассматривать последовательный кри­
терий бг, Г = (Гц Г2), который называют последовательным кри­
терием отношения правдоподобия. Он был впервые введен
Вальдом.
35 8 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ ГГЛ. 3

3. Последовательный критерий, минимизирующий среднее чис­

ло испытаний.
Т е о р е м а 2. Пусть 1\ < 1 < Г2. Обозначим оц и а 2 вероят­
ности ошибок 1-го и 2-го рода критерия бг. Тогда среди всех по­
следовательных критериев б, для которых а 2(б) < а 2,
критерий бг имеет наименьшие значения M1v ( 6) и M2v ( 6).
Эта теорема означает, в частности, что если б есть критерий,
построенный по выборке Х п фиксированного объема, для которого
с'Дб) < at, а 2(б) < а 2, то
M jV(6r) ^ « , i= 1,2.
Д о к а з а т е л ь с т в о . Байесовский критерий б9, т, рассматри­
вавшийся в теореме I, определяется набором чисел (g, a, wy, w2).
По, как уже/ отмечалось, умножение a, wu w2 па одно и то же
число не меняет границ так чт0 т па самом деле определя­
ется тремя параметрами, например, (g, я, w), если принять
и \ = w, ш2 = 1 — w.
, Если исходить из этого соглашения, то в теореме 1 мы по
задаппым (я, w) построили числа •у,— *у*(а, w ), при которых кри­
терий бдЛ является байесовским. Теперь пам потребуется в из­
вестном смысле обратное утверждение о том, что для данных
*У2 существуют а, га, такие что 'уДя, w) — ■у,-, т. е. такие я, w,
для которых критерий бзл будет байесовским в задаче, соответ­
ствующей набору (д, я, w). Это утверждение носпт технический
характер и доказывается довольно сложно (см. [40]). Поэтому
мы примем его как допущепие *).
Итак, рассмотрим критерий бг п при данном g найдем из
уравнений
4# _ г
(1 — Yf) (1 — «) **
Для полученных значений у» = Г,-(1 — д)/(Г,-(1 — g) + д) найдем
я, w, при которых критерий б5, 7 будет байесовским в задаче,
соответствующей набору (д, я, w). Так как Г 1< 1 < Г г , то 'уi <
< 1 — д < 'у2 п v( 6g, i) ^ 1. Это озпачает, что бд, т = бг.
Пусть теперь б — любой другой критерий, для которого
а г(б) < а и Так как критерий б9, т = бг минимизирует байесовский
риск, то
g [сс^я - f aMpv (бг)] -f (1 — g) [а 2 (1 — w) + aM2v (бг)] <
< g (ctx ( б ) w - j - f i M xv ( 6 ) ] + (1 — g) [a2 (6 ) (1 — w) - f a M 2v ( 6 ) ] .

*) Мы пе доказываем здесь п другое полезное утвержденного том, что

для непрерывных Р,-распределений величины J2(X)jfi(X) п любых задан­
ных *аь а 2 пайдутся Fi, Г2, такие что a i( 6r) = oti, осг(бг) — а 2. По своему
существу ото утверждение близко к леммам С.1 н 7.1, но доказывается
труднее.
§ И] ПОСЛЕДОВАТЕЛЬНЫЙ АНАЛИЗ 359

Отсюда следует, что

gMjV (Si ) + (1 — q) M2v (6Г) < (?Мгл; (б) (1 — q) M2v (б).
Так как число <7^ СО, 1) здесь произвольно, то Mxv (бг) ^ Mtv (б),
M2V (бг) < M2v (6). <\
Мы использовали здесь для доказательства тот же прием
сравнения с байесовскими критериями, который мы применяли
В §§ 1, 2, 5.
Рассмотрим некоторые свойства критерия бг. Обозначим через
Q™ подмножества из , которые определяются следующим об­
разом {Xh = [XcJfc):

* = |х “: г*< w < г ‘> * = 1 * — *•Ш ) < Ч

Множество о;г определяется так же, по последнее неравенство
надо заменить на / 2(Хп)//,(Х ,г) > Г2. Очевидно, что Q” не пере-
оо

секаются, Qi = U есть область приема //,, v( 6r ) = п в об-

«=1
ласти ж е ^ 1,
оо оо
«1 (бг) = 2 Pi f e ) = 2 J fi (Л?) pn {dx) <
?!—1 71=1 „

00 с
< 2 J /2 ( ® )r r V ( d » ) = ( l - a ,( e r ) ) / r ,. (5)
,l_l
Диалогично устанавливается, что
а Д б гХ Г Л -а Д б г)). ( 6)
Положим для краткости аДбг) — а,. Степень точности получен­
ных неравенств
1 — а0 „ а
г.,“ <
^ Ч ’ 1\ > -7—
1 ^ 1 —а г v(7);
мы обсудим позже. А сейчас выясним свойства критерия, кото­
рый мы получим, если воспользуемся соотношениями (7 ) в каче­
стве основы для определения Г,- но заданным сц. Если положить
г' аз г' 1_а2 ' ч
Г1 = ~i —« 12 = — a i = “ i (бгО,
то для полученного критерия бр' будем иметь в силу (7 )
360 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. з

Отсюда следует, что

^ а х ( 1 - а ' 2) ^ ос, ^ o r / l - a ' , ) ^ а ,

а 1^ 7~~Т, С т —— , СС2^ — — --
1 1" « 1
1- СС2 1 —а 1
Приводя неравенства (8 ) к общему знаменателю и складывая
их, получим также
г 9
а.1 + a 2 oci -f- a 2.

Таким образом,
/ если а ( малы,
значения а*, которые в сумме не
9
из а* может превышать а, лишь
нам пределах.
П р и м е р 1. Пусть xf имеет
с вероятностью успеха р. Задача
//\ — i p — p j против Н 2 — {р = р2),
то критерии бр' будет иметь
превышают a i + a 2, и каждое
незначительно и в известных
биномиальное распределение
состоит в проверке гипотезы
Pi<Pz. В этом случае

/,т = ”n = С M L -р.) У ” ( l ~ p , Y
/i (X) рЧп ^ _ Pi)n~Tb V*4 С1 *4) / \ 1- Pi / ’
где г|„ есть число успехов в п испытаниях. Для значений p t —
— 0,05, р2 = 0,17, cti = 0,05, a 2= 0,10 получаем *) — 0,105, Г 2 =
= 18, a i - 0,031, a i == 0,099,
Mjv (6Гр) = 31,4, M2v (6Г,) = 30,0.
С другой стороны, процедура с фиксированным объемом выбор­
ки и вероятностями ошибок 1-го и 2-го рода 0,05 и 0,10 требует
71 = 57 наблюдений. Таким образом, последовательная процедура
в .этом примере почти вдвое сокращает среднее число наблю­
дений.
Л. Вычисление параметров наилучшего последовательного критерия.
Соотношения (7), (8) дают возможность устанавливать некоторое соответ­
ствие между границей Г н вероятностями ошибок сс,(бг). Рассмотрим те­
перь задачу расчета критерия 6г более подробно,
а) Точаые формулы. Обозначил!
М х») ._ . ,

" М чГ' ........

А-г = In IX, i — 1, 2.

Тогда критерию бг можно придать следующую форму: если А, С 0 < А 2,

то последовательно проводятся эксперименты и суммируются независимые
71
одинаково распределенные значения z k до тех пор, пока сумма Zn = zk
7г= 1
не коснется впервые одной нз границ А {. Если верна гипотеза Я2, то

•) Числовые данные заимствованы из [40], с. 143.

<> 11] ПОСЛЕДОВАТЕЛЬНЫЙ АНАЛИЗ ' 361

описанное блужданне оудет направлено в среднем вверх, так как

С f2 №
M2zi ln ~ u j x ) ' h ^ = Pi (Р2‘ Pi) > 0
(см. лемму 2.6.1). Аналогично устанавливается, что М1^1= — р1 (р^, < 0.
Если грапицы А { удаляются от начала координат, то это соответствует
(ср. с (5), (6)) уменьшению ошибок 1-го и 2-го рода.
Множеств# в терминах блуждания {Zft} будут иметь вид

Я? = {Д < z„ < * ,,к = 1 г»

Аналогичную форму будут иметь множества Q™.
Обозначим через р(£) случайпую величину, равную временп первого
выхода случайного блуждания Z0 = О, Z u Z2, . . . за границу t:
fmin lk\ Z. ^ t \ при t > О,
ц(г)-=<
[min {к: Z fi < fj при t < 0.

Это есть процесс восстановления, соответствующий последовательности

{Zh} (см. [11], гл. 8). Разности X (Л{) = — А\ будут представлять со­
бой величины эксцессов (перескоков) через уровпн A t в блуждании {Zh}
(см. [11]).
Для вероятности ошпбкп 1-го рода мы можем теперь записать
00 оо п 1
M « r ) = i ; pi ( a 5 ) = 2
п—1 П= 1 п 2 ' •
Я?пПо£

= 2 М2 (е Zn; Q^) = Г" JM2 ( с ; Qg) , (9)

п=1
оо
где S3, — (J Q” есть область приема Я2. А па логично
п=1

Ol = G 0 J. (Ю)
Далее, для значенийfV^v, г = 1 ,2 , v = v ( 6r), в силу тождества Вальда
паходим
M4(Zv) = Ml*1Miv, i = l , 2.

Так как Zv — Аг + Х ^г) па множестве fi2, и Z v — А, + Х И 1) на множест­

ве й ь то

M1V= МД7 М + М1Р (А ): а г) + (‘ - “ i> + М1Р ° ,) |,

^2v == К1 a z) А 2 "И ^2 (^а)» ^2^ “I” а 2^1 ”1” ^2 ( ^ l) ’ ^l)l"

В ряде случаев правые части в формулах (9) — (11) могут быть най-
дТГпы в явном виде. Эти формулы оказываются весьма полезными и в при­
ближенных вычислениях.
3G2 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

б) Приближенные формулы (при больших Л 1? Л2) и неравенства. Мы

уже отмечали, что большие значения |Л,-|, i = 1, 2, соответствуют малым
вероятностям ошибок а , (бг). Рассмотрим значение
“ 1 №■> - 0 ( - Р > \) -

- р* г* < *>7^ (12)

Последнее слагаемое здесь не превосходит, в силу марковости случай­
ной 1&личины ii(H) значении

Pl “ V i ) ) > А°- ~ V l i ) < Р1 > Л * ~ Л1)'

Так как почти во всех практически интересных случаях вероятность н(Л) =

— P. f sup Z h Л \ убывает экспоненциально с ростом А (см., например,
[fi2|, т. 2. Это же можно извлечь из гл. 10 в [И ], где изложены методы
вычислений «(Л) *)), то при больших |Л,-| значение и(Л2 — Л]) будет иметь
более высокий порядок малости, чем и(Л2). Это означает в сплу (12), что

а1 (бг) « р1 (gP Zh > А2) = и (Л2.)> <13>

так что второй границей при больших Л ь Л2 в (12) можно пренебречь.

Точно так же получается приближение
« .(« r ^ F ^ m r z ^ v (14)

- Если |Л i ] велики, а,- малы, то главные части в (11) дают

Л к
M1V~ W11
T' M2V~ м2Т11 (15>
В основе этих формул также лежит пренебрежение второй границей (их
можно получить и с помощью приближений » M^l (Л^ л; Л ./М ^ . Пос­
леднее соотношение имеет место в силу теоремы восстановления ( [ 11] ) ) .
Учет следующих но порядку малости членов в (11) дает

МГ = М Д Г К + “ . (а2 - Л ) +.МЩ),
, «в)
= "М^~ (^2 ~ а2 (А2 "~^l) _г~^ 2^2)’
где а,- определяются приближениями (12), (13), значения —
— lim {АЛ могут быть пайдеиы методами гл. 10 в [11].
Рассмотрим теперь неравенства (8). Так как у {Л 1) ^ 0 . %(А2) ^ 0 , то
эти неравенства следуют нз (9), (10), если /(Л,-) заменить на 0. Стало
быть, точность этих неравенств определяется погрешностью, вызываемой
такой заменой.
Если случайные величины г,- ограничены, Ьг егг г, ^ Ь2, то, очевидно,
Х(Л2) ^ Ъ2, у (Л i) ^ Ьи и. наряду с (5), (0) могут быть выписаны обратные

*) Подробнее об этом см. [9].

§ 121 ПРОВЕРКА СЛОЖНЫХ ГИПОТЕЗ В ОБЩЕМ СЛУЧАЕ 363

неравенства. Имепыо,

«1 (6г) = - а г),

а2(бг)>ГеЧ1" 06!)* 1
ь (1

Чтобы проиллюстрировать полученные соотношения, обратимся к при­

меру 1. Для него
, Р 2 (1 — Р х) 1 — Р2
z n = *ln ln P 1 ( l - p 2) + nbl 1- P j ’

где i]n есть число успехов в п испытаниях. Это значит, что для Р,-—
распределения принимает значение b2 = In (pdpi) ~ 1,224 с вероятностью
1 ~ Р2
p-i, и значение — In ^"ZTp— ~ — 0,135 с вероятностью 1 — д,, i = 1, 2.
Отсюда находим
= — 0,067, M2zx = 0,096, еЬ* = 3,400, Л = 0,874.

Из двух последних значений близко к 1 лишь второе, так что сравни­

тельно точным будет лишь второе из неравенств (17). Используя это не­
равенство п (7) для критерия 6Г/, получим
а' а'
0 ,1 0 2 = < Г, < --------7~— — = 0,117.
1- а , " 1 (1 — а , ) е 1

Это дает довольно точные границы для значения = 0,105. В пашем слу­
чае
А г = In « — 2,254, А2 = 1п Г2 ш 2,890.
Отсюда, используя приближенные формулы (15), получим для M^v', г—
— 1, 2 , значения
-4'1/M 1z1 - 33,639, = 30’108-

Мы видим, что даже довольно грубые приближения, такие как (15), да­
ют правильное представленпе о величинах M^v'. Результаты будут значи­
тельно более точными, если воспользоваться формулами (16).

§ 12. Проверка сложных гипотез в общем случае

В этом параграфе мы пе будем предполагать, что выборка

относится к какому-либо параметрическому семейству. -
Задача проверки двух гипотез в общем случае выглядит сле­
дующим образом. Пусть ^ >1 и — два’семейства распределений,
такие что распределение Р выборки X принадлежит U £^2.
Проверяется гипотеза Н г = Р, Р е 5 ^ } против Н 2 = {X
§ Р , Р е ^ 2}. Общин принцип построения (иерандомизировап-
304 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

ного*)) критерия п(Х) = 6(Х) здесь остается прежним — таким

же, каким он был описан в § 4 для параметрического случая.
Именно, строится критическое множество Q c ^ ' 1 (часто отож­
дествляемое с понятием критерия), такое что мы принимаем Нг,
если X е О, ц принимаем II 1 в противном случае. Число
1 — е = inf P ( X ^ Q )

называется уровнем значимости критерия. Величина

M P)=P(XeQ),
есть значение мощности критерия л в «точке» Р е ^ 2.
Сравнивать мощности ря(Р) критериев я в случае, когда мно­
жество альтернатив Р очень, богато, и строить оптимальные
критерии в этих условиях весьма затруднительно или просто не­
возможно. Минимальные требования к критериям в этом случае
состоят обычно в том, чтобы для каждого фиксированного Р е
выполнялось
Jim |3Л(Р) = 1,
ОО

О п р е д е л е н и е 1. Критерий л, обладающий этим свойством,

называется состоятельным.
Существо рассматриваемых критериев, как и всех статисти­
ческих критериев, соответствует основному принципу математи­
ческой статистики, о котором уже говорилось в § 1.4 и в § 2.31.
Если е мало, то при выполнении гипотезы Ну и при многократ­
ном использовании построенного критерия уровня 1 — е мы бу­
дем ошибаться (т. е. попадать в критическую область) в среднем
лишь в 100 е %„ всех испытаний. Поэтому попадание при вы­
полнении гипотезы Ну в эту область в единичном испытании мы
считаем практически невозможным. Так что если мы все-таки
туда попали, то, значит, сделанное предположение неверно, и мы
объявляем, что гипотеза Ну не верна. В этом случае говорят,
что результаты эксперимента не согласуются с гипотезой Ну с
точки зрения критерия уровня 1 — е.
Очень распространенными являются критерии проверки про­
стой гипотезы //1 = {А (= Р х} против сложной альтернативы
Но — {А Р Ф P i); гипотеза Нг означает, что X есть выборка
из произвольного распределения Р ^ Р , .
В основе построения критериев для проверки простой гипоте­
зы / / 1 = { Х ^ Р 1} обычно лежит «удаленность» эмпирического
распределения P?i от распределения Р 4 в смысле некоторого
«расстояния» d(Р, Q). Желательным свойством этого расстояния

*) В дальнейшем для единообразия обозначений мы будем статисти­

ческие критерии обозначат!, символом л. хотя в пределах этой главы это
будут, как правило, нерандомизированные критерии:
$ 12] ПРОВЕРКА СЛОЖНЫХ ГИПОТЕЗ В ОБЩЕМ СЛУЧАЕ 365

является обращение <3(Р, Q) в 0 лишь при Q = P, а также не­

прерывность d{Р, Q) в «окрестности» точки Q = Р, например,
в равномерной метрике (иначе малые отклонения Q от Р могут
приводить к большим значениям расстояния d ). Напомним, что
в параметрическом случае аналогичные соображения мы исполь­
зовали при построении оценок неизвестного параметра по методу
минимального расстоя ния.
Итак, пусть d(Р, Q) есть некоторое расстояние (не обязатель­
но метрика) в пространстве распределении. Предположим, что
по заданному е > 0 можно найти такое' с > 0 , для которого
P 1( d ( P 1,P ,* ) > c ) = e. (1)
Тогда критерий строится следующим образом:

я т = Л ° ’ 6СЛН
[1 в противном случае!
Очевидпо, что я есть критерий уровня 1 — е.
Так же, как и в § 3, можно ввести понятие критерия асимп­
тотического уровня 1 — е, для которого
l i m P 1 ( d ( P 1, P * ) > c ) = e. • (2)
оо

Описанные критерии часто называют критериями согласия

(с предположением {^€l=Pi})- Их конструкцию можно экви­
валентным образом представить и в несколько иной форме.
Пусть дан функционал С(Р) (или последовательность функцио­
налов G„(P)), такой что G(P) Ф G( Pt) при Р Ф Pi. Тогда мы мо­
жем положить л{Х) = 1, если | G (Р*) — С (Рг) j > с, и я(Х ) =
= 6 в противном случае, где с выбирается из тех же соображе­
ний, что и в (1), (2). Нетрудно проверить, что этот второй подход
эквивалентеп первому, поскольку по функционалу G можно по­
строить расстояние d(Р, P J = |G(P) — G(P,)| (ср. с принципом
подстановки в теории оценивания) и наоборот, по расстоянию
d{Р, P J можно построить функционал G ( P ) = d ( P , P t) (G(Pj) =
= 0 ), удовлетворяющий требуемым свойствам.
Если функционал G в описанной конструкции критерия об­
ладает к тому же свойством G (Р*) G (Р) при X g P (это
р

всегда так, если G является функционалом первого или второго

типа (см. § 1.3)), то построенный критерий будет состоятельным.
Действительно, в этом случае чпсло с = сЫ), обеспечивающее ра­
венство (2), должно сходиться к нулю (так как P 1 (|G (P * )—
— G (РД | > е)-*- 0 при любом е > 0) и, следовательно, мы бу­
дем иметь G (P * )-v G (Р), Р ( | G (Р*) — G (Р,) | > с (/?))-> 1 при
р
каждом фиксированном Р Ф P t.
36 6 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Рассмотрим теперь некоторые хорошо известные критерии со­

гласия, которые являются реализацией описанного выше подхода.
а) Критерий Колмогорова. Рассмотрим статистику (расстоя­
ние)
D ( P l , Р,*) = sup I /■',* (t) — F (t) \,
t

где F* (О и F i t ) — функции распределения, соответствующие

мерам Ртг и Р,. В § 1.8 нами было установлено, что если Fit)
непрерывна, Х ( = Р 15 то
dx (P i, P l ) = V n И { Т г, P*)=>- snp | w°(f)| ,
0« f« l

где w° it) — броуновский мост. Отсюда следует

Т е о р е м а 1 (А. Н. Колмогоров). Если F i t ) непрерывна, то
существует
lim РА(dK(P i, Рп) < я ) = К (^) = P(snp | w° (t) | < x)t
Jl—»OO
Функцию K ix) можно найти в явном виде. Она равна
оо

К (х)= 2 ( - 1)'*еГ!,Ай.
К — — со

С помощью этой теоремы можно конструировать критерии

асимптотического уровня 1 — е. Функция К (х) табулирована во
многих руководствах по математической статистике. Поэтому для
заданного е мы можем с помощью таблиц найти постоянную
с ■==се, для которой К{с) == 1 — е. Положив л(Х) = 1 при
dh ( Р г, Рп) > сЕ, получим критерий согласия асимптотического
уровня 1 — е. Нетрудно видеть, что полученный критерий с«стея-
телен, так как фупкционал GiP) = sup \FP(t)—Fit) \ (здесь FPit) =
t
= P ((—oo? t ))), с помощью которого построен критерий Колмого­
рова, непрерывен относительно FP в равномерной метрике и, ста­
ло быть, является функционалом II типа (см. гл. 1), для кото­
рого g ( p ; ) —v G (P ) при X ^ Р . Остается воспользоваться еде-
П .Н .
лапиыми выше замечаниями об условиях состоятельности крите­
риев согласия.
С помощью результатов гл. 1 мы можем найти асимптотическое пове­
дение мощности критерия Колмогорова относительно близких альтернатив
(см. § 3). Допустим, что X ( = Р , где распределение Р имеет функцию рас­
пределения
F P(x) = F(x) + p ( z ) n - W (3)
Будем предполагать для простоты, что р( х) непрерывна, a F(x) непрерывна
и строго монотонна. Мощность ji(P) критерия Колмогорова в «точке» Р
Э 12] ПРОВЕРКА СЛОЖНЫХ ГИПОТЕЗ В ОБЩЕМ СЛУЧАЕ 367

будет равна
р (Р ) = Р (rfK Щ , Р * ) > с) = Р (sup | F»)( -

= Р Jsnp | (<) — f> (!) п ~ 112 — |Уп > А

Если сделать замену t — F p 1 (и), где I p 1 есть функция, обратная к F P, то

получим выражение

р ( o *u p ( | p (fp *<“ )) и - 1 ’* — Fn { F p (l “ ) ) | Е п > ф

Здесь f/* (U) = P * ( F p ‘ (e)) есть эмпирическая функция, соответствующая
равномерному на [0, 1] распределению £/0, i, так что (4) равно
Р ( sup I и — £/* (м) — р ( F p 1 (и)) д ~ 1/2 | Vге > с].

Кроме того, F p 1 (и) F ~ 1 (и) в силу строгой монотонности F. От­

сюда и из непрерывности р следует, что
Jim р (Р) — Р ( snp | w° (t ) — а (t) | > с \, где a(t) = p ( F~ l (t)). (5)
я-»0о )
Молено показать, что это выражение минимально при n(t) г= 0 (/? еэ 0).
Б этом смысле критерий Колмогорова является асимптотически несмещен­
ным.

б) Критерий Мизеса — Смирнова (критерий со2). Рассмотри

в качестве расстояния между Ft и Рп статистику

со» = d &2 ( P lf Р*) = n J (F (ж) — F* (ж))'2dF (ж),

с номощыо которой также можно построить критерий согласия
заданного уровня. В главе 1 доказапо, что здесь, как и в преды­
дущем случае, справедлива
Т е о р е м а 2. Существует предельное распределение

lim Pj^ (ю» < ж) = Q (ж) = Р J (w° (t ))'2 dt С ж^.

Функция Q(x) тгеет весьма сложный вид (см. [8]), и мы ее

приводить здесь не будем.
Так как функционал

С ( Р ) = § ( F ( t ) - F P ( t ) fd F ( t )

является функционалом II типа (§ 1.3), то по тем же соображе­

ниям, что и в п. а), критерий to2 является состоятельным.
Следуя рассуждениям предыдущего пункта, можно найти и асимптоти­
ческое поведение мощности Р(Р) критерия со2 для близких альтернатив
3 68 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Р впда (3). Получим совершенно аналогичным образом, что

Р(Р) = Р(о>£ > 0 " * P ( .f К ( 0 - я ( 0 ) 2 ^ > с),

где a{t) определено в (5). Полученное предельное значение так лее, как
и (5), минимально при a(t) = 0, так что критерий со2 тоже является асимп­
тотически несмещенным.
Рассмотренные два критерия, как и другие критерии согласия
с гипотезой — {X (§§ Р г}, построенные с помощью расстояний
diР, Q), позволяют сразу получать доверительные множества для
неизвестной функции распределения Fix) или для пеизвестиого
распределения Р, выборки X. Действительно, соотношение (1)
(или (2 )) можпо трактовать и так: вероятность того, что с-ок­
рестность «точки» Р« (в смысле расетояпия d) накроет «точку»
Р,, равна 1 —е. (Для (2 ) мы получим асимптотический вариант
этого утверждения.) Это означает (см. § 8 ), что с-окрестпосгь
точки Р п представляет собой доверительное множество уровня
l -е для неизвестного распределения Р 15 Х ^ Р х. Критерий
Колмогорова, например, определяет эту. окрестность в термииах
функций распределения: это множество всех Fix), для которых
Slip I ^ (£) — F* (t) I < сЕ/ V п ,
t

где се определяется из ( 1).

Вернемся к критериям. Мы уже отмечали, что асимптотиче­
ским уровням значимости можно доверять, лишь при больших п.
Если же объем выборки невелик, то при построении критерия
(точнее, при нахождении с = се) необходимо использовать точные
формулы для распределения ^ ( Р 15 Р*). Одпако их получение
связано, как правило, с большими трудностями. В этой связи
важную роль играют так называемые непараметрические крите­
рии, основапные на статистиках, распределение которых не за­
висит от истинного распределения Pi (или не зависит от пара­
метра 0, если Х ^ = Р ()у
В этом случае вероятности Р х ( d ( V 1, Р * ) < ж) от Р, не за­
висят, и, стало быть, можно один раз произвести вычисления,
составить таблицы и затем использовать их при любых Р,.
Критерий Колмогорова и критерий to2 являются непараметри­
ческими критериями. Этот факт установлен в § 1.6.
Непараметрические критерии .возникают и при проверке двух
сложных гипотез. .
в) Критерий знаков. Пусть Fix) есть функция распределения
для Р ь и гипотеза IF состоит в том, что Fia) — р для заданной
точки а. Очевидно, это есть сложная гипотеза. Гипотеза Н г яв­
ляется дополнительной: — {Х^== Р, Fр (а)^фр). В этом случае
естественно воспользоваться следующей статистикой: обозначим
через v(X) число наблюдений х„ для которых зпак разности
§ 12] ПРОВЕРКА СЛОЖНЫХ ГИПОТЕЗ В ОБЩЕМ СЛУЧАЕ 369

Xi — а отрицателен. В качестве критического множества Q рас­

смотрим все выборки X , для которых
\ ( Х ) & (си с2)
при некоторых Ci < с2.
Если верна гипотеза IIи то
Р, <v (X) = к)= C V (1 - •
Итак, распределепие *v(X) при гипотезе Нt от Р! не зависит, так
что Наш критерий является непараметрическпм. Числа с4 следует
выбрать так, чтобы
P (v(X )e= (Clf с2) ) > 1 - в
(знак равенства из-за дискретностп лЧХ) здесь может пе дости­
гаться). Неоднородность в выборе с,- можно устранить требова­
нием несмещенности относительно изменений р. В целом эта
задача эквивалентна проверке гипотезы о том, что вероятность
успеха в схеме Бернулли равна р. Аналогичным образом можно
строить «односторонние» критерии для проверки гипотез
F(a) < р.
Если в качестве обобщения рассмотренной задачи будем про­
верять гипотезу F(cii) = pi, i — 1, . .., г, для заданных значений
pi, то придем к критерию у2, который подробно рассматрива­
ется в § 16.
г) Критерий Морана. Так называется следующий критерий
для проверки гипотезы о том, что Х ^ Р 1. Пусть ж(1), . .., х (п) —•
вариационный ряд, построенный по выборке X. Предположим,
что Pj имеет непрерывную функцию распределения F, и соста­
вим статистику
М п — 2 \F (x(ft+1);) — F (х(М)]2, (6)
л=о
где принято F (x m ) = О, F (x (n+i)) = 1. Критерий Морана отвергает
гипотезу {X £= Pj}, если М п > с.
Очевидпо, этот критерий является пепараметрическим, так
как E (xfc) ^ I 'J 0>1. Стало быть, достаточно рассматривать крите­
рий Мп > с, основанный на статистике
П
Мп = 2 (x<ft+D— x (fe))2
0
и предназначенный для проверки равномерности распределения
X. Использование статистики Мп в этом случае представляется
п
естественным, так как величина 2 j Уг достигает своего минимума
i= l
п
при условии 2 № = 1 я точке y t = . . . = у п = 1/п.
2=1

24 д . А. Боровков
870 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Для вычисления асимптотического уровня критерия Морана

может служить следующее утверждение
Т е о р е м а 3. Если T g P lt то
V п (п М п/2 — 1) (==> Фол»
Д о к а з а т е л ь с т в о . Пусть Га>1, / = \ , 2 , Тогда
/i
-- 21 I a t/{,H в силу следствия 1.6.2 совместное распределение
j=i
разностей
Х (!), Х (2) Х (1), . . X (n) 1 Х (1г)

совпадает с совместным распределением

Ц ^2 ^«+ 1
71+1 П+1 ^П+1
так что *) i
П+1
Mn=[=tn+1 21 •
j= i
Распределение М п от а не зависит, и можпо положить а = 1.
Тогда (см. § 2,2)
МЙ = Г (/г + 1) = /Л, D i; = l, D |’ = 20,
n
7^ ^ (Sj — 1) €=> Ф ол,
У '1 P i
П
“Пп = J L V
^ ~ 2) Ф 0,20»
V» Й .
Имеем
2" + S O ! - 2) n ( 2« + rjn V « ) 2 + r)n« 1/2
j —1
7гЛ/„_!
(» + 2 в
-i- pn V *)* С1+p«" 1/2)2’
\ 5=i
*I« “ 4 P n — 2Pnn ~ V2
(иЛ/ n - i — 2) l / t t = (7 )
( 4 -!- Pnn 1/2 ) 2
Здесь

Пп 4ft. = ^ 2 (£5 + 2). Й = 61 — 4Sj.

v » д»,
m] -2 , Dty = M (Ij — 8|J + 16£i) — 4 = 4.

*) Знак —означает совпадение распределений.

4
§ 121 ПРОВЕРКА СЛОЖНЫХ ГИПОТЕЗ В ОБЩЕМ СЛУЧАЕ 371

Стало быть, т|я — 4р„.€=> Фо,^ так что в силу теорем непрерывно­
сти из (7) получаем
V п {nM n- 1J2 — 1) £=> ф 0д.
Это эквивалентно утверждению теоремы. '<
Приведем теперь соображения, показывающие, что критерий Морана
является состоятельным. Рассмотрим статистику (б) для X ^ Р, где Р от­
лично от Pi. О д н о и з распределений Pi или Р мы можем, не ограничивая
общности, считать равномерным. Пусть это будет Р. Относительно F мы
предположим для простоты, что существует непрерывная плотность /(/) =
— сосредоточенная на [0, 1}. Тогда для X U0 ± главная часть п Мп
будет равна
71 77+1
" 2 [/ (*«.+«) Ы + » - *<«)]2 = " 2 [/ ( № ,+ ,) № . + + • (*>
А =0 а fc = l

По усиленному закону больших чисел —> 1 прп &-*-«>.Поэтому

главная часть (8) в свою очередь будет равна

2 f W n ) l l / ‘n. (9)
А=1
Используя снова закон больших чисел (или неравенство Чебышева), полу­
чим, что это выражение сходится но вероятности к

2 j /2 («) dt > 2 | J / (f) = 2.

о \0
Здесь знак неравенства строгий, если / (/) ^ 1. Это значит, что приХ ^=Р —
= U0 j =/= Р и при /г -> оо
У н ( я М п / 2 — 1) —> о о ,

что влечет за собой в силу теоремы 3 состоятельность критерия Морана лю­

бого фиксированного уровня 4 — е. О
Будучи состоятельным, критерий Морана не различает, однако, близ­
ких гипотез. Предположим, что X ^ Р = U0 г,
F(t) = г + р ( 0 » ~ 1/2, [0, 1], (10)
р (0) = р (1) = 0,
и что функция р (/) непрерывно дифференцируема. Тогда

и3/ 2Жп - н 3/2 2 (x(ft+1) - x(/i)) 2 + 2n J (х(А+1) - x(ft)) (р (*№+1)) -

А==0 А=0

Р (x<ft>)) + 2 (Р (Х(А+ 1)) — Р (Х(А)))2- (**)

fc=0

Главная часть второй суммы здесь равпа 2п 2 Р' (х(а>) (x(a+i)— х (А))2’ или,
/1=0
24*
372 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

в с-щу тех же соображений, что и в (9),

2 а ; - '( « » ) 6t / n - f i J р' ( 0 dt = 0.
h—1
Последнее слагаемое в ( 11) также сходится но вероятности к пулю, так
как имеет главную часть, совпадающую по распределению с
п
1 2 (
У п /t=i
1
или с ----- \ [pr ->-0. Сказанное озпачаст, что для функции F ви-
УпJ
о
да (10) статистика п3/2М п12 у п будет им сто то же предельное распреде­
ление Ф0, 1, что и для F(t) — t. <]
Следует отметить, что из этого факта нельзя делать поспешных выво­
дов о том, что критерий Морана плох. Дело в том, что, не различая близких
гипотез вида (10), критерий Мораиа различает гипотезы (такжо в извест­
ном смысле близкие), которые другие критерии, рассмотренные в этом па­
раграфе, различить ие могут. Речь идет о гипотезах для плотностей.
Рассмотрим гипотезу I I 0 = { АуЕЕ Р}, где распределение Р имеет плот-
пость
(2 при 2кЛп < t < (2А- -|- 1) Дп,
f (t) = {О при (2к + 1) Дп < t < (2к + 2) Дп, /Г = ° ’ U • ' ■1 Л U
Л
где Да = ;—г, N — N n > 0—целое/ Тогда при Д,> = о («“ '■'*) функция рас—
2Л
пределения Fi>(l) , соответствующая распределению Р, будет обладать свой­
ством
s u p | Fp {I) — 11 = о (и- 1 '2).

Это значит, что гипотеза Hi как гипотеза для .функции распределения бу­
дет настолько близкой к —{А (ЕЕ II0 1 что критерии Колмогорова
и со2 асимптотически их различать пе будут (предельное значениемощ­
ности в точке Р будет совпадать с предельным уровнем критерия). Од­
нако как гипотезы для плотностей гипотезы И t и Hi существенно раз­
личны, так как sup | /(/) — 1 | — 1. Поскольку х 0) — 0, х(п+1) — 1, то для
А^ЕЕР статистика М п будет превосходить величину AftN = Дп/2. Стало
быть, при п/N — 2/г.Дп оо с Р-вероятносгыо, равной 1, мы будем иметь
nAf оо.

Фиксировав критическое множество = {пМп > 3}, получим

РДЙг) ->0. Это означает, что при Д„ — o(n_Vi), ДПп -*■ оо критерий Морапа
с вероятностью, близкой к 1, будет различать гипотезы II\ и / / 2. Другими
слева ми. статистика М п чувствительна к отклонениям в плотности, а сам
критерий Морана можно рекомендовать как критерий для проверки гипотез,
относящихся к плотностям. С другой стороны, мы знаем из § 1.10, что ско­
рость сближения эмпирических плотностей с истинной медленнее, чем п~‘1г.
Поэтому «неразличимость» гипотез о плотностях, отличающихся друг от
друга на величину порядка в_1/2 (см. ( 10)), не, является удивительной.
§ 13] АСИМПТОТИЧЕСКИ ОПТИМАЛЬНЫЕ КРИТЕРИИ 373

В связи с критерием Морана и некоторыми другими критериями, рас­

смотренными ранее, можно сделать одно общее замечание. Если сравнивать
два критерия одпого фиксированного уровня, первый из которых предназ­
начен для отбраковки большего числа альтернатив, чем второй, то мощ­
ность первого критерия для каждой фиксированной альтернативы (отвер­
гаемой обоими критериями) будет, как правило, меньше, чем мощность
второго. Наиболее простой пример, иллюстрирующий это обстоятельство,
читатель может получить, рассмотрев критерии | xi | > АЕ/2 и х, > ^ п р е д ­
назначенные соответственно для проверки гипотез {а Ф 0} и {а > 0} про­
тив {« = 0} по наблюдению х 1^=Фа j . Здесь Ае ость кваптпль распределе­
ния Ф0, j порядка 1 — е. Мощности в точке .а > 0 будут равны соответст­
венно
1 — Ф0. 1(—К /2 — ОС» Ар/2— ос) < 1 — Ф(Ае — а).

§ 13. Асимптотически оптимальные критерии.

Критерий отношения правдоподобия
как асимптотически байесовский критерий
для проверки простой гипотезы против сложной

'1. Асимптотические свойства к. о. п. и байесовского критерия.

Рассмотрим задачу проверки простой гипотезы / / 1 = [Х ^= Ро1]
против сложной альтерпативы Н 2 — {Х(== Р0; 0 ф 0Х, 0 е ©}.
В предыдущих параграфах мы видели па примерах, что р. и. м. к.
в этом случае, как правило, не существует.
Будем рассматривать «частично байесовскую» постановку за­
дачи, которая была описана в §§ 4, 9. Она состоит в предполо­
жении, что 0 выбирается па ©2 = ©\{ 0 j} случайно с распределе­
нием Q2 = Q Можно считать, что Q задано на ©, Q({0 , } ) = O
В этом случае распределение выборки X будет определяться «ус­
редненной» плотностью

1 q (х ) = J* U И Q ( d t ) . (1)

Таким образом, если Q известно, что гипотезу H q y — H q, в силу

которой X имеет раслределение с плотностью ( 1), вместе с I f t
можно рассматривать как простую гипотезу и пользоваться лем­
мой Неймана — Пирсона для построения наиболее мощною
критерия.
Оказывается, что в этом случае для «почти всех» гладких Q
наиболее мощные критерии будут асимптотически совпадать с
критерием отношения правдоподобия
S R /.W и ,(Х )
<2>
л, стало быть, не зависеть от Q. Этот факт позволяет считать най­
денный критерий асимптотически оптимальным но крайней мере
в тех случаях, когда можно предполагать, что 9 в ©2 выбирается
случайно, но его распределение Q нам неизвестно.
374 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ ГГЛ. 3

Прежде чем формулировать соответствующую теорему, напом­

ним некоторые нужные нам результаты и докажем одно вспомо­
гательное утверждение. Главную роль в нем будут играть уже
известные нам асимптотические свойства отношения правдоподо­
бия. Будем сразу рассматривать случай мпогомерного параметра;
все необходимое для этого имеется в §§ 2.28, 2.29.
Итак, пусть > 1, и выполнепы условия регуляр­
ности (RR), формулировка которых дапа в § 2.28. Пусть, кроме
того, Q имеет плотность qit) относительно меры Лебега "kidti^dt.
В соответствии с леммой Неймапа — Пирсона наиболее мощ­
ный перандомизировапный критерий = Яр для проверки 7/\
против IIQ будет иметь следующий вид: л д(Х) = 1, если

X <ЕЕ Q (с) = | ж : / о (# ) = Jq (и ) \ и (х ) du, (3 )

где с = с.п выберем позже по задаппому уровню критерия.

Такой же вид будут иметь и байесовские критерии для про­
верки //, против HQ.
Вероятность ошибок первого и второго рода равны соответ­
ственно

где Р (nQ) = J f Q ( х ) р," ( d x ) есть мощность наиболее

мощного критерия.
Аналогичные выражения мы можем записать для к. о. и.
который принимает IIQ при выполпешш (2 ):

Положим I = I(Qi) (значение информационной матрицы Фи­

шера в точке Gi),
( jY ) f 2 r/ ( ° i ) T (A ’)

f o t ( A ) “ v 11 I V \ T \ e 7
 АСИМПТОТИЧЕСКИ ОПТИМАЛЬНЫЕ КРИТЕРИИ 375

Тогда критические области критериев Яд и я (см. (3), (2)) можно

записать соответствен по в виде .
ТОО > cQ, Т(Х) > с. (7)
Л е м м а 1. Пусть выполнены условия (RR) § 2.28, Х£=Ро|$
0j — внутренняя точка 0 . Тогда
2 Т (X) = 2 Т (X) (1 + Еп (X)) <=? П*. е?г (X) - ^ - > 0 .
Д о к а з а т е л ь с т в о . Утверждение леммы есть очевидпое
следствие теорем 2.28.4, 2.28.5. Надо лишь заметить, что Т(Х)
в обозначениях теоремы 2.28.4 есть не что иное, как Y{u*) (при
G = 01). <3
2. Асимптотическая байесовость к. о. п. Перейдем к формул
ровке основного утверждепия. Напомним, что когда мы изучаем
асимптотические свойства критериев, мы на самом деле имеем
в виду не один, а целую последовательность критериев л = я„,
где л п есть критерий, основанный на выборке Х п. Такую лее си­
туацию мы имели, рассматривая асимптотические свойства оце­
нок. Таким образом, здесь и в дальнейшем — везде, где это по­
требуется,— мы под критерием л будем понимать последователь­
ность функций m„(XJ, оиределеппых при каждом п и Х„ =
= Ш п.
О п р е д е л е н и е 1. Критерий п для проверки гипотезы Я, =
= {0 е 0 J против Я 2 = {0 ^ 0 2) принадлежит классу К е крите­
риев асимптотического уровня 1 — е, если
lim sup sup Моя (X) ^ е. (8)
П - » оо в£Е в

В нашем случае, когда гипотеза Я, является простой п 0 ( =

= (Bi), соотношение (8 ) превращается в неравенство
lim sup Mej я (X) ^ в.
7l-too

Пусть he есть квантиль порядка 1 — в распределения %2 с к

степепямп свободы (Нhi ih e, °°)) = е). Тогда пз леммы 1 вытека­
ет, ЧТО Я д «= Кг, я ^ Кг, вСЛП C q = С = K J2.
О п р е д е л е н и е 2. Пололшм c q — h j 2, так что Яд ^ К е. К ри­
терий я е К г называется асимптотически байесовским критерием
{а. б. к.) в Кг для проверки гипотезы Я, = {0 = 0,} против IIQ,
'если для вероятностей ошибок второго рода, вычисленных при
гипотезе H Q, справедливо соотношение
,. «2^ Т 1 — 0 (я) т Mp(i — я(Х))
lim sup — — г = lim s u p -1----
- 0k-,— r = lim sup1 ггу;( i - Я р (ргт— — 1.
n _*TO F cc2 ( n Q) (Я р ) X))

Мы использовали в этом определении отношение (а не раз­

ность) вероятпостей ошибок второго рода, так как а 2( я д ) 0 при
37G ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Т е р е м а 1. Пусть выполнены условия (R R ), точка 0! явля­

ется внутренней точкой 0 . Тогда критерий отношения правдопо­
добия я {см. (2), (7)) при c = ht/2 принадлежит K t и является
а. б. к. в для проверки H t против II q при любом распределении
Q, плотность q{t) которого непрерывна и положительна в 0 . При
этом

а 2 (я) - а 2 (я с) ~

где I = 7(0i), F ft — объем единичного шара в R h.

Д о к а з а т е л ь с т в о . Принадлежность я е R t при с — h j 2
нами уже доказана. Рассмотрим теперь ошибки второго рода.
В силу (4), (7) имеем

« . (*<?)= j /е И р" (<**) = М е Л ^ г ; 2Г ( Х ) < а Л =

(T (*)< cQ} 1 4 (А ) I

= ( f )WSy ^ Me, (X) < h.

Здесь под знаком математического ожидания стоит ограничен­

ная фупкция от 2 Т, непрерывная п. в. относительно предельного
распределения (EU. Поэтому при оо, у&^= Н /4

M0j (еТ(Х); 2 Г ) < fee) - * М ( j* * ; х | < f tj =

(X

= (2n)-ft/2 J = (2n)"wW V * .
{lyl2^*e}
Найдем теперь асимптотическое поведение а 2Ы). Обозначим
А п = (Аг: я<з=^я}. В сплу леммы 1 Ре1 (Дг)->-0. Поэтому из тео­
ремы 2.29.5 вытекает, что при любом фиксированном N
SUP P oW T t M " ) - * 0- (fly
|wKN v'

Воспользуемся представленпем (см. (5))

сц (я) = j г (г) Р( (Т (X) < с) dt =

= J + J _ < j" е (0 p. ( r ( X ) < S ) dt +

+ J q ( t) P t (A „ )d t+ _ j _?(«)Р,(?(Х)<ё)<й.
p —()11<Л’/1 ,/7Г Jt—O j|> i V / P n
 АСИМПТОТИЧЕСКИ ОПТИМАЛЬНЫЕ КРИТЕРИИ 377

В силу (9) мы получаем

lim sup пк/2а 2 (л) ^ lim n kf2a 2 (n Q) 4 -
«-»оо П-*оо

+ max q (t) • lira sup

с
\
f h *(Х)
P, I - — e
гЛ\d t,
* n-*°° р - е 1,>лг/>/7Г \ V (A /

Но вероятность под знаком интеграла пе превосходит

//о (*) -Л
' р , (■ - ± щ ехр{с/ 2 - - 1 - е,|« ( 10)

Здесь мы использовали теорему 2.28.1. Следовательно, сам ин­

теграл пе превосходит
Д/« | е-|« 12*/2А (^ 0
|x;|>iV
при N °°. Отсюда следует, что
lim sup п 2а 2(л) lim nk'2a 2(hq), (i j\
?1->оо П~*оо
Очевидно, это равнозначно тому, что л есть а. б. к.
Нам осталось установить только, что а 2(л) ~ а 2(л^) или, что
то же в силу ( 11),
lim inf nh га 2(л) ^ lim пк 2а 2 (лс). (12)
П —*’ оо П -* о о

Для этого заметим, что построенный пами критерий n Q яв­

ляется байесовским, соответствующим априорной вероятности
гипотезы Н и определяемой из уравнения (ср.. (3), (6 ))
2лV-
?i _ /Г2я \* /з Q(6Д ?
,— е
1- Ч ~ \ п ) V \ r
Это означает, что вероятность ошибки л с будет вести себя асимп­
тотически как
e#i + (1 — д^а-Алд) ~ еду + a z(nQ).
%
Если допустить, что (12) неверно, то мы получим критерий л,
для которого вероятность ошибки будет мепыне. Так как это не­
возможно, то (12) доказано. Теорема полностью доказана. <3
Из приведенных рассуждений видно, что основной вклад в ве­
роятности ошибок второго рода вносят случайные значения 0 ,
попадающие в ?г-1/2-окрестиость точки Gt (этим обуславливается
порядок малости п~к/г этих вероятностей).
Незначительные изменения в рассуждениях доказательства
теоремы 1 позволяют получить также следующее утверждение.
378 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Теорема 2. Критерии п ' и л " с критическими областями

Q' = [ х < = Ж п\ п (0* — 0г) 7 (0Х) (0* — 0Х)Г> /ге},
г. , , (13)
Q " = [ x s = S e n: Ь '{ Х ,Ъ х) Г 1 {1д1) ( L ' ( X , 01))r > f t e}

являются наряду с п а. б. к. в К е. Это свойство сохранится, если

в (13) 7(0t) заменить на 7(0*).
Критерии (13) получаются, если воспользоваться разложением
(X)
l n 7 f w ==-L ( *Y’ 0"t) ~ L ( X ’ ei)

в ряд около точки 0* (см. теорему 2.28 4). Форма критерия л

в известном смысле более удобна, так как она с размерностью
не связана.
Д о к а з а т е л ь с т в о теоремы 2 предоставляем читателю.
В одпомерном случае критическое множество Q' (при замене
/ ( 0J на 7(0*)) имеет вид

(14)
Г
где, очевидно, he = Xt/ 2, Ф 0>1 ((— Я£/2,Х е;2)) = 1 — е. Мы видим,
что соответствующий (14) критерий л ', асимптотически эквива­
лентный л, можно интерпретировать так: я.'(Х) — 1, если 0 j не
попало в доверительный интервал асимптотического уровня 1 — в
для параметра 0 , построенный с помощью о. м. п. 0*.
Такая же интерпретация сохранится, очевидно, п в много­
мерном случае; доверительные множества при этом будут иметь
форму эллипсоидов:
(S* - е) / (§*) (о* - e f <

Мы видим, таким образом, что о. м. п. тесно связаны с а. б. к.

П р и м е р 1. Пусть X Щ и проверяется гипотеза /7\ —
= {А, = 7,1} против //г = ( Я^ ? ч) . В этом случае X* = х*, ИХ) =
= Х~\ п а. б. к. будет иметь вид

(х — А,г)2 > hzXxIn,

где H j {(he, оо)) = е.
П р и м с р 2. Пусть Х ^ Ф оз и проверяется гипотеза Н г =
= ((а, о2) — ( а ,, а*)} против дополнительной альтернативы.
s » /v
1 V _хЛЗ j {п по / а -2 0 \
§ 13] АСИМПТОТИЧЕСКИ ОПТИМАЛЬНЫЕ КРИТЕРИИ 379

(см. § 2.16). Поэтому а. б. к. имеет вид

(х-СхД 2 hp
о
(TJ
"Г
20J4 „»
п
где н 2 ((he, оо)) = е.
3. Асимптотическая несмещенность к. о. п. В заключение эт
го параграфа установим, что к. о. п, (2 ) является асимптотически
несмещенным. Напомним предварительно, что критерий л для
проверки / / 1= {0 е 0 1} против Я 2 = {0 е 0 2) называется несме­
щенным, если
inf Мел-—sup М о л ^ О .
ese 2 ее ©4

О п р е д е л е н и е 3. Критерий я называется асимптотически

несмещенным, если
lim inf / inf Мол — sup Мел\ ^ 0 .
«-► о о I 0e ©2 0£©4 I

Т е о р е м а 3.K .o .n . л (см. ( 2 ), ( 6), (7)) для проверки 11%—

*= (0 = 0Д против # 2 = (0 ^ 0J является асимптотически несме­
щенным.
Д о к а з а т е л ь с т в о . Так как в пашем случае ©i = (0Д и
lim Мо л — е, то достаточно убедиться, что
'«->оо
( и (X)
lim inf inf М4л = lim inf inf P t I - — e, (15\
'n->oo b=© 71-» oo t~ © W 01 \A ) I V '

где с — hEl 2 .
Из оценки (10) следует, что существует N > 0, такое что

р - о ,| > л ;!Yn \ \ {А) ]

Остается доказать, что inf МгЛ—>e.

|f—Oj| lY rT
IIo в силу теорем 2.28.4, 2.29.3 при A<=§Pt равпомерпо по и,
М < N , и — 1 'n (t —0 t),

Т (X)= Ц ( ? - и ) (IS - и ) т, I <£ ф 0

*
М, ( я -) > Р , Д (1 - и) I u f > с = h e/ 2 j .

Правая часть здесь достигает своего наименьшего значения при

и = 0. Это значение равно Р (|/Ё ;т ;>./гЕ) = е. <\
380 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ |ГЛ. 3

§ М. Асимптотически оптимальные критерии

для проверки близких сложных гипотез

1. Постановка задачи и определения. В § 3 мы обсуждали два

асимптотических подхода в задаче о проверке двух простых ги­
потез Hi и //2. Если эти гипотезы считать фиксированными, т. е.
неизменными при растущем объеме п выборки Х п, то мы прихо­
дим при вычислении вероятностей ошибок к задаче о вероятностях
больших уклонений, так что по крайней мере вероятность одной
из ошибок сходится к нулю. Согласно другому подходу гипоте­
зы Hi и #2 рассматриваются как элементы последовательности
«сближающихся» гипотез, при этом скорость сближения подби­
рается так, что вероятности ошибок первого и второго рода схо­
дились бы к собственным (отличным от 0 п 1) пределам. Мы ви­
дели, что в параметрическом случае значения параметра 01 и 02,
соответствующие гипотезам Hi и / / 2, должны отличаться на ве­
личину порядка п~1/г. Каждый из этих подходов может быть
оправдан в зависимости от конкретных условий.
В предыдущем параграфе мы рассматривали независящее от
п распределение Q Для альтернативного значения 0 и, как это
естественно было ожидать, получили, что вероятность ошибки
второго рода сходится к нулю как n~h/2. Это обусловлено тем,
что основной вклад в эту вероятность вносят близкие гипотезы,
для которых 0 удалено от 01 на расстояние порядка n~l/z (объем
области, содержащей такие 0, и будет иметь порядок мало­
сти
В этом параграфе мы рассмотрим задачу о проверке близких
сложных гипотез, когда альтернативные значения параметра
сближаются при п °о. Оказывается, что в этомслучае задачу
проверки гипотез можно в известном смысле редуцировать к зна­
чительно более простой задаче для нормального распределения.
Перейдем к более точным формулировкам. Пусть по выборке
X 6Ё Ре проверяется гипотеза II\ = {0 ^ © J против / / 2— {0 е © J.
Фиксируем какую-нибудь виутрепшою точку 0г множества @ и
положим
0 = 0 , + V i - l/\ ( 1)
Предположим теперь, что множества ©i имеют вид
'©, = 01 + Гдг“ 1/2, (2)
где Г,- от п не зави сят.’Запись (2) означает, что 0 ^ 0 , тогда и
только тогда, когда в (1) ^ е Г,-. Гипотезы Я ( = {0 е 0 (} при ус­
ловии ( 1 ) будем, как и в § 3, называть близкими (на самом деле
ато последовательность гипотез — своих для каждого п).
Задачу проверки близких гипотез IIt по выборке Х ^ Р э " бу­
дем называть задачей А.
% Ы] БЛИЗКИЕ СЛОЖНЫЕ ГИПОТЕЗЫ 384

Рассмотрим теперь другую задачу. Пусть У (== Ф т z_i есть вы­

борка единичного объема из нормальной совокупности Фт z_i
с вектором средних значений 7 и матрицей вторых моментов
7-1 = / - 1 (0j), где /(0 1) есть информационная матрица Фишера
для задачи А в точке О,. Обозначим через гипотезы {у <= IV.
Задачу проверки гипотез по одному наблюдению У (=§ J_ 1
будем называть задачей В.
Замечательный факт, позволяющий делать упомянутую выше
редукцию, состоит, грубо говоря, в следующем. Пусть л (У) есть
оптимальный в том или ином смысле критерий (р. н. м. к., байе­
совский, минимаксный) для проверки h x против в задаче В .
И пусть 6 *, как обычно, есть о. м. п. в задаче А , у* — (0* — 8 0 У/г.
Тогда критерий л (у*) для проверки //, против II2 в задаче А бу­
дет асимптотически обладать теми же свойствами оптимальности,
что и критерий л (У) в задаче В.
Таким образом, чтобы иаитп асимптотически оптимальный
критерий в задаче А , мы должны рассмотреть более простую за­
дачу В и найти в ней (если это возможно) критерий л, облада­
ющий нужным свойством оптимальности. Если теперь взять
в качестве наблюдения У значение у* и подставить его в л, то
мы получим искомый критерий в задаче А.
Этот факт можно было бы назвать предельным признаком оп­
тимальности. Смысл его довольно прост. Ведь мы знаем из ре­
зультатов главы 2 , что при X ^ Ре
| А й ( е * - е ) 7 ,/ 2 ( б ) .& Ф 0,Е
равномерно по 0.. Стало быть, для 0 = 0, + уп~1/г
/ « ( 8* - е , ) - Ф 0.,-1 №)
или, что то же,

Таким образом, Фт, i —1— распределение, присутствующее в задаче

В ,— есть не что иное, как предельное распределение для у*.
Поэтому предельный признак оптимальности является весьма ес­
тественным: ои сводит задачу проверки гипотез к «предельной»
задаче. Замечательным во всем этом является тот факт, что при
такой редукции никакой существенной потери информации отно­
сительно -0 не происходит: критерий, оптимальный в задаче В,
сохраняет эту оптимальность и для задачи А.
Чтобы придать сказанному точный смысл, введем теперь ос­
новные понятия асимптотической оптимальности критериев для
проверки близких гипотез в задаче А.
Определение класса R„ критериев я асимптотического уровня
1 — е дапо в предыдущем параграфе (определение 2). Для л <= R t
382 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

справедливо
lim sup sup Мол (X) ^ е.
w-»oo Q sO j

О п р е д е л е н и е 1. Критерий jii е К е называется асимпто­

тически р. и. м. к. (а . р . н . м . к .) в jКг, если для любого и
любого л <= К в
lim inf (Мцл 1 (Аг) — Моя (X )) ^ О,
/ 1-* оо

где 0 = 0! + уп~1/2 е 0 2 при у Г2.

Пусть иа Гг заданы распределения П,. Эти распределения
индуцируют иа 0 t некоторые другие распределения (сосредото­
ченные в 7г“ 1/2-окрестиости точки Oi), которые мы обозначим Q£,
7 = 1, 2. Гипотезы о том, что 0 выбирается случайно с распреде­
лением мы, как и прежде, обозначим H qv
Через К®1 будем обозначать класс критериев л , для
которых
lim sup Mq1h (1 ) < е,
71—» СЮ

где означает безусловное математическое ожидание по сов­

местному распределению 0 и X, 0(== Q i? Х(=Е Ру. Очевидно, что
К г cz Кв при любом Q.
~ Q,
О п р е д е л е н и е 2. Критерий я 1 е Х е для проверки II у,
против IIQc> называется асимптотически байесовским критерием
{а. б. к.) в /С^1, если для любого другого критерия я ^ К®1
lim inf (М<э2я 1 (X) — Мд2я (X)) > 0 . (3)
о
Можпо дать эквивалентное определение асимптотической бай-
есовости, в котором вместо (3) требуется, чтобы
lim in f (М(32я 1 (Х) — Mq2mQiq2 ( X ) ) > 0 , • (4)
71-г» ОО s

где tcQi q0 —байесовский критерий пз К®1 для проверки гипотез

и H q2 (пли, что то же, и. м. к. критерий для проверки # q a
против I I Q асимптотического уровня 1 — в).
Следует отметить, что определение 2 несколько отличается от
определения а. б. к., которое было дано в предыдущем параграфе
(см. определение 13.2. Там фигурирует отношение вероятностей
ошибок, а не разность). С точки зрения последующего изложения
эти определения эквивалентны, но последнее из них нам будет
удобнее.
О п р е д е л е н и е 3. Критерий е Х е называется асимптоти­
чески минимаксным в К е критерием для проверки I h против /К,
S 14] БЛИЗКИЕ СЛОЖНЫЕ ГИПОТЕЗЫ 383

если для любого другого критерия л е ^ е выполняется

Как и при рассмотрении обычных минимаксных критериев

(см. § 9), множества 01 и ©2 во избежание малосодержательных
рассмотрений разумно разделить некоторой промежуточной зоной
так, чтобы они не соприкасались. В противном случае оба п и ж -
и й х предела в (5) могут оказаться равными е для любого асимп­
тотически несмещенного критерия я.
Из приведенных определений видно, что свойство той или
иной асимптотической оптимальности отличается от обычного
свойства той же оптимальности лишь тем, что перед соответству­
ющей разностью появляется знак lim inf.
Наряду с асимптотически байесовскими и минимаксными кри-
териями в классах К г и К в можно изучать обычные асимпто­
тически байесовские п минимаксные критерии. Пусть иа 0 =
= ©1 U©2 задано распределение Q = g(l)Q i + g(2)Q2, q( 1) 4* q{2} —
= 1. Тогда критерий я 4 называется асимптотически байесовским
для априорного распределения Q, если для любого другого кри­
терия л
lim inf [q (1) (X) + q (2) Mq2 (1 — я х (X))—
оо
- q (1) MQln (X) - q (2) Мв, (1 - я (X))] < 0. (6)
Усрсдпепная no Q вероятность ошибки критерия я, присутству­
ющая в этом неравенстве, может быть записана с помощью ве­
роятности а (я , 0 ) ошибки в точке 0 в виде M q(x(k,0), где
|МеЯ (X) при 0 е 0 !,
а (я ’ 0) = (м е (1 - л (X)) при 0 ее 0 2.
Тогда неравенство (6 ) примет вид
lim inf Mq [а (я г (X), 0) — а (я (X), 0)] ^ 0 .
оо

Критерий Я1 будет асимптотически минимаксным, если

lim inf Гsup а (я 17 0)— sup а (я, 0)1 ^ 0,
п -^ о о j ее© <зео J
для любого другого критерия л.
—Qi
Изучение асимптотических байесовских (в К е ) и асимптоти­
чески минимаксных (в К е) критериев и просто асимптотически
байесовских и минимаксных критериев по существу представляет
~.С,
собой одно и то же. Например, байесовский критерий из А е
есть обычный байесовский критерий при соответствующем д( 1).
В этом параграфе мы будем изучать критерии нз классов К Е~
384 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ |ГЛ. 3

К®1', рбычпые асимптотически байесовские и минимаксные кри­

терии будут рассмотрены в продолжении этой книги (см. преди­
словие) при исследовании более общей постановки задачи.
2. Основные утверждения. Чтобы максимально упростить
дальнейшее изложение, введем одно предположение, которое с
существом дела никак не связано и которое при желании может
быть убрапо — все необходимые для этого 'результаты имеются.
Именно, будем предполагать, что множества ограничены, т. о.
существует X > О такое, что <= {-у : |yl ^ N}-.
О п р е д е л е н и е 4. Критерии и я 2 для проверки близких
гипотез Hi = {0е O J и Нг = { 0 е ©2} по выборке X называются
асимптотически эквивалентными, если
lim sup | М0я х (X ) — М0я 2 (X) | = 0. (7)
п-г-оо 0<Ев^и©2
При сделанном предположении мы можем под знаком sup в
(7) поставить область 10 — 0,1 ^ N/lln.
Асимптотически эквивалентные критерии я,, я 2*обладают сле­
дующими свойствами:
1) Если я х е К е{или К f 1), mo п 2 е Х е (Х,?1).
2) Если Я! обладает одним из свойств асимптотической опти­
мальности в определениях 1—3, то тем же свойством будет обла­
дать критерий я 2.
Первое утверждение вытекает из (7) и неравенства
sup М0я 2 (X) sup Меяг (X) + sup |Mg (я 2 — Hi) J.
Оев! 0е в х вев,
Второе утверждение доказывается аналогично. Если, нанример,
л , является асимптотически минимаксным, то асимптотическая
минимаксность л 2 будет следствием (7) и неравенства
inf Мел 2 (X) ^ inf Мдл1 ( Х) — sup | Мо(я 2 — я х)|. <3
ее ©2 “ еев-з
Условия асимитотической эквивалентности критериев устанавли­
вает
Л е м м а 1. Пусть в окрестности точки 0t выполнены условия
(RR), Ui {X):^Irrn(x)+eni{X)>c\, 1 = 1 ,2 , где для Х £ = Р 01 имеют ме­
сто соотношения ещ (Х ) > 0, Т п (X) <=$ G, распределение G не-
vP()i
прерывно. Тогда критерии я,, л 2 асимптотически эквивалентны.
Д о к а з а т е л ь с т в о. | М,л, (X) — М*л2(X) J F* (Д,), где
для события А п — {я,(Х) ¥= л 2(Х)> выполняется Р 01 (•/!„) =
- Р 0] {Тп (X) + еп1 (Х )> с , Тп (X)-|-еп 2 ( ^ K c ) 4 - P n(2Tn(^))4-eni(X )<
^ с, Т п (X) + £П2 (X) > с ) ~ ^ 0 прн п->- оо, так как предельное
распределение Т п непрерывно. Стало быть, в силу теоремы 2.29.5
sup Pf (Лл) —j- О. О . .*
§ И] б л и зк и й сло ж н ы е ги п о тезы 383

Байесовский критерий уровня 1 — е в задаче В для проверки

гипотез ^HjO том, что у выбирается случайпо с распределением*
И* па Г,-, i = l , 2 , мы обозначим Я д^., (У). Он имеет вид

j* ехр |Г 1 (У ~ и) I (У - - u f ] П2 (du)
1 2
г (Y) = 4 -------------------------------------^ --------- > с, (8)
[ 1
(У - и) I (У -- и ) Т }пг (du)
J 4 L 2
где с — се выбирается из условия
J Ф(у, с) П1 (dy) = е, ф(v, с) = Р(г(У)> с), (9)

Эти соотношения означают, очевидно, что Мд 1Яд 1п 2 (У) = е.

Заметим, что г(у) есть аналитическая функция от у. В силу
аналитичности, эта функция пе может принимать постоянное
значение на множестве положительной меры Лебега или меры
Ф т j - i (в противном случае она была бы постоянной всюду, что
возможно лишь при П j ==—1X0. Значит, Р(ИУ) = с ) = 0 при любом
с и распределение г(У) непрерывно.
Пусть, как и прежде, hqiq2 (X) обозначает байесовский кри­
терий асимптотического уровня 1 — е в задаче А.
Т е о р е м а 1. Пусть условия ШВ) выполнены в окрестности
точки 0,. Тогда критерий я(Х ) = Яр^д., (у*), у* = (0* — 0 ^ V п ,
асимптотически эквивалентен критерию n QxQ2 и, стало быть,
является асимптотически байесовским.
Кроме того,
sup I М / v - n ( X ) — ф (у , с)|_>0 ( 10)
IVKAT 11 '

при п оо, где ср (у, с) = Мгя П1д 2(У) определено в (9 ).

Д о к а з а т е л ь с т в о . Рассмотрим байесовский критерий h Qiq2
в задаче А. Он имеет вид

I ^9 + u !Y n ^
Т(Х) = 8' +,|/” ’
± >

Если Х ^ Р е 15 то в силу теоремы 2.28.5

Ш О = Ну*)(1 + е(Х, 03)

(у* = и* при 0 = 00. Так как распределение НУ)непрерывно,

у* Y ^ Ф 0 j — i , и так как критерий л имеетвид Ну*) > с,
то в силу леммы 1 первое утверждение теоремы доказано.
2 5 а д . А. Боровков
386 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ ГГЛ. 3

Соотношение (10) следует из представления

Mei 4.v/y - л (Ar) = Mei+v/y - / {r{Y*)>C}- * Р {г (У) > с),

У ^ Ф у д , и теоремы 2.29.4. <1

Т е о р е м а 2. Пусть в окрестности точки 0 , выполнены ус­
ловия ШЮ, = ( 0* — 0 i)!'rc.
Пусть, далее, существует минимаксный критерий jt,(F ) уров­
ня 1 — е для проверки h x против h2 в задаче В и этот критерий
является байесовским
Я1 (У) = ^ n jn , (У) (11)
делениях П 1} IП 2, удовлетворяющих усло­
при априорных распределениях
виям
Мп л 1 (У) = sup Mvn (У),
v sri "
Мп2% ( У ) = inf М , я ( П Г@ Ф уГ , ‘ (1_)
v=r 2
(ср. с условиями теоремы 9.1). Тогда критерий л (X) = Лпргг., (?*)
будет асимптотически минимаксным в классе К е критериев для
проверки Hi против Н 2 в исходной задаче А.
Д о к а з а т е л ь с т в о . Так как jTt есть критерий уровня 1 — е,
то
sup М^лг (У) = Мп.л (У) = е.
VS^
В силу (10), (12) отсюда получаем
lim sup М0 .„ .у у Л д ^ (X) = lim MQlJtQlQ2 (X) = e.
П —» oo Y — T j n -» c o

~ —Q1
Ото означает, что n QlQ0 e K p, ^ KE .
Надо доказать теперь, что для любого критерия л* е К а
lim inf ^ inf Мел (X) — inf М е л * ( Х ) \ ^ 0 .
n-> oo v 0-30.7 0€=02 J

Имеем
lim sup inf М0л* (X) ^ lim su p Мел* (Ar) < lim sup Mq2KqiQo (X).
n-»<x> 0S02 тг-»о о n -» o o

(13)
Последнее неравенство справедливо в силу байесовостп
(т. е. минимальности + (1 — дх) Mq2(1 — Л ф ^ ) при
соответствующем - qA и того, что lim sup IVIq^* (X) ^ е,
lim MQl Лф1(?2 = е.
 § 14] БЛИЗКИЕ СЛОЖНЫЕ ГИПОТЕЗЫ 387

Далее,„в силу (10), (12) и теоремы 1 правая часть в (13)

равна
lim Mq2jtx (у*) = Мп2л П1п 2 (Г) =
7 1 -» ОО

;- inf Мтя П1п 2 (Y) = lira inf м , y - n Q Q2 (X). . <

2 ? i~ » o o 'ySrJL -*■

Т е о р е м а 3. Пусть существует р . н . м . к . я , (У) уровня

1 — е для проверки против в задаче В. Предположим,
кроме того, что для любого у 2е Г 2 существует распределение n t
на Г, такое, что
М У ) = я П1и 2 (У) (14)
есть байесовский критерий для проверки Ьщ против ^п 2 (здесь
П2 сосредоточено в точке у2). Тогда критерий я ( Х ) = я 1(ч*) я вля­
ется а. р. н. м. к. (асимптотического уровня 1 — в) для проверки
Hi против Н2 в исходной задаче А.
Отметил!, что для задач §§ 5—7 условие (14) всегда выпол­
нено. Это следует из самого построения р." и. м. к. в этих
_ параграфах.
Д о к а з а т е л ь с т в о теоремы 3. Принадлежность яДу*) е К ,
следует из теоремы 1, так как
lim sup МеЯ! (у*) = sup lim МеЯ! (у*) = sup ф (у, с) в.
? l-» o o t ) € = 0 j 6S 0 JL 71—» о о v = r ^

Пусть теперь я* — любой другой критерий из К г. Тогда

lim sup М ^ я * (X ) lim sup sup Мея* (X ) ^ e,
1l-> o o n - > oo 6SE0J

и, стало быть, л* можно рассматривать так же как критерий из

Н е 1 для проверки H qx против H q2, где Qi нпдуцировано распре­
делением П! (см. формулировку теоремы), a Q2 сосредоточено
в точке 02 — 0i + у2гс~1/2. Если q — байесовский критерий
аснлштотнческого уровня 1 — е для этих распределений, то
lim Мо2яд q2 (X) > lim sup Ме2я* (X).
оо 71- * о о

- По левая часть этого неравенства совпадает в силу теоремы 1 со

значением
lim Меая П1п 2(у*) = П т М е ^ (у*). <3
7 1 -» о о 7 1 -» о о

Аналогичным образом можно искать асилгатотнчески р. п. м. к.

в классе асимптотически несмещенных критериев.
З а л г е ч а н п е 1. Если распределения П! и П 2 сосредоточены
соответственно в точках yi и у2, то
e x p ( — 4- ( У — Т.,) I ( У — 7о\Г )
г &) - ~ Ч i----1
с х р | - Т ( У - т 1) / ( Г - у 1) j
Чг
25*
388 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Стало быть, критическая область ЛЩП.ДУ) будет иметь вид

Cv2- «Yi ) ) >c.
В одномерном случае мы получаем отсюда а. н. м. к. (3.21), изу­
чавшийся нами в § 3.
З а м е ч а н и е 2. Если распределение lit сосредоточено в точ­
ке и — 0, а распределение П 2 является равномерным в шаре
М < N, то знаменатель функции К У) будет равен е х р |—у У / У г |,
а числитель при больших N и ДI < N — У/V будет близок
к У1/1 (2л)*/2. Стало быть, критическая область для лП1п 2 при
таких П,, П 2 будет близка к внешности эллипсоида
Y I Y T > с,
а критическая область асимптотически байесовского критерия
Лпхн 2 (у*) будет близка к
'У*/'У*Г > с.
Ото есть не что иное, как асимптотическая форма к. о. п., изучав­
шегося в предыдущем параграфе (ср. с теоремой 13.2).
3 а м е ч a it и е 3. В теоремах 2, 3 присутствуют условия о том,
что минимаксный критерий (теорема 2 ) или р. п. м. к. (теорема 3)
для задачи В являются байесовскими при некоторых распределе-
кттях Н; на Г,. Мы увидим во второй части. книги, что эти ус­
ловия излишни — класс всех байесовских критериев содержит
в себе все «цеулучгааемые» критерии, в том числе р. н. м. к. и
минимаксные.

§ 15. Свойства асимптотической оптимальности критерия

отношения правдоподобия, вытекающие из предельного
признака оптимальности

В этом параграфе мы рассмотрим некоторые следствия резуль­

татов § 11, связанные с критерием отношения правдоподобия.
Мы установим, в частности, асимптотические равномерную, наи­
большую мощность и минимаксность к. о. п. для некоторых важ ­
ных. конкретпых задач, связанных с проверкой близких гипотез.
Везде в дальнейшем предполагается, что в окрестности точки
0t выполнены условия {RR). Для сокращения выкладок нам бу­
дет удобно, как и в предыдущем параграфе, считать, где это по­
требуется, что множества У ограничены.
1. Л. р. и. м. к. для близких гипотез с односторонними альтер­
нативами. Пусть параметр 0 одномерный и проверяется одно­
сторонняя гипотеза /Д — (0 ^ 0 i + против гипотезы //•-> =*
= 16 > 02 = 01 + Ъ п~1 }-> К» ^ Ъ ’
§ 15] ОПТИМАЛЬНОСТЬ КРИТЕРИЯ- ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 389

Т е о р е м а 1. Критерий отношения правдоподобия я СЮ

критической областью
sup f Q(X)
ese 2
Н(Х)
sup f Q{X) > e (1)
6s©!
при @i *= {0 : 0 < 0t + ^1n~1/2}, ©2 = ( 0: 0 5* 0t + Y2^~1/2) и подходя­
щем с асимптотически эквивалентен критерию
= (0 * — 04)Утг > се = Яе/ -1/2 + Yn Фо.ЛЯе) = 1 —е (2)
и является а .р .н .м .к . асимптотического уровня 1 — 8 для про­
верки IK = {0 ^ 01 + ,у1тг—1/2> против Т/ 2 = {0 > 0t + 7zn~uz). В фор­
мулах (2) I означает информацию Фишера 7(04) в точке 0t для
семейства / е.
Д о к а з а т е л ь с т в о . Из § 5 следует, что для вы борки.Y
единичного объема из нормальной совокупности с из­
вестной дисперсией 7-1 существует р. п. м. к. для проверки гипо­
тезы = {у ^ Тг) против — (Т > Тг) вида Y > сЕ, где се опре­
делено в (2). Так же будет выглядеть, очевидно, байесовский
критерий для вырожденных распределений, сосредоточенных в
точках 41 и 42 (или в точках 71 и 7 > ^t, если 41 = уг). На осно­
вании этого из теоремы 14.3 следует, что асимптотически
р. и. м. к. асимптотического уровня 1 — е для проверки 111 против
IIг существует и имеет вид (2 ).
Нам осталось доказать, что критерии (1) и (2) асимптотичо-
ски эквивалентны. По теореме 2.28.4, полагая Z 1(t)= Ч + * (ЛГ)
будем иметь при X (== Рр
sup Z (i - 1 72-
7t>V2
R{X) = L/2)
su p -Z (1

sup exp
u>v2 ) x p { ~ 4 — 1 F » }

= A , ( 0 + e!f) (X).
sup exp
ф ( - у (Т' аГ I + e‘Л ч ]

где 8n°(X ) — >■0 , 1, 2, 3,

p4
sup exp — 4 (v* — “)2 / ]
u>v2
T n {X) = r(Y*)
sup exp - 4 - ( Т * - и ) а / }
M<Vx I I J
26 А. А. Боровков
390 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ |ГЛ. 3

ехр {“ Y (ч* ~ Т2)2 7} "Р11 у * ^ Yl’

{ехр j — ~ (у* — у2)21 + ~ (у* — Yi)2 /} при Yi < 7* < Тг»

[ехр { ~ (у* — Ti)2/} при у* > Та-

Это есть непрерывная, монотонно возрастающая функция от у*.

Стало быть, неравенство Тп(Х) > с эквивалентно неравенству
у* > с' при некотором с'. Так как, кроме того, у* = ^ У ^ Ф < и —«»
то распределение г(У) абсолютно непрерывно. Условия лем­
мы 14.1 для критериев (1), (2) выполнены. <1
2. А. р. н. м. к. для двусторонних, альтернатив. Пусть параметр
0 по-прежнему одномерный, а задача А состоит в проверке гипо­
тезы Н, — {(0— 0j)Vw^ (*Yi, у2)) против / / 2= {(G —0 , ) У п е (-у,,
У2 > Тп Обозначим
- Л ± А
* 2 ' 2
Т е о р е м а 2. Критерий отношения правдоподобия я(Х ), опре­
деленный в ( 1) при соответствующем с и @i = {0 : (0 —0 ,)У/г§£
& (у и Т*)}» 02 = {0 : (0 — 0 i)T'« е ('yt, T2)J, кок и критерий
1у* — у! = 1(0* — 0 i)V tt— у \ < се, (3)
где се определяется из уравнения Ф (1 7_х (— с — А, с — Д) = е,
являются а. р.н. м. к. асимптотического уровня 1—е для проверки
Н у — {(0 — ©ЭУгс Ф {уи у2)} против Н 2 — {(0 —6 ,)Vrc <= (-yi, у2)}.
Д о к а з а т е л ь с т в о этой теоремы вполне аналогично дока­
зательству предыдущей. Из § 5 следует, что для задачи В , со­
стоящей в проверке по наблюдению Y (= Ф 2_ х гипотезы h x =
= (у & C*Yi, у2)} против Л2 = {у е (ух, у2)}, существует р. п. м. к,
вида с' < Y < с " , где с', с" подбираются так, чтобы
Ф т1, 1-1 с")) = Ф ?2>7- 1 ((с', с")) = е.
Нетрудно видеть, что мы удовлетворим этим соотношениям, если
положим с' — у — се, с" = у + се, так как
Ф ^ .Г -! (fv ~ се, 7 + Се)) = Фо,1-1 ((— Се + А, Се + А)) = £,

ф г2, 1 - 1 ((т — се, 7 + Се)) = Ф 0)1-1 ((— се — А, се — А)) = е.

Кроме того, мы виделп в § 5, что для любого у0 е (у,, уг) сущест­
вует <?^( 0 , 1) такое, что байесовский критерий я П1п 2для провер­
ки гипотезы Ьщ для распределения П,: IIiCl'Yi}) == g, П,({у2}) =
§ 151 ОПТИМАЛЬНОСТЬ КРИТЕРИЯ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 391

= 1 — д, против гипотезы ~ {? = То) будет иметь вид

с' < Y < с " .
Это означает, что условия теоремы 14.3 будут выполнены и кри­
терий (3) будет а . р . н. м. к . для проверки Н { против Т12.
Рассмотрим теперь к. о. п. (1) для областей 0 „ определенных,
в теореме, и покажем, что он асимптотически эквивалентен (3).
Как и в доказательстве теоремы 1, из теоремы 2.28.4 получаем,
что при X Рег
sup Z (u?i~1/2)
w=(Yi,Y2)
sup Z ( ип 11 )
иЩVi.Y-г)
sup exp
uS(vltY2)
Г„(Х ) + е® (Х ),
sup exp (У w)
u^(Y j .Y2) { -I
где eS? (X) — *- 0 ,
p<h
sup exp j — Д (v* u fl
m S ( Y x .Y 2) * 2
T ( X ) = r(y*)
sup exp I — — (y* — «)* I i
:(Yl.Vo) 1 3 J

exp { ~ Y “ Vlf 7} ПрП ^ Vi*

exp [ y (y* — 7 i )2/ j при V1 < ' V * < y ,

exP ( 4 “ (Y* — Уi f T) ПРИ У < У* < Ya.

ехр [ — у (Y* — Уi f 7) ПРИ Уг < Y*

Из этих равенств видно, что г(у*) есть непрерывная монотонно

убывающая функция от Iу* — у I (она симметрична относительно
точки 7 * = ^). Поэтому неравенство г ( у * ) > с эквивалентно нера­
венству I'Y* — I < с'. Так как у* =>- 1Те§ Ф 7_ 1, то условия леммы
14,1 выполнены. <1
3. Асимптотически минимаксный критерий для близких г
потез, касающихся многомерного параметра. Рассмотрим теперь
многомерный параметр 0 . В этом случае а. р. н. м. к. для провер­
ки гипотезы IIi — (0 s 0 J против Н2 = {6 s @2}, как правило, не
26*
392 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

существует, н мы рассмотрим задачу построения асимптотически

минимаксных критериев.
Сначала сделаем одно общее замечание, которое упростит
дальнейшие рассуждения. Оно состоит в том, что рассматривае­
мую задачу проверки гипотез всегда можно «перепараметризи-
ровать» (т. е. ввести новый параметр) так, чтобы информацион­
ная матрица / = /(0,) в точке 01 стала единичной. Для этого до­
статочно (см. § 2. 1) сделать линейное преобразование и ввести
новый параметр р равенством

Тогда информационная матрица Фишера /((}) для параметриче­

ского семейства Рр 2_ 1/2 будет равна в точке = QJl/z
/(p i) = / - |/2/ / -1/2 = е .

В этом разделе иногда нам будет проще иметь дело с пара­

метром р. Вернуться к исходному параметру всегда можно с по­
мощью обратпого линейпого преобразования.
Итак, пусть / = 7(03 =* Я. Мы рассмотрим задачу А , состоя­
щую в проверке по выборке X Ре гипотезы
IE = (10 —Oil < ап~1/2} против Нг = {10 — 011> Ъп~1/2}, а < Ъ. (4)
Т е о р е м а 3. Критерий отношения правдоподобия я, опреде­
ленный в ( 1) при соответствующем с и 0 t — {0 : |0 — 0J ^ ап~1/г),
©2 = {0 : |0 —0 J bn~i/z), асимптотически эквивалентен при лю­
бых 0 ^ а < b < °° критериям

(5)

(6)

(?)
и является асимптотически минимаксным критерием асимптоти­
ческого уровня 1 — е для проверки гипотез Я, и Я 2, определен­
ных в (4). Случайные величины в (7) независимы, 1г£=Фол*
Гарантированная предельная мощность критериев я, (5), (6 ) рав­
на Рсв {Ь).
Д о к а з а т е л ь с т в о . Задача В здесь будет состоять в про­
верке по наблюдению Y (= Фv,E, гипотезы = { | у | ^ а) против
[ У I ^}- 3 примере 9.1 мы видели, что в этой задаче суще­
ствует минимаксный критерий уровня 1 —е, который имеет вид
§ 15] ОПТИМАЛЬНОСТЬ КРИТЕРИЯ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ

При построении этого критерия мы пользовались теоремой

9.1. Ото означает, что условия теоремы 14.2 выполнены. Следова­
тельно, критерий
\у*\ > се
будет асимптотически минимаксным критерием асимптотического
уровня 1 — е для задачи А .
Критерий отношения правдоподобия (1) здесь будет иметь вид

(8)

Следуя в точности рассуждениям в доказательствах теорем

1, 2, мы получим, что Н ( Х ) ~ Т п (Х )-\-£ п {Х), гп (Х) — >- 0, где
%

Как и прежде, отсюда следует абсолютная непрерывность

распределения r (Y ) и асимптотическая эквивалентность критериев
R{X) > с и Т п(Х) > с. Последний эквивалентен критерию
1^*1 > с',
который при с' = се будет критерием уровня 1 —е. Но теореме
14 2 (см. (14.10)) он будет иметь гарантированную предельную
мощность, равную Рее {Щ (см. теорему 9.2). <1
З а м е ч а н и е 1. Если вернуться к первоначальному парамет­
ру (до перепараметризации, переводящей / ( 0 t) в единичную мат­
рицу), то получим, что утверждение теоремы будет справедливо
относительно гипотез Я, = { О е 0 ^, где (ср. с примером 9.2 при

0 , = ( 0 ; (G _ 0 J/COJC0 - 0j)r ^ а2п~1},

©2= <6: (е - е.же.но - о,)г > ь2п~1}.
Критерий ( 6 ) примет форму
( 0 * — 0 Х) / ( 0 А) ( 0 * — в У п > cl

или (см. теорему 13.2)

z,' (X, во (01)(L'A (!>)
Критерий отношения правдоподобия, очевидно, не изменится,
так как величина максимума / 0(Х) в области 0 ,- не зависит от
замены переменных (при соответствующем преобразовании об­
ластей 0 j).
394 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Отметим также, что форма критерия (9) иногда более удоб­

на, чем (5), (6 ), так как пе связана с вычислениями 0*. Анало­
гичные замены можно сделать для критериев ( 2 ), (3) в теоремах
1. 2. Мы предоставляем это читателю.
З а м е ч а л и е 2. Совершенно аналогично теореме 3 можно
построить асимптотически минимаксный критерий для таких за­
дач А , которые могут быть редуцированы к задаче В, рассмот­
ренной в примере 9.5.
З а м е ч а н и е 3. В § 13 мы построили а. б. к. для проверки
гипотезы {0 = 0^ против {0 Ф 0 Д, который имеет вид к. о. п.

Таким образом, этот критерий, являясь а. б. к., обладает также

свойством асимптотической минимаксности при проверке гипоте­
зы {0 = 03 против {(0 — 0!)/(0,)(0 — 0л)т 2* Ъгп~1} нри любом
& > 0.
4. Асимптотически минимаксный критерий о принадлежности
выборки параметрическому подсемейству. Мы рассмотрим теперь
к. о.п. в несколько более сложной задаче о проверке гипотезы
//, = {0 е 0 ,} против И 2 — (0 е 0 2}? когда размерность I множест­
ва ©, положительна, по меньше к > 1. Имеппо, пусть дана глад­
кая функция 0 = g (a) от /-мерного (1 < к ) параметра а<=Л,<=
R1. Образ множества Л, в 0 , порожденный отображением g,
обозначим 0 ,. Задача состоит в проверке гипотезы / 7, = {0 е 0 ,}
о том, что параметр 0 принадлежит «кривой» 0 , ( или о том, что
X (= Р/да) при некотором a ^ Л Э , против дополнительной альтер­
нативы {X ^ Ро; 0 ^ 0 Х}, так что в этом случае 0 2 — 0 \ 0 i. Дру­
гими словами, это есть задача о проверке принадлежности выбор­
ки X параметрическому подсемейству распределений {Рв(аЛ
а е Л,}.
К этому классу задач относятся, например, уже известные
нам задачи о проверке гипотезы { Х ^ Ф ^ ^ } против
{Х(=Фао2; аф а^] при дапном а 0 и неизвестном о2 пли о провер­
ке гипотезы / Х £ = Ф 2\ против | Х £ = Ф 2; а ф с Л при даииом о0
^ а’0о/ ~
и неизвестном а, и другие.
Относительно кривой 0 = g(а) в 0 мы будем предполагать, что
она является дважды непрерывно дифференцируемой и что мат­
рица G — \\dgi(.a)/d(Xj\\ ( i — 1, . .., к ; j — 1, Z; gi( a ), а,- есть ко­
ординаты g(a) п а соответственно) имеет ранг I. Это значит, что
мы можем произвести дифференцируемую взаимпо однозначную
замену пара.метра (перепараметризацшо задачи) так, чтобы пер­
вые I координат (можно положить их, не ограничивая общности,
равными a = («•!, . . ад) определяли положение точки 0 на кри­
§ 15] ОПТИМАЛЬНОСТЬ КРИТЕРИЯ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 395

вой 0 ц а остальные (обозначим их [3 = ([3,, . . (3h_i)> определяли

положение 0 в «плоскости» (подпространстве), скажем, ортого­
нальной (это не обязательно) к «кривой» g(a) в точке а. Тогда
задача сводится к проверке гипотезы {[3 =«■0 } против {[3 Ф 0 } при
наличии неизвестного «мешающего» подпараметра а.
При этом мы будем рассматривать близкие гипотезы, положив
Р — -V" н~1/2, п проверять гипотезу { ^ " = 0 } против или
против
{ч"М г{а )ч "т> Ъ г) ( 10)

при Ъ > 0 и некоторой положительно определенной матрице

Ж 2( а ) .
В исходных координатах последняя задача будет соответство­
вать проверке гипотезы //, = {0 е © J протпв близких альтерна­
тив, когда параметр 0 располагается в тг~1/2-окрестности кривой
01 и находится вне некоторой «трубки», содержащей 0 , и соот­
ветствующей множеству (10). Возможен и другой вариант по­
становки задачи о проверке близких гипотез, исходящий из того,
что параметр 0 «локализован», и мы знаем, что он располагается
в окрестности пекоторой точки 0o = g(<x°), а,° & A Тогда повый
параметр т=( [ 3, а —а°) будет локализован около точки т 0=
— (0, 0). Положим а- —а° = ц'п~иг, р = ц " n~Uz и будем проверять
гипотезу { ' у " = 0 } против { ^ " ^ О } или против {ц"М 2(а°)ц"т^
^ 62} при наличии мешающего параметра ц'.
Интересующие нас результаты в этих двух постановках задач
практически совпадают. Но нам удобнее будет иметь дело со вто­
рой постановкой, поскольку в этом случае мы располагаем всеми
необходимыми предварительными результатами. Предположение о
локализации параметра 0 носит условный характер, и форма
утверждении, полученных ниже, от 0Озависеть не будет.
Итак, мы будем считать, что новый параметр т = ( а —а 0, (3)
имеет вид

т = т« - 1/2, т = ( ^ 7")т

и будем проверять гипотезу Н 1= {у"= ~ 0} против Н г =

= i'i" " т^ Ьг), где в качестве Мг — М 2{а ) мы возьмем инфор­
мационную матрицу Фишера для параметрического семейства
{РВ(0. Р)} в точке [3 = 0, где 0(т) = 0((а —а , (3)) есть функция,
восстанавливающая 0 но значению г — (т', т") .
Т е о р е м а 4. Пусть 0о = £(а°) является внутренней точкой
0 и в окрестности этой точки выполнены условия (R R ). Пусть,
далее, функция g{a) дважды непрерывно дифференцируема в
точке а°, а матрица G —*|j dgi (а),!д а -|[а=а° имеет ранг I. Тогда
л. о. п. ( 1) при определенных выше 0 t, 0 2 и при соответствующем
3 96 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ ГГЛ. 3

с асимптотически эквивалентен критериям

(11)

( 0* _ g (а*)) I (g (а*)) (0* — g {а*))т > h en \

( 12)
( 0* — g (а*)) I ( 0*) (0* — g (а*))т> hzn ~ x

и является асимптотически минимаксным критерием асимптоти­

ческого уровня l - е для проверки гипотезы Н i — (0 <= © J =>
- { 'Г " = 0 ) против Н2 = {ч"М 2ч " т^ Ь 2}.
Распределение статистики 21п#,СЮ при {т. е. при
гипотезе H J сходится при тг-> оо к распределению %2 с k — l
степенями свободы (и, стало быть, от / е и а° не зависит). В со­
ответствии с этим h z в ( 11), ( 12) означает квантиль порядка
1 — е распределения
Гарантированная асимптотическая мощность к. о. п. равна
p ((£i + b)2 + 11 + • • • + I где Фод и независимы.
Мы видим, что асимптотически минимаксные критерии (11),
( 12) со значением а никак не связаны.
З а м е ч а н и е 4. Гипотезу II z в терминах исходного пара­
метра 0 можпо записать в виде

I I, ={ i n f ( 0 — + y'rc“ 1/ 2) /te (a ° )) ( 0 -s ( c x o + у, 7г " 1/ 2))т> 627Г 1}-

Напомним, что мы считаем множества Г,- ограниченными, так что

здесь (0 — 0О) ^ N n ~ 1/2, I'y'I < N при некотором N > 0 .
З а м е ч а н и е 5. Как будет видно из доказательства, утверж­
дение теоремы полностью сохранится, если гипотезу II t = {^" —
==0 } заменить на Hi = Мг^ " т^ а2}, а < Ъ , при соответствую­
щей замене множества
Д о к а з а т е л ь с т в о т е о р е м ы 4. Здесь в качестве «основного» m i,г
будем рассматривать критерий (11), эквивалентный (1) н более удобный
но своей форме. Мы установим его асимптотическую эквивалентность асим­
птотически минимаксному критерию, а затем его асимптотическую эквива­
лентность (12).
Рассмотрим распределения Ре и как зависящие от параметров,
т = (т', т") и « = т' + а° соответственно. Положим т — yп~ 1/2, v = (y \ y"),
так что т' = Y n~ l/2i х" — ч"п~ 1,2-> и будем проверять гипотезу I I = (y" =■
= 0} против Н2 — { Г ' М г Г г ^ Ь2}, где Л/ 2 — информационная матрица Фи­
шера для семейства Р^(а) в точке а°. Сделаем теперь еще одно преобра­
зование над параметром, подобное тому, которое проводилось нами в при­
мере 9.4 и которое превращает информационные матрицы в единичные..
Именно, положим р = тА и соответственно б = yA (р — 5п~|/£), где А —
треугольная матрица, подробно описанная в примере 9.4 и обладающая
свойствами
J - 1 - АТАГ-, А - Е, J 7 1 - А^Л/ " 1Л2 = Е ,
§ is] оп ти м ал ьн ость к ги тер п я отн ош ен и я п р лвдоп одоы ш 397

где J, М, /г, Мг есть информационные матрицы в точке 00 соответственно

для р, т, р", х" (верхние штрихи у обозначений имеют тот же смысл, что
у т', у', у"), Лг — матрица порядка (к — I) X { к — /), образованная по­
следними к — I строками и столбцами матрицы Л, так что р" — т"Л2, 6" —■
= у"Л2.
В новых параметрах гипотезы 11\ и Я2 запишутся в виде
IIi ~ {б" = 0 } , П2 = { \ Ь " \ > Ь } .

Из свойств произведенных преобразований ясно, что G = 0 (р) есть вза­

имно однозначная функция от р п что все рассматриваемые памы парамет­
рические семейства (в том числе, с параметрами р, р") удовлетворяют ус­
ловиям (/?/?). Положим ро = О- 1(0о) (это есть решеппе уравнеиия 0(р) =»
= ©о),
Zo (0 = / 0(ро+() <х ) //е 0 № . У0 (U) = In Z0 ( u n - v %

Воспользуемся теоремой 2.29.3. Мы получим при [ м| ^ Ро(р)>

Р = Р0 -г б/Г~1/2}

У 0 (и) ^ {In + 6 * и) - 1 («’ “) + (I “ I2 -г I б I2) еп (х , я, б), (13).

где [ еЛ (X, и, б) I < en (X ) ----- > 0 равномерно по б при |б | ^ б„У«, б,г

р6(р)
произвольная последовательность, сходящаяся к пулю. В этих равенствах
мы использовали тот факт, что информационная матрица для параметра р
является4 единичной. Вектор есть вектор производных функции
n~l/2L(X, 0(р)) по pj в точке р = ро + бп-1/ 2, так что Ф0,£7 равно­
мерно по р (по б) при | 6 | ^ б п У » . (Ввиду предположения об ограничен­
ности (0 — 0о)Уя, равномерность сходимости здесь и в дальнейшем доста­
точно устанавливать для |б | ^ Л' при произвольном фиксированном N. Од­
нако ничто не мешает нам устанавливать требуемую равномерность и и
более широкой области |б | ^ б„ }'«-> - оо.)
Положим теперь в (13) и = (и', и"), и" = 0. Мы сможем записать тог­
да при прежнем соглашении относительно обозначений со штрихами

У0 {{и', 0)) - ( 6' + б', и ' ) - | (и', и') -!- (I и' |2 + I б I2) еп (X, и', б). (14)

Из (13), (14) следует, что максимальные значения Y0(u) и Y0((u', 0)) до­
стигаются соответственно при

« = №» + «) (« + '»(•*.«>)■
( 10/
и, = ( Й + в ' ) . ( Я + е? ><Х»

ре<р) ре(Р)
где р„ ( Х, б) . ----->-0, t'lp (X, б ) ------ vO равномерно по б, |б | < б „Ул/2. Надо
лишь заметить, чго вероятность больших зиачепий | £ „ + б | равномерно
мала, так как t n + б Фй /? равномерно но б, |б | < б„У«, и 1*о(1 s « “У*
+ б | > б„}'п) ->~0 равномерно по б, | 6 | < б„ Ул/2.^
398 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ 1ГЛ 3

Обратимся теперь к к. о. п. Имеем при 0 = 6 (р ),Х ^ Р 0, р = р0 4" 1/2

sup / е (л) sup е и

{ Х) = sup W X) = s „ “ / o ( ( “ '.0 » =

expjI 2 1 1| 2+ 8ti ( ^ ’ ®)j

(16)
expjfJ rlIsi+e'l \2- l ^ (X, 6)}
I2
тде фупкции еп с различными индексами сходятся к нулю по Ре-вероятно­
сти равномерно при |б | < бпУ«;
б " |2,г ^ Ф 0 Е , (17)

равномерно по б.
Так как при 0 — g(a) с необходимостью б" = 0, то отсюда следует ут­
верждение теоремы относительно статистики 2 In R t (X).
Вспомним теперь, что (см. теорему 2.29.3) = u*(£ + en (X, б)), гдо
и* = ( р*— р)У«, р * — о. м. п._для параметра р. Отсюда и изравенства
р 0 = 0 , полагая б* = (р* — ро)]'Ч получим

t a + б = V » (р* — Р + Р — Pq) + и*еп (Х>6 ) = У п (р* — р0) -Н

+ w*en (X , б$ = б* + и*еп (X, 6) ^ 4

С + «' = («*)"+ (»*«„ (*.«))'•

Стало быть, правая часть в (16) может быть записана, также в видо
схр | (б*)" |2 -J- г"' (X , б)j, е" (Х,б) 0. Это означает, что критерий

I(б*)"|2 > Ле (18)

н к. о. п. асимптотически эквивалентны, т. е.
lim sup Р (а) ( R (X) > еЬг!2) = lim sup Р (а) ( I (6*)" | > h ) ^ е,
п^оо а ?i->oo а
lim sup Р л ( # . (X) > е ’^ 2) = lim sup Pft ( | (6*)" |2 > hS) —
?l—>oс 0S ©2 ?1—
>oo 06©2
- sup P ( | Г" + 6" l2 > he) - P ((y -j- b f + у I -I- . . . -f- y2_ f > *E),
| 6"l>b2
где У * ^ Ф 0д независимы.
Докажем теперь; что критерий (18) является асимптотически мини­
максным критерием асимптотического уровня 1 — е. Воспользуемся теоре­
мой 14.2. В пашем случае 6* — ( р* — р0) у/ п Фв.Е- Задача В для Y (ЕЕ
<^= Фе Е рассматривалась нами в примерах 9.3, 9.4. Мыустановилитам,
что критерий
|Г '|2 > he

является минимаксным уровня 1 — е. Следовательно, по теореме 112 кри­

терий (18) является асимптотически минимаксным.
S 15] ОПТИМАЛЬНОСТЬ КРИТЕРИЯ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 399

Чтобы завершить доказательство, нам осталось установить асимптоти­

ческую эквивалентность (11) и (12). Эта эквивалентность легко следует из
результатов § 2.29 н леммы 14.1. <
П р и м е р 1. Пусть X (§= о2 , где X и о2 — скалярные пара­
метры. (Мы используем здесь обозначение X вместо традицион­
ного а, чтобы не возникло путаницы с аргументом функции
# (а)). Требуется проверить гипотезу { Х ~ против или
против {\Х — Х0\ ^ bn~uz}, b > О, когда с неизвестно. Мы знаем,
что о. м. п. в этом случае имеют следующий вид. Если обе компо­
ненты X и о2 вектора 0 — (Л, о2) неизвестны, то о. м. п. для 0 есть
П

в* = (X, с.2)* = (х, S2), S '2 = -i- 2 ( xi - 5) 2- .

i—1
Если Х—Хо, то о. м. п. для о 2 имеет вид (сг2)* = S \ = ■— ^ ( X j— Я,0)2,
так что g (а * ) = (Х0, S i). Так как
/е {X) = ( V 2л а ) ^ ' ехр {— (2о2у 1 2 (Х| — Я)2},
то критерий отношения правдоподобия ( 11) будет иметь вид
S \ / S 2> c .
В силу равенства S i = S 2-\- (х — Х0)2 этот критерий эквивалентен
критерию
1х —Яо1/ S > C i. (19)
Но это есть хорошо пзвестпый критерий Стыодента, рассматри­
вавшийся нами ранее (об оптимальных свойствах этого критерия
см. § 7).
Нетрудно проверить, что такую же форму будет иметь кри­
терий (12). Действительно, в § 2.16 мы видели, что „ матрица
/ ( 0) для семейства Ф ^ а2 имеет вид
0
Пв) = (0 WY
В лагаем случае 0* — g ( a * ) = (x — S ' — .S';) — ( х — —
-О Д

Так как в левой части (12) стоит квадрат нормы |(#(а*) —

— 0* )/ 1/ 2( 0*)I2, то критерий ( 12) будет иметь вид
( * - 0 2 , (J - 0 4

который, очевидно, эквивалентен (19).

400 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ 1TJI. 3

Если вместо /(G*) здесь использовать /(g (а*)), то мы получим

асимптотически эквивалентный критерий
!х —Л01/5'1> ct.
П р ' п м е р 2. Пусть Ф? о2. Требуется проверить гипотезу
(о —о0) против (la 2— OqI > £нг~1/2}, когда А неизвестно. Здесь,
очевидно, о. м. п. 0* для G = (А, о2) будет той же, что и в преды­
дущем примере. Если о = с0, то А* = х, так что g ( a *) = (х, Oq),
e * - g ( a * ) = ( 0 , a i - S 2).
Критерии (11) (или, что то же, критерий отношения правдо­
подобия) будут иметь вид
{S2 — о20)2/о*0 > 2hen ~ 1,
эквивалентный, очевидно,
I S 2/ o l — 1 1> V 2hEn ~ l ,

где Ф0д со)) = е/2. Этот критерий также уже рассматри­

вался нами в § 7.
Дальнейшие примеры использования теоремы 4 см. в § 17.

§ 16. Критерий х2* Проверка гипотез

по сгруппированным данным

1. Критерий х2* Свойства асимптотической оптимальности. Сам

по себе «исходный» критерий х 2 предназначается для проверки
по выборке X из полиномиального распределения Be , 6 =• (0 i, . . .
Г
. . . , 00, 2 — li простой гипотезы /Д = (G = p} против допол-
i= l
нительной альтерпатлвы IIZ— {§Ф р), р = ( р 1у . .., pz). Полино­
миальное распределение Ве описывается вероятностями 0,-=Р(Л{)г
i = l, . . . , /*, появления в отдельном испытании одного из пепере-
секагощихся г событий А 1} . .., А г. Элемент Xj выборки X из этого-
распределения можно представлять себе как один из векторон
c l5 . .., ег с г координатами. У вектора eh ( г — 1) координата рав­
на пулю, а координата с номером к равна 1; при этом х>- = ект
если произошло событие A h. Обозначим \ \ число наступлений со­
бытия A h в п независимых испытаниях. Тогда v — (vA, . . . , v r) =
П
=* 2 xi есть достаточная статистика для 0, так как функция
г=1
правдоподобия / е(X) имеет вид

Л (Х ) = П е Г . (1)
i= l
 s 161 КРИТЕРИЙ xs И СГРУППИРОВАННЫЕ ДАННЫЕ 401

Статистика %г есть по определению

хг о о = 2 пр.
я критическое множество критерия %z (область приема IL) име­
ет вид
Г (Х )> с,
где с выбирается по заданному уровню значимости.
Рассмотрим более внимательно сформулированную выше зада­
чу о проверке гипотезы / / t = (0 =/>} против //2 = (0 Ф р).
Ясно, что распределения {Ве} образуют параметрическое се­
мейство, зависящее от к — (г — 1)-мерного параметра (6 1т 6r-i);
. Г—1
значение 6Г определяется равенством 0r = 1 — 2 Вектор
г— 1
(G1? . . 0r_i), так же, как и (01т . . 0Г), мы будем обозначать бук­
вой 0. Недоразумений от этого не возпикпет. Область 0 представ-
?•—1
.ляет из себя симплекс 0 ,-^ 0 , i — 1, . . г —1, в * ^ 1- Логариф-
г=1
мическая функция правдоподобия Ь (Х , 0 ) равна
0
l (X, 0) = 2 In 0„ = 2 г (XI, 0). (2 )
lt= l

Семейство {Ве} удовлетворяет условиям (Л0), (Л Д (Лс), а также

условиям регулярности (R R ) в любой внутренней точке из 0 ,
т. е. в любой точке 0, для которой все 0{> 0. Действительно,
в нашем случае
I (xlr 0) — In 0j при хх = ер,
0 "1 при Xj == ej,
d l(xv 0)
— 0r 1 при x t = er , (3)
0 при хх ф eh х г ф ег,
■ *«
— -0^ - пРи = ej,
дЧ(хг, 0) i 3
(JQdQ, — 072 при Xj — ег, (4 )
0 при х 1 ф с }, х ^ ф е г,

где бу — символ Кроиекера. Из эти-х формул видно, что

дЧ (х1?0) 81 (хл, 0) 81 (хх, 0)
1.
оо, «Я;
402 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. з

Часть условий (/?/?), связанных с существованием математи­

ческих ожиданий, здесь выполняется очевидным образом, так как
множество 86 в нашем случае конечно.
Из (3) пли (4) находим
э2,
д П (Xj_, 0)
-/(в) = 1м е ) « = - м h i 4- J - (5)
dQi dOj
f, 7 = 1.......... /*— 1.
Если в этой матрице первую строку вычесть из всех остальных*
а затем воспользоваться разложением по элементам первой стро­
ки, то мы получим
г-1

1 + 2 £ ) & У = ( п
3=1 3=1

Таким образом, 0 < 1/(0)! < оо, если

й=1
П
0/4> 0 , т. е. если точка 0
является внутренней точкой симплекса ©.
.И так, мы видим, что мы вправе воспользоваться результатами
§§ 13, 14 об асимптотически оптимальных критериях. Из этих ре­
зультатов вытекает, что для проверки гипотезы IIt = (0 = /Э про­
тив # 2 = {0 ¥=р} существует а. б. к., совпадающий с критерием
отношения правдоподобия

'/р№ >С* (6)

Этот же критерий будет асимптотически минимаксным для
^проверки Ili против гипотезы {(0 — />)/С0)(0 —р)т> 62/г-1} (см.
теорему 15.3).
Чтобы пайти в более удобной форме критическую область ((»)*
вычислим значение (X ). Дифференцируя (2) ио 01? . . . , 0r- It
получим
d l (X , 0) Л
50. -zf, Г = 1, . . . , r — 1.
0Д
Приравнивая эти производные нулю, мы получим, что о. м. п.
равпа
0 * = rc_ 1v,
так что о п 1Vi.
Таким образом, переходя к логарифмам, критерий (6 ) можпо
записать в виде
 КРИТЕРИЙ Xs И СГРУППИРОВАННЫЕ ДАННЫЕ

Согласно теореме 13.1 (см. также лемму 13.1) статистика

2яр2(Х) при гипотезе Я, имеет предельное распределение %2 с
г — 1 степенями свободы. Поэтому мы получим критерий асимп­
тотического уровня 1 — е, если положим Ci = h j 2, где ht — кван­
тиль распределения H r-i порядка 1 — е.
Что же из себя представляет в наших условиях асимитоти-'
чески эквивалентный ( 6 ) критерий л 7, полученный в теореме 13.2
и имеющий вид
п (в* — р ) I (р) (о* — р )т> 7ге? (8)

При t —- (f1} . . ., tr—j) , S — 2 получим

^ ( р ) == ( - - + 4Pr- .......* Pr—j ‘ Pr

г— 1 1 ' г= 1 *

где

tr — — S, 2 ^ = 0. (10)

Полагая t = 6* — p и замечая, что условие (10) выполиепо, мы

получим в качестве (8 ) критерий

<«>
i = i 1 1

Это есть не что иное, как критерий х2* Из цитированпых ут­

верждений вытекает, что X2(X) Hr_j.
Критерий я " в теореме 13.2, асимптотически эквивалентный
(7) и ( 11), будет иметь вид

2 ' (12 )

Учитывая также теорему 15.3 и замечание 15.1, мы можем резю­

мировать сказанное в виде следующего утверждения.
Т е о р е м а 1. Критерий (7) при cy = hJ2, а также критерий
X2 ( И) и критерий ( 12) имеют асимптотический уровень 1 —е
и являются а. б. к. для проверки по выборке X Во гипотезы
{0 = ^ } против (0 Ф р). Они же являются асимптотически мини­
максными критериями для проверки гипотезы (0 = р) против
близкой альтернативы (0i — Pi)2/ Pi > &2м |/г/ш любом Ъ > 0».
404 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

Асимптотическую эквивалентность критериев (7), (11), (12)

можпо было бы установить и непосредственно, пользуясь разло-
vi ( Vi — ПРг \ I-
жепнем в ряд I n — ■= In I I Н — ----- 1 в (/).
Эти критерии являются асимптотически пепараметрическимн,
так как предельное распределение используемых в них статистик
является «абсолютным», т. е. с природой исходного распределе­
ния никак не связано.
2. Применения критерия х2. Проверка гипотез по сгруппиро­
ванным данным. Критерий х 2 является очень распространенным,
и значение его выходит за пределы задачи, рассмотренной в пре­
дыдущем разделе.
Обратимся к общей задаче о проверке гипотезы #! =
против # 2 = {Х^= Р, Р Ф Р г}, изучавшейся в § 12. Так как
сколько-нибудь развитая теория об оптимальных критериях су­
ществует лишь в' параметрическом случае, то естественно пы­
таться как-то «параметризовать» эту задачу *).
Наиболее простым и естественным способом сделать это в об­
щем случае является группировка данных. Она состоит в сле­
дующем. Область возможных зпачепий наблюдаемых величин
(т. е. пространство S6) разбивается па г пепересекающпхся об­
ластей Аь ..., Дг, и вместо наблюдения х} указывается лишь тот
интервал Д&,-в которой это наблюдение попало.
Другими словами, мы огрубляем наблюдения, и те х,, которые
попали в Дь, мы можем заменить каким-нибудь одним значением
zh <= Aft. Ясно, что выбирая достаточно богатое разбиение, мы мо­
ж ем приблизить наблюдение xj с помощью zk сколь угодно точно.
Итак, группировка приводит к тому, что наблюдение Xj заме­
няется вектором eh, если произошло событие A h — {xj е ДД (век­
торы eh были определены в начале предыдущего раздела). Но но­
вая выборка, полученная в результате такой операции, очевидно,
■есть не что иное, как выборка из В 0, — Р(х3-<= Дл). Мы уже
знаем, что в этом случае вектор v = (v±, . .., vr) частот попаданий
в интервалы Д1т ..., Дг будет достаточной статистикой.
Произведенная редукция выборки X к вектору v и называет­
ся группировкой данных.
Ясно, что группировка связана с некоторым «обеднением»
■выборки X и частичной потерей информации.
На произведенную параметризацию возможен и несколько
иной взгляд. Допустим для наглядности, что W = R , и все рас­
сматриваемые распределения сосредоточены на конечном интер­
вале и имеют плотность, т. е. удовлетворяют условию (Д,), где

*.) Имеется в виду конечномерный параметр. Любую задачу можно

считать параметрической, если допускать бесконечномерный параметр, так
жак его можно отождествить с распределением Р, X ^ Р.
§ 16] КРИТЕРИЯ х2 II СГРУППИРОВАННЫЕ ДАННЫЕ 405

р — пера Лебега. При данном разбиении Дг наряду с

плотностью fix) рассмотрим кусочно-постоянную плотность
Р (ДД i f 0-
/е (я) = — дт^- = -д7 J / (ж) dx = — при х ge А-%
.(13)
1 Ai
Здесь Д,- обозначает также длину интервала Д,-. Это есть пара­
метрическое семейство распределений' Ро, Р е( 8 ) = j fe{x)dx.
в
Мы получим выборку Y из Р е, если для каждого к соберем
все наблюдения из X Р, попавшие в Ak, и затем случайно и
равномерно «разбросаем» их по Ah. По существу это то же самое,
что мы делали раньше,так как сведения о том, в какой точке
интервала A h находится паблюденпе у£, никакой информации в
себе относительно параметра 0 пе содержит: функция правдопо­
добия /е(Ю прп «перемещении» наблюдений в пределах своих
интервалов не меняется. Таким образом, достаточно лишь знать
количества Vi, ..., vr наблюдений, попавших в Дь ..., Аг.
Ясно, что если f i x ) — гладкая функция, то feix) будет хорошо
приближать fix) при достаточно «мелком» разбиении {Дi, ..., Д,-К
Соотношения (13) означают другой способ параметризации,
эквивалентный первому. Эквивалентность следует из совпадения
с точностью до множителя, не зависящего от параметра, функций
правдоподобия. Для распре деления (13) она равна

h (Y) = П
г—1
ер П л Г \
г—1

где первый множитель представляет из себя функцию правдопо­

добия выборки из В 0 (см. ( 1)).
Следует отметить, что группировка наблюдений возникает
часто и сама по себе пе для целей параметризации, а просто как
удобный и часто более экономный способ записи информации,
содержащейся в выборке. Если, например, п = 10\ а точность
измерений наблюдаемых значений па [0 , 1] сравнима с 0 , 1, то
ясно, что практически бесполезно знать все 104 наблюдений,
а достаточно указать 10 частот v,. ..., v l0 попадания в интервалы
Д» = Hi — 1)/10, i/10), i = 1, ..., 10, т. е. знать лишь гистограм­
м у выборки.
Вернемся к задаче проверки гипотезы / / 1 = { X ^ = P 1} против
Я 2 = {X (§Ё Р Ф Pi}* Будем предполагать произведенную группи­
ровку наблюдений такой, что значимое для нас отклонение рас­
пределения Р выборки X от Pi обязательно скажется на распре­
делении сгруппированных данных. Тогда пашу задачу можно рас­
сматривать как задачу проверки гипотезы {0 = р), где /д— РДД,),
против {0 Ф р) для параметрических семейств В е или (13). Как
мы уже знаем, критерий \ к а к и критерии (7), (12)) будет
406 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

асимптотически оптимальным в этой задаче в смысле, сформули­

рованном в теореме 1.
Кроме того, критерий / 2 является асимптотически непарамет­
рическим, так как предельное распределение статистики %2(Х)
при гипотезе / / ± от исходного распределения выборки X не за­
висит.
Отметим при этом, что проверка гипотезы {0 = р) для се­
мейств (13) или В е все же не равнозначна проверке гипотезы
{ Х ^ Р г}, хотя при богатом разбиении {Д,, . . АЛ может быть
и близка к ней. На самом -деле, для выборки X проверяется ги­
потеза X <== Р, Р (АЛ = р\ = P t (АЛ- Это делает критерии не
состоятельным относительно альтернатив Р Ф P t, для которых
0i = Р(ДЛ ==■Pi(A,-) = Pi. Поэтому еще раз отметим, что критерий
X есть критерий, обладающий рядом свойств асимптотической
оптимальности, по он действует лишь против альтернатив, меняю­
щих вектор 0, т. е. против альтернатив, для которых (Р(АЛ) ^
Ф {Pi(Ai)) =
Сделаем несколько замечаний, касающихся применений кри­
териев х2, (7), (12). Мы будем говорить при этом в осповпом лишь
о критерии х > так как> с одной стороны, названные критерии
близки друг к другу, а с другой — критерий х 2 исторически (от­
части ввиду своей наглядности) получил значительно более широ­
кое распространение.
Уровень значимости критерия %2{Х) > ht равен 1 — е лишь
«в пределе». Опыт показывает, что для е > 0,01 истинный уро­
вень значимости этого критерия удовлетворительно приближает­
ся значением 1 — е лишь при пр{ > 8 , i — 1, . .., г.
При большом числе групп г, скажем, при п > г > 30, можно
пользоваться нормальным приближением как для распределения
*~т=г (/J — г), Хг €Ё Нг (см. § 2 .2 ), так и для распределения при
у 2г
гипотезе I h статистики %2(Х), нормированной моментами

Мх2 (X) = г — 1,

DX2(X) = 2 ( r - l ) + + 2
\г=1

Часто используют также нормальное приближение Ф 0>1 для

распределения случайной величины (см. § 2 .2 ) У 2%*— У 2г — 1,
T i m Hr.
Отметим также, что при увеличении числа групп улучшается
приближение плотности f i x ) с помощью ступенчатой функции,
построенной по значениям P i (А*) = f f( x ) d x . Это значит, что воз-
h
s 1C] КРИТЕРИЙ X- й СГРУП ПНГОВЛПНЫЕ ДАННЫ г- 407

растает число альтернатив, не согласующихся с Н и и критерий

у 2 все более становится критерием для проверки гипотез о плот­
ности. В связи с этим мощность критериев у 2 фиксированного
уровня при увеличения числа групп будет убывать (ср. с заме­
чаниями предыдущего параграфа о критерии Морана. Подроб­
нее об этом см. [12], [78i).
К недостаткам критерия у 2 следует отнести тот факт, что в
ряде случаев разбиение {A i, ..., ДЛ приходится устанавливать
статистику. Здесь следует проявлять осторожность, так как при
этом вносится элемент субъективизма в «обеднение» выборки X.
Кроме того, иногда это разбиение выбирают в зависимости от
выборки X , что, вообще говоря, не всегда допустимо, так как
при этом Д; стаповятся случайпыми (подробнее об этом см. [801,
■с. 575).
П р и м е р 1*). Некто в городе' N обследовал показания 500
часов, выставленных в витринах различных часовых мастерских.
Результаты паблюдений были разбиты па 12 групп (в зависи­
мости от положения часовой стрелки на циферблате). Приведем
полученную таблицу паблюдений:

Промежутки 0—1 .1—2 2 - 3 3 - 4 4—5 5—6 8—7 7—8 8—9 9—10 10—11 11—12
на циферблате

Число наблю­ 41 34 54 39 49 45 41 33 37 41 47 39
дений

Проверяется простая гипотеза /Д = {распределение положе­

ния стрелки по часовым группам на циферблате равномерно)
против сложной дополнительной альтернативы.
В этом примере п = 500, рг= 1/12, / = 1, ..., 12, нр,-~ 41,67.
На основании теоремы 1 можно приближенно считать, что
у 2 (X) £= Н ц . В нашем примере непосредственным подсчетом
убеждаемся, что у 2(А0 ~ Ю и фактически достигаемый уровень
критерия у 2 приближенно равеп 1 — Н и ((10, oo))«Q,47 (см. таб­
лицы III). Это означает, что результаты эксперимента согласу­
ются с гипотезой П х с точки зрепия критерия у 2 любого уровня
1 — е, заключенного между 0,47 и 1.
Мы уже отмечали, что критерий у 2 имеет широкое распро­
странение. При этом сфера его приложений не ограничивается
проверкой лишь простых гипотез. Один из таких примеров будет
рассмотрен в следующем параграфе.

*) Пример заимствован из [37].

408 ТЕОГНЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

§ 17. Проверка гипотез о принадлежности выборки

параметрическому семейству

Рассмотрим задачу о проверке сложной гипотезы Н\ — { Х ^

€=§Pa , c i e i ) о том, что распределение выборки принадлежит
параметрическому семейству {Га}а^А против дополнительной
альтернативы # 2 — { Х ^ Р, Р ф {Ра }аел}- Примером такого рода
гипотез могут служить утверждения о том, что X есть выборка
из какой-нибудь нормальной совокупности (гипотеза H t), и ут­
верждение, дополнительное к этому (гипотеза Нг).
Другпм примером может служить проверка гипотезы о том,
что X В0(сО, где размерность а меньше размерности 0. Эту за­
дачу можпо, конечно, трактовать и как задачу о проверке гипо­
тезы о принадлежности X параметрическому подсемейству (см.
§ 15), однако верной будет и первая трактовка, поскольку в том
случае, когда в результате эксперимента наступает лишь конеч­
ное число возможных исходов (см. определение В е в § 2.2), се­
мейство В е содержит в себе все мыслимые распределения вы­
борки.
В следующем разделе мы рассмотрим задачу о проверке ги­
потезы X <= Ве(а) и покажем, что общая задача о принадлежно­
сти параметрическому семейству может быть редуцирована к
первой задаче путем группировки данных.
1. Проверка гипотезы X (=§В0(а). Группировка данных. Рас­
смотрим сначала общую задачу, сформулированную в начале
параграфа, в случае произвольного пространства S6. Возьмем раз­
биение пространства SS на области («интервалы») {Д1} ..., Дг),
такое, что число «интервалов» г больше Z+1, где I есть размер­
ность параметра а. Произведем группировку наблюдений по этим
интервалам. Если гипотеза Н \ — {Х€= Р«) верна, то вероятности
попадания наблюдений в интервалы Д,- будут равны
рАа) = Р«(Д£).
Это означает, что в этом случае вектор 0 = (01} ..., 0Г) вероятно­
стей попадания наблюдения в Д, должен лежать на кривой 0 =
= р(а) = (pi(a), ..., рЛа)).
Таким образом, по полученной при группировке выборке
У (её Ве мы должны проверить гипотезу II { о принадлежности Y
параметрическому подсемейству ВР(а) против альтернативы
{¥<= В0), где 0 не располагается на кривой 0 = р (а), а ^ А . Эта
задача рассматривалась нами в § 15, где был найдеп асимптоти­
чески минимаксный критерий для проверки /Д против близкой
альтернативы
= /У g В6, inf I e - p(a , + y n - 112) (a„ + |>
l у

> ЬпГ11г) (1)

§ 17] ПРИНАДЛЕЖНОСТЬ ПАРАМЕТРИЧЕСКОМУ СЕМЕЙСТВУ 409

(см. замечание 15.3 к теореме 15.4. Точка а 0 означает «локализо­

ванное» значение параметра, такое что альтернативы располага­
ются в окрестности точки 0о = р(ао).) Критерий отношения прав­
доподобия (15.11) в пашем случае имеет вид
Г
111 (X ) — ш а х 2 v i l n Oi — m a x 2 v i I n P i (a ) > ^ e /2 ,
U i—l a
или, что то же,
г

2 Vi I n —
nP i(a*)

где а* есть о. м. п. параметра а по выборке Y (или по вектору

v = (vi, vr)). Этот критерий асимптотически эквивалентен
(см. теорему 15.4) критерию
(р(а*) — vn~l)I(p(a*)){p(a*) — v/z-1)r > het.
Так как вид матрицы 7(0) пам известен (см. (16.5)), то, поль­
зуясь (16.9), мы получим из теоремы 15.4
С л е д с т в и е 1. Если г — 1 > 1 и функция р{а) удовлетворяет
условиям теоремы 15.4, то критерий отношения правдоподобия
асимптотического уровня 1 — е для проверки по сгруппированным
данным гипотезы Н х = {X (= Pa >Ра s {Р«}«ел}, против дополни­
тельной альтернативы П 2 является асимптотически минимаксным
(для проверки гипотезы И х против ( 1)) и имеет вид
Г
2 v , l n — V - > W 2. (2)
ир4(«*)
где hK— квантиль порядка 1 —е распределения %2 с г — 1— 1 сте­
пенями свободы. Этот критерий асимптотически эквивалентен
критерию

9;Ч Х) = 2 (0 Н Ж > /,в. (3)

Т~1 "Pi ( а * )

Последний критерий пазывают также критерием х2, по в слу­

чае, когда неизвестные «мешающие» параметры оцениваются по
выборке. Распределение статистики как это вытекает из
следствия 1, сходится при гипотезе Н 1 к распределению ха с
г — 1— 1 степенями свободы (число степеней свободы г - 1 в пре­
дельном распределении статистики уменьшилось на число
скалярных параметров а и ..., а,, оцениваемых по выборке).
11 р и м е р 1. В примере 2.26.3 был описан механизм наследо­
вания групп крови 0 (ноль), А, В, ЛВ-. Он управляется генами
трех типов А, В, 0. Вероятности появления этих генов в дайной
27 а . А. Боронной '
410 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

популяции обозначим р , q, г = 1 —р — q. Вероятности рДа) того,

что человек будет иметь г-ю группу крови, найдены в примере
2.26.3 и приведены в таблице 1 § 26.
Нам дана выборка X с частотами v„ i = 1, 2, 3, 4, (см. табл. 1)
появления i-й группы крови, полученная в результате обследова­
ния п *= 353 человек. В примере 2.26.3 для этой выборки были
найдены приближенные значения о. м. п. а* = (д*, q*) =
= (0,246, 0,173). Ото дает нам значения рДа*), приведенные
в таблице 1.
Т а б л и ц а 1. Р а сп редел ен и е лю дей по гр у п п а м крови

0 А в АВ Всего

vi 121 120 79 33 353

"Л _1
Pi = V4n 1 0,343 0,340 . 0,224 0,093 1
• 7>i(a*) 0,337 0,347 0,231 . 0.083 1

Мы получаем возможность воспользоваться следствием 1 для

проверки гипотезы о том, что описанный выше механизм насле­
дования крови имеет место. С помощью таблицы 1 находим, что
статистика %2(Х) (см. (3)) в нашем случае равна примерно 0,44.
Это дает хорошее согласование с гипотезой, так как критическое
значение he, соответствующее распределению %2 с одной степенью
свободы п значению е = 0,2, равно h0,z ~ 1,64.
П р и м е р 2. Задача о сопряженных признаках. Допустим, что
выборка X есть результат обследования некоторых объектов, каж ­
дый из которых характеризуется двумя признаками А и В. Пер­
вый признак может принимать значения А и ..., Л 5, второй —
/?,, ..., B t. Спрашивается, зависимы ли эти признаки? Например,
мы можем проводить некоторый эксперимент G с исходами
В и . .., B t в разных условиях А и ..., A s. Задача состоит в том,
чтобы выяснить, зависят ли результаты эксперимента G от усло­
вий, в которых он производится.
Эту задачу можно рассматривать также как задачу о провер­
ке независимости двух случайных величин | и г) по сгруппиро­
ванным наблюдениям над парой ( |, ц).
Результаты экспериментов в пашем примере представляют со­
бой матрицу зпачений Hv«H, где v,-j есть число появлений исходов
с признаками А { и В, в выборке X объема п (каждый элемент
выборки есть пара признаков обследуемого объекта).
t . S

Обозначим р {')=¥ (A{Bj), 2 Рц, Р>} = 2 Pip Тогда гипо-

3=1 1=1
теза II 1 о независимости признаков будет иметь вид H i ~ { p i j —
 ПРИНАДЛЕЖНОСТЬ ПАРАМЕТРИЧЕСКОМУ СЕМЕЙСТВУ 411
§ 17)

T=Pi.p.j}. Нетрудно видеть, что это есть гипотеза о принадлежно­

сти распределения выборки параметрическому подсемейству, где
роль параметра а играет (.?+1 — 2 )-мерпый вектор
j., р.г, . . . , p .t~ i) (значепия ps. и p.t определяются из ра­
венств Рв 1 — S Pi-, р-( = 1 - 2 р Л
j= 1 /
Функция правдоподобия выборки X при гипотезе IIt равна
V. -
П p iп
-' /7-Г» _ Vi 2 v.j
г j jj=i
=i г—l

Из результатов § 1G (ср. с (16.1)) следует, что о. м. п. а* для та­

кой функции правдоподобия имеет вид
р*. — .//г, pfj = v,j/n.
Итак, критерий %2 в пашем случае принимает вид
fv-
V 13
■ Vs V
зУ > he
Х*(Х) = 2 -
n P i. P.

где hr. — квантиль порядка 1 — e распределения x 2 c числом сте­

пеней свободы st. — 1 — is + 1 —2 ) = (s — 1)(7 — 1).
Можно указать много прикладных задач, где используется
построенный пами критерий сопряженности признаков. Мы рас­
смотрим в качестве иллюстрации одну из них — задачу социоло­
гического обследования о связи между доходом семей и количест­
вом детей в них (см. [37], стр. 481).
И р и м е р 2А. Пусть признак А означает количество детей и
принимает значения 0, 1, 2, 3, 5=4. Признак В указывает, како­
му диапазону ( 0 —1), (1 —2), (2 —3), (5s 3) (за единицу принято
1000 шведских крои) принадлежит зарплата. По результатам
Таблпца 2

в
0—1 1—2 2—3 >3 V.
i•

0 2101 3577 2184 1036 9558

1 2755 5081 2222 1052 11110
2 936 1753 640 306 3635

3 225 419 96 38 778

>4 39 98 31 14 182

V .
■} 0110 10928 5173 3016 25203

27*
412
ТЕОРИЯ ПРОВЕРНИ ГИПОТЕЗ [ГЛ. 3

п — 25 2G3 обследований были получены следующие данные, при­

веденные в табл. 2 .
. „ . В этом примере уЧХ) = 568,5, что значимо больше критиче­
ского значения ht для распределения %2 с (5 — 1) (4—1) = 12 сте­
пенями свободы даже при достаточно малых е. Так что мы вы­
нуждены признать несостоятельность гипотезы H v — {А и В неза­
висимы {несопряжены)}.
Отметим, однако, что более тонкий апализ указывает па
очепь слабую зависимость признаков А и В.
2. Общий случай. Критерий у2, примененный к задаче этого
параграфа, обладает темн же недостатками, которые отмечались
нами применительно к задачам предыдущего параграфа.
Задача проверки гипотезы {А £= Р 0} о принадлежности X па­
раметрическому семейству {Pejes© допускает, конечно, и более
широкий подход, аналогичный тому, который излагается в § 12.
Выберем некоторое расстояние d{Р, Q) в пространстве распреде­
лений. Далее, найдем точку Ре* из {Ро}> ближайшую к Р*
в смысле расстояния d. В качестве Р«* можно брать также Р§*г
где 6* есть о. м. п. (см. § 2.5) или какая-нибудь другая разумная
оценка. Если гипотеза //* верна, то d ( P G*, Р*) не должно быть
большим, и наоборот, еслп верпа # 2, то Д Р 6. , Р») будет зна­
чимо. Это соображение дает нам следующую конструкцию кри­
терия: мы отвергаем гипотезу Я 1} если с?(Ро*, Р*) с, и при­
нимаем в противпом случае.
Число с следует выбрать так, чтобы

s up Po( d( Pe *, Р * ) > с ) < 8,

О£0

или чтобы это соотношение выполнялось асимптотически. След­

ствие 1 предлагает в качестве расстояппя d ( Ро*, Р*) взять ста­
тистики в (2), (3). Среди других они обладают еще и тем досто­
инством, что являются асимптотически непараметрическими: при
гипотезе # i = {А £§ Ре} предельное распределение %2{Х), напри­
мер, от 6 не зависит.

Рассмотрим реализацию изложенного выше общего подхода в двух

важных частных случаях, когда параметрические семейства образованы
параметрами сдвига и масштаба.
1) Пусть мы проверяем гипотезу А ^ Р 0, 6 е Я, где Ре 04) — Р(Л — 0),
/ 1 с й . Обозпачим F{x) функцию распределения, соответствующую Р, и по­
ложим Fe(x) = F(x — 0). В качестве d мы возьмем расстояние, использо­
ванное нами в критерии Колмогорова.
Т е о р е м а 1. Пусть A ^ = P fl, Fe {х) = F (х — 0), функция F (х) имеет
ограниченную равномерно непрерывную плотность J(x)=F'(x)>
§ 17] ПРИНАДЛЕЖНОСТЬ ПАРАМЕТРИЧЕСКОМУ СЕМЕЙСТВУ 413

^ х 2f (х) dx<Ccn. Если обозначить j*xf (х) dx = а, 0 * = х —а, то при любом О

lin i Ре (sup У п | F* (х) — F d*(x ) I > с] =

П~ЮО \ X )
— Р |sup J iv° (F (X)) -j- / (ж) j w° (F (t )) dt | > cj,

где w ° —■стандартный броуновский мост.

Правая часть в этом соотиогаетшп от 0 пе зависит. Вычисляя ее для
заданной F и выбирая с = сЕ так, чтобы она равнялась е, мы получим кри­
терий
Dn — SUP V " I F* (ж) — F (х — 0*) | > сг
X 1
асимптотического уровня 1 — е для проверки гипотезы Пх о принадлежно­
сти выборки X параметрическому семейству {Ре}, где 0 параметр сдвига.
Д о к а з а т е л ь с т в о т е о р е м ы 1. Рассмотрим процесс
W n {x) = У п (/•’.* (х) — (ж)) = wn (ж) — У п (Fc* (ж) — F q (ж)),

где wn (ж) = У n ( F* (ж) — F q (ж)). Имеем при t О

Ft (ж) - Fe (ж) = — (t - 0) (/ (ж - 0) + е (*, 0, ж)),
1е(;, 0, ж) I ^ cOjj-e;,

где (Од— пе зависящий от ж модуль непрерывности функция /, сод-^О

при А 0. Так как 0*->-0, то, полагая t — 0* и принимая, пе ограничивая

общности, а — 0, получим
У >» (^ е* И Fo (* ))=
= _ / (ж - 0) ] td [ У п (F* (t ) - F q ( о ) ] ч- г (0*, 0, Ж) -

= — / (ж — 0) Г td Wn (f) -j- e (0 *, 0, ж),

I e (0*, 0, ж) | < и (0* - 0) = У п | 0* — 0 | - > 0.

Далее, функционал
N

н у У п ) = sl[P wn И — f ( x ~ Q) j wn (0 dt
-N
при любом N > 0 является непрерывным в равномерной метрике. Замена
псремсипой ж на (у) = 0 + F-1 (у), которую естественно сделать для
примепенпя теоремы 1.6.3, этого факта не меняет. Поэтому в силу назван­
ной теоремы
N

р F (F (ж - 0)) + / (ж - 0) j (F (t - 0 )) dt
-N
Чтобы доказать требуемое соотпоптепио
D n =» sup j w° (F (ж — 0)) -|- / (ж — 0) J w° (F (t — 0)) dt |
414 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

(сдвиг на G аргумента в правой части значение последней пе меняет), нам в

силу соотношений
+ c \ Wn ( t ) d t , (4)

(о (0* — 0) -»-0 ,
Рв
остается убедиться, что интеграл в (4) вместе с интегралом ^ w° (F {t)) dt

(мы положим для простоты 0 = 0) сходятся -по вероятности к пулю при

п— *- оо, Л' —►оо. Оценки обоих названных интегралов проще всего, по-види­
мому, провести, доказав малость их дисперсий и воспользовавшись нера­
венством Чебышева. Так как первые два момента подынтегральных выра­
жений в обоих интегралах ведут себя одинаково, то мы можем ограничить­
ся оценкой лишь одного из этих интегралов. Рассмотрим, например,

[ dt.
— ОО

Б силу соотношений Мк° (s) w° (и) = min (s, и) -J- su ^ 2 min (s, и) при
s ^ 1, н ^ i, имеем
-N \2 —N —Лг
^ w° (F (t)) rfM < 2 | | min {F (t), F (s)) dtds =
~ —OO—oo
—N —N
4 [ ( — t —A ' ) f ( t ) A < - 8 р ^ (* )< М -* 0
—OO —oo
при Л7—> oo, так как ( FdF (i) < oo. Аналогично рассматриваются остальные
интегралы. <]
2)Пусть теперь проверяется гипотеза Ре* О еЛ , 0>О, где Р е ( Л) =
= Р(Л/0), А с :/?. Обозначим снова через F функцию распределения, соот­
ветствующую Р, и положим

o2 = M1xJ = J a rP (A c), = ± ^ xf-

i= l

Т е о р е м а 2. Пусть X Ре , F q (ж) = F (ж/0), существует ограниченная

непрерывная плотность /(ж) — F'(x) такая, что

sup I .т/ (х) | < ОО , ( Ж4/ (ж) dx < О О . . (5)

X J
Тогда при любом 0
l im Р0 f sup У п I / * (ж) — F (ж/0*) J > с) =
ft-* oo \ зс J

P (sup I w° [F (ж)) + ж/ (ж) J (F (0) Л | > с].

§ 18] УСТОЙЧИВОСТЬ СТАТИСТИЧЕСКИХ ГЕШЕНИЙ 415

Д о к а з а т е л ь с т в о этой теоремы совертснпо аналогично доказа­

тельству теоремы 1. Имеем
w n (ж) = п ( f j (ж) — Г (ж/е*)) = Wn (ж) — У « (F (ж/о*) — F (ж/0)),
Юп (ж) = У п ( /'* (ж) — F (Ж/В)).

При t О

F, м - F0 W = .(л - *) (/ (-1] + £(I, о,,)),

где в силу соотношении /(ж) < с/|ж | и равномерной непрерывности / на лю­
бом конечном интервале выполняется sup | е (/,‘0 , ж) W|f Полагая
t — 0* 0, получим
Р°

-y-(v-i ) ' (l) ~ Ai)•<"•."' "■

где snp второго слагаемого сходится по Ре-вероятности к нулю. Нам оста-
X
.етс я воспользоваться рассуждениями предыдущей теоремы (малость интег­
ралов j* tw° (F (0) dt и j iwn {t)d t обеспечивается условием (5)) и
]<|>iv ]i\>N
заметить, что главная часть W n (ж) равпа (мы примем, не ограничивая общ­
ности, о 2 = 1)
w (ж) - У » * (О*2 - В2) . (т/е) = ‘ _ x f (ж/6) С t2dw ,t) ^
п( } ее* (е -f е*) п ее* (о + е*) J п
= ir (ж) - 2x1 (-г/01 - f twn (l) dt,
n eo*(e-i-e*)J n J
где 6* (0 -j- 0*) -> 202. Поэтому
pe
sup | W n (it) | => sup | 10“ ( f ( - i ) ) + 0 s y:f ( - i j J 10 . " ( f (Л -)) dt j =.

= s up| , o“ ( F ( £ ) ) + i / ( | ) j < o , - (F ( « ) ) , « .

Т ак как преобразование сж атия по ж под знаком sup ничего не меняет,

то теорема 2 доказана.
Аналогичные результаты читатель может получить и для статистик
j (А* (ж) - F q * (ж))2 dFQ., (ж),

§ 18. Устойчивость статистических решений

При построении различных статистических процедур в преды­
дущих параграфах — в задачах оценивания или проверки гипо­
тез,— мы исходили каждый раз из некоторой совокупности уело-
410 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ. 3

вий. Эти условия касались, в частности, независимости наблюде­

ний и их одинаковой распределенности, предположений о харак­
тере распределения Р элементов выборки. Невыполнение этих
условий делало бы соответствующие утверждения (например,
о характере предельного распределения или об оптимальности
той или иной статистики), вообще говоря, пе верными.
С другой стороны, на практике обсуждаемые условия есть,
как правило, результат аппроксимации и неизбежной идеализа­
ции. Стало быть, в точном виде эти условия обычно ие выполне­
ны, п возпикают опасения, связанные с правомочностью рекомен­
даций, сделанных с помощью той или иной выбранпой статисти­
ческой процедуры.
. Следовательно, как и в любой другой области математики,
касающейся приложений, здесь необходимо на последней стадии
перед применениями разработанных методов выяснить, как ве­
лики должны быть отклонения от принятых условий, чтобы это
заставило нас изменить сформулированные выводы.
С математической точки зрения это есть задача очень близ­
кая к проблеме устойчивости. В англоязычной литературе для
этого крута задач припят термин «robustness»*). В связи с этим
в русской литературе наряду с «устойчивостью» используется
также слово «робастность».
Наиболее распространенные отклонения от упомянутых выше
условий состоят в следующем.
1) В серии наблюдепий X присутствует малая доля «выбро­
сов», т. е. наблюдений, вызванных грубыми ошибками измерений
илн записи, и л и порожденных каким-то другим «мешающим» ме­
ханизмом, отличным от исследуемой системы. Отделить эти на­
блюдения, как правило, невозможно. Вместо этого ищут про­
цедуры, которые были бы мало чувствительны к таким «засоре­
ниям» выборки.
2) Распределение х,- не в точности равно Р, а лишь при­
ближенно.
3) Элементы выборки X не являются независимыми, а лишь
слабо зависимы.
Задача состоит в том, чтобы построить решающие правила
для основных задач математической статистики, которые были
бы близки но своей эффективности к оптимальным и в то же
время были бы нечувствительны к перечисленным отклонениям
от принятых условий или хотя бы к тем из пнх, которые для пас
существенны. Эту задачу, которая является весьма трудиой и ие
всегда точно поставленной, нельзя считать изученной в полном
объеме. Результаты здесь носят разрозненный характер. Поэтому
мы остановимся лишь на нескольких типичных примерах.

*) Robust — крепкий, здоровый.

§ 181 УСТОЙЧИВОСТЬ СТАТИСТИЧЕСКИХ РЕШЕНИЙ 417

i. Оценка среднего для симметричных распределений. Пусть

X €= Р , распределение на прямой Р имеет плотность fit —а)
относительно меры Лебега, fit) = f i —t). Мы обсудим следующие
две оценки параметра а — Мхг. Одна из пих —
а* = х,
а другая а** основана на выборочных квантилях:

а ** = -7 ~ г 2 (О
h=l
где 0 < д < 1 , г — \ / р — целое число. При р — 1/2 оценка а**
превращается в выборочпую медиану Z* = £i/2.
Ограничимся пока случаем р = 1/2. Имеем при п i
(а* — а) V п (=> Ф 2, Од = i*t2f (t)dt. (2) -
o.Oj J

Кроме того, в следствии 2.2.1 было устаповлепо, что при п-+°о

(сс** — a) Y п Ф 2, ol = — ^— . (3)
v ’ о.оо’ 4/ (0) ’

Просматривая доказательство этого следствия, легко устано­

вить, что вместе с а** — = X(fto), к 0 — [(?г + 1)/2], точно та­
кое же предельное распределение будет иметь и чЛен вариацион­
ного ряда x (ft) при любом фиксированном значепии разности
к к0.
Отсюда следует, что оценка а** = £,* нечувствительна (с точ­
ки зрения ее асимптотических свойств) к добавлению к выборке
X любого конечного числа «выбросов». Действительно, если мы
имеем I любых «выбросов» в выборде X , то а** будет распола­
гаться между значениями У(кг) и У(й2), где к 1 = к0— 1у к2= к 0 + 1,
a y(h), к = 1, . .., ?1 — I образуют вариационный ряд выборки
Y Р объема п — 1. Но асимптотические свойства У(ь{) и У(й2)
одипаковы и совпадают со свойствами выборочной медианы.
Итак, каковы бы ни были «выбросы», оцепка а** к ним не
чувствительна. Этого нельзя сказать об оценке а* =■ х, где эти
выбросы могут дать значительный вклад (папример, если они
сравнимы по величине с п). Нетрудно понять, что свойство устой­
чивости а** сохранится и для небольших выборок, если число
выбросов I мало относительно п. Оно сохранится и в случае, ес­
ли вместо £* использовать статистику (1) более общего вида.
С другой стороны, для важного частного случая, когда Р =
= Ф 2 есть нормальный закон, зпачеппе о.2 = о\п!2 ( / (0) =
(Х,(Тj
=={ox Y 2л )~ 1) превосходят разброс 01 эффективной оценки
к* — х всего в п/2 раз. Эту разницу между эффективностью а**
418 ТЕО РИ Я П РО ВЕРК И ГИПОТЕЗ [гл. :«

и а* можпо ещо уменьшить, если рассмотреть оценки (1) при

г = 3, 4 и т. д. Мы получим тогда оценку а** почти столь же
эффективную, как и х (при отсутствии выбросов), и в то же
время устойчивую по отношению к выбросам. Наряду с (1) мож­
но брать усеченное среднее
Я —п р

а** 11пр
_о х(/<ь (4)
k—np+i
разброс которого также сближается при малых р с разбросом
б
Од оценки а*.
Отметим, далее, что свойства оцепки а* = х мало зависят от
изменений Р, сохраняющих дисперсию ol — ( t-f{V)dt , и, в част­
ности, от локальных изменений fit) в точке t = 0. В этом смысле
она устойчива. Но свойство оптимальности этой оценки, имеющее
место для Р = Ф 2* неустойчиво. Действительно, пусть при ма-
лом е > 0
Р = (1 — е)Ф а, I +• eUa-е,а + е.

Тогда /(0) — (1 — е)/У'2п + 1/2 > 1/2 н, как показывают соотноше­

ния (2), (3), оценка а** = £* будет существенно лучше (е долж­
но быть мало, но не меньше 1/}'п).
С другой стороны, оценка а** = устойчива (имеется в ви­
ду ее распределение) относительно изменений Р, пе затрагиваю­
щих значение /(0).
Сделанные замечания нетрудно переформулировать н приме­
нительно к статистическим критериям, например, к несмещенным
р. Н . М. К . IX —OLo I > С ДЛ Я проверки ПО выборке ^^ЁеФссд гипо­
тезы Jft — i a — a j против 11г — {1а —а 01 > d > 0).
2. Статистики Стыодента и Si. Рассмотрим теперь вопрос
относительно устойчивости статистических процедур (оценива­
ния и проверки гипотез), связанных со статистиками

« - - ^ 2 < * « -;) * . •
О

Па этих статистиках, как мы знаем (см. §§ 3.7, 3.8), основа­

ны оптимальные критерии соответственно для проверки гипотез
относительно среднего а и дисперсии о2 нормальных совокупно­
стей в случае, когда второй параметр (о2 или а) распределения
Фа неизвестен.
Статистики t и Si ведут себя но разному относительно на­
рушений условия а2- Допустим, что п велико, а
где Р — любое распределение со средним а и конечной диснер-
§ 18] УСТОЙЧИВОСТЬ СТАТИСТИЧЕСКИХ РЕШЕНИЙ 419

сией. Тогда распределение t , так же, как и в случае X Ф а 0.2,

будет сближаться с нормальным распределением Ф0, 1. Это сле­
дует из теорем непрерывности (§ 1.5) и того, что
(х — a ) S j-^ D x ^
р
Сказанное означает, что размер критерия Стыодепта при
больших п будет мало отличаться от заданного, если даже рас­
пределение Р выборки X существенно отличается от нормаль­
ного.
Этого нельзя сказать относительно критериев, построенных по
статистике Si. Это обстоятельство связапо с тем, что предельное
распределение зависит от значения Mxt. Действительно, из
рассмотрений гл. 1 следует, что
(S% — оа) Vn<~> Ф 0 d2, d2 = М (x j — о2)'2 = Dx?.

Стало быть, размер критерия, построенного по статистике

для пормальиой совокупности может существенно отличаться от
заданного, если X Р и Р отличается от Фа 0-2 (разницы не
будет при совпадении четвертых моментов Р и Фа д2).
Обе статистики t и »So чувствительны к отказу от* предполо­
жения о независимости наблюдений в выборке X. Если, напри­
мер, все наблюдения в выборке коррелнрованы друг с другом и
коэффициент корреляции равен р, то, принимая пе ограничивая
общности а = 0, получим

MSI = М [ g ж? - » W 2] = [по2 > ( g X.)

—п^ - [ r g 2 — о2 (1 — р) — па2р] = о2 (1 — р).

Таким образом, здесь нарушается даже свойство песмещенпо-

сти Si, хотя при малых р отклонение будет небольшим. Отыска­
ние распределений t и Si при появлении зависимости обычно
представляет собой значительные трудности.
3. Критерий отношения правдоподобия. Этот критерий обыч­
но весьма чувствителен к наличию выбросов и даже к малым
отклонениям в предположениях о распределении X. Пусть, на­
пример, проверяются две простые гипотезы H i = { Х € = Ф 01} и
Н2— U _l5l}. Ясно, что при использовании н. м. к. Нейма­
на — Пирсона появление хотя бы одного наблюдения х вне от­
резка [—1, 1] при идеальном соответствии остальных наблюде­
ний равномерному распределению U -,, t заставит нас (с нулевой
вероятностью ошибки!) принять гипотезу Н и Это значит, что на­
личие хотя бы одного выброса или появление даже малых откло-
 ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ [ГЛ 3
420

пенни от распределения U_lf t могут вынудить пас принимать

ложное решение.
В этом отношении критерий Колмогорова, например, явля­
ется значительно более устойчивым (хотя и менее мощным отно­
сительно II2). Вообще, непараметрические критерии, как того и
следовало ожидать, в целом значительно более устойчивы, чем
«индивидуальные» критерии, обладающие свойством оптимально­
сти в той или иной конкретной задаче.
Что касается рассматриваемой задачи о проверке нормально­
сти ШЭ против равномерности ( // 2) выборки X , то отыскание
мощных и в то же время устойчивых относительно выбросов
критериев можно произвести, используя по-прежнему отношение
правдоподобия, по для «усеченных» выборок (ср. с (4)). Можно
также идти но пути подбора какого-нибудь другого критерия.
В этом отношении наличие достаточно большого запаса различ­
ных критериев и оценок представляется весьма полезным. Это
связано зачастую пе только с соображениями устойчивости, но
и с вопросами удобства вычислений.
 Г! Р II Л О Ж Е Н II Е I

ТЕОРЕМЫ ТИПА ГЛИВЕНКО — КАНТЕЛЛИ

В этом Приложении будут доказаны утверждения, из которых будут

вытекать теоремы 1.4.1, 1.4.2. Обозначения параграфа 1.4, в котором эти тео­
ремы сформулированы, мы будем использовать без пояснений. Докажем
сначала один общий вспомогательный вариант теоремы Гливенко —
Кантелли.
О п р е д е л е н и е 1. Класс ® множеств из S3^ = ©7,1мы будем называть
конечпо-аппроксимируемым (относительно распределения Р ), если каково
бы ни было е > 0, для него существуют другой класс множеств © (e), со­
стоящий из конечного числа N — А (е) элементов S u ... , 6\ v, 5 t- е S m, та­
кой что для любого В ^ St найдутся множества A i н А г из ©(e) со свой­
ствами
А 1 с: В а А 2, ✓
(1 )
Р (A2 — A i ) < е.
Определим над классами мпожеств операции сложения, умножения
п дополнения. Классами Sti -f- и •fi'i.ft'-z мы будем называть соответствен­
но классы множеств вида A (J Л н А П В , где А е fi'i, В е Й'г- Дополнением
Й мы будем называть класс множеств, составленный из дополнений А,
А Е*.
Т е о р е м а 1. 1) Пусть Х п — [А«] п, Хсс^ЁР, а класс 8 является конец-
по-аппроксимируемым. Тогда
sup I Р* (В) — Р (5 ) I — ►0. (2)
В—® п.п.
2) Совокупность копечно-аппроксимируемых классов замкнута относи­
тельно введенных операций.
Д о к а з а т е л ь с т в о . Первое утверждение получается с помощью тех
ж е соображений, которые применялись нами в одномерном случае в тео­
реме 1.2 2. Для заданных В е j? и е > 0 найдутся N = А'(е) н множества
А1, А2, обладающие свойством (1). Для них имеем
К (В) - Р ( Я ) < Р * (А2) - Р ( A J < Р * (А„) - Р (Аг) -1- е,
Р* (В) - Р ( В ) > р ; {Ах) - Р (Л2) > р ; (А г) - Р (Ах) - е.

Поэтому

n I I К (■?„) - Р (•?„) | < «I <= Г sup I P* (В) - P (В) I < 2 e l,

H= 1 ( H= yc J

где Si, «S’л- — элементы '©(e). Так как P* (S h) — >-P ( S h), то отсюда
у ж е без труда получаем (2) (ср. с доказательством теоремы 1.2.2А).
Второе утверждение теоремы 3 почти очевидно. Пусть дано е > 0 и
пусть ©,(£[) и ©г(ь’2) — аппроксимирующие классы для ЗИ и St2 соответ-
422 ПРИЛОЖЕНИЕ I

ственно. Пусть, далее, А и В — любыеМножества из и $ 2- Из соот­

ношений Ci -J- е2 = е,
A iC zA czA z, P(i4 2 " / 4 ] ) < £ f (А{ е ©i (ei)), *
B } c z B c z B z, P (B 2- B y ) < £2 (бг <= ©2(e2)),
получаем
A\B\ с: A B a A 2B 2,
A 2B 2 — A y B y d (A2 — Ay) U (B2 — By),
P (A2B 2 — AyBy) ^ e.
Таким образом, класс копечно-аннрокспмпруем. Сумма $1 + й'2 и до­
полнение М рассматриваются аналогично. <3
С л е д с т в и е 1. ПустьBS — R m, X» = [X,»] Тогда
SUP j S* ( t ) - F ( t ) | — >0
t д.н.
при n — оо, где F ^ (t) — эмпирическая функция распределения.
Д о к а з а т е л ь с т в о . Из доказательства теоремы 1.2.2А видно, что
классы множеств Sfj ~ {у е R m : у, с г,}, —оо <; tj с оо, прн каждом j =
= 1, . .. , т являю тся консчно-аинроксимнруемыми. В качестве системы
©(e) достаточно взять полупространства (yj < zu} u {j/j ^ z h), k = 4, . , , N,
где zh определены в ( 1.2.6).
Но второму утверждению теоремы 1 класс углов Й' = . . . Й'т так­
же будет конечно-апнроксимируемым. Нам остается воспользоваться пер­
вым утверждением теоремы 1. <1
Следствие 1 есть пе что иное, как теорема 4.4.1.
Рассмотрим теперь классы множеств Я\ которые удовлетворяют сле­
дующему условию (Г). Пусть К м есть куб
КМ=[У = {У1"-"УтУ- тах
(Г) Все множества В е й обладают свойством: г-окрестностъ гра­
ницы Гв = д(В П ^ м ) имеет меру Лебега (объем) р ,^ Г £ ) ^ ф ( е , М), где (р
зависит только от своих аргументов и при любом М ф(е, М) —>-0 при е —>-0.
Т е о р е м а 2. Пусть S6 — /?т , X ^=ЁР и распределение Р абсолютно не­
прерывно относительно меры Лебега. Тогда класс удовлетворяющий ус­
ловию (Г), конечно-аппроксимируем и, следовательно, для него справед­
ливо (2).
Д о к а з а т е л ь с т в о . Заметим прежде всего, что задачу с простран­
ства R m можно редуцировать к кубу К м в следующем смысле. Допустим,
что при любом фиксированном М найдется класс © подмножеств из К м ,
такой что для любого В ' е ! и В = В' П К м выполнено (1). Тогда $ будет
конечно-апнроксимируем. Действительно, для с > 0, выбранного в (1), най­
дем М — Л/(е), такое что Р(ЯдГ) ^ 1 — е, п положим А г , Л., — Ао у К м ,
где Ау — множества из (1), K v — дополнение до К м . Тогда, очевидно,
4 с г ' с а2
!, Р ( А'2 - А[) < 2r.

Итак, мы можем считать, что Р (/б м ) — 4, ® составлено кз подмно­

жеств К м .
Рассмотрим в качестве © фигуры Л }, образованные различными объе­
динениями замкнутых кубов с ребрами длиной б и с вершинами в точках
(/ 16, . .. , jfm6), —Mlб < /ft < М/б, k = 1, . . . , m,
(можно считать для простоты, что б нацело делит М). Определим мпожест-
 ФУНКЦИОНАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА 42 3

ва А 1, А 2, соответственно, как объединения всех кубов, црипадлежащих и

задевающих В. Очевидно, что
Ах d В а А ^

И (А2 - А х) < и ( Г^ ) < ф (26 У т , Ж ).

Выбором б правая часть этого неравенства может быть сделана сколь угод­
но малой.
Далее, Р абсолютно непрерывна относительно р. Поэтому, для задан­
ного £ можно найти 7 — 7 (e), такое что su p P (A ) <С е. Если теперь б вы-
p(A)<Y
брать так, чтобы ф(2б|'/н, М) ■< 7, то получим
Р (A2 — A i ) < е. О
С л е д с т в и е 2. Класс <5 всех выпуклых множеств коисчио-аппрокси-
мирусм и, следовательно, для абсолютно непрерывных Р
sup | Р* (В) Р {В) J . ъО,
.
11 11

Действительно, максимальная «площадь» поверхности выпуклого мно­

жества в К м составляет 2т (2.17) "*-1 — «площадь» поверхности К м , а мак-
симал 1,ный объем \л{{дКм )Щ е-окрестностл дКм не превосходит 2е *
‘2т(2М )гп~ 1. Это означает, что условие (Г) выполнено. <]
Следствие 2 совпадает с теоремой 1.4.2. Замечание о существенности
условия об абсолютной непрерывности Р содержится в § 1.4.
Нетрудно видеть, что условно (Г) будет выполнено и для классов пс-
выпуклых множеств с достаточно гладкими границами.

Л Р II Л О Ж Е II И Е II
ФУНКЦИОНАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
ДЛЯ ЭМПИРИЧЕСКИХ ПРОЦЕССОВ

Мы докажем здесь следующее утверждение (теорему 1.6.3). Пусть

*ft(o = У « К ( * ) - 0
есть эмпирический процесс, определенный в § 1,6, и io °(t)— роунов-
ский мост.
Т е о р е м а 1. Если / есть измеримый функционал: D ( 0 , l ) - * R , не­
прерывный в точках пространства С (0,1) в равномерной метрике, то при
п ОО

/ (и/1)
Для доказательства теоремы нам понадобятся дво леммы.
Л е м м а 1. Конечномерные распределения процессов w n слабо сходятся
при п-+-оо к соответствующим распределениям процесса w°.
Д о к а з а т е л ь с т в о . Рассмотрим случайные (лг + 1)-мерные векторы

где Ajg, как и в § 1.6, обозначает разности

= g{tj+1) — ff(*j).
t]+l tj, / = 0, . . in, t$ = 0, tm+1== I-
 424 ПРИ Л ©Ж КНПЕ II

Через ги° обозначим аналогичный вектор для процесса w°(l). В силу вто­
рой теоремы непрерывности, для доказательства леммы нам достаточно
показать, что ivn ^> w °.
Найдем характеристические функции w n н ю°. Для вектора u = ( u Q, . . .
. . и т) имеем

Меда°“ Т = М ехр | i ^ ^А ^и Д = М ехр j i 2 uj (Aj w ~ 10 (1) Aj))»

I j= о J v j=o j
где Aj = fj+i — tj, / = 0 , m, w(t) — стандартный винеровский процесс.
Представим показатель у экспоненты как сумму независимых величин.
т
Обозначив для краткости ^ uj&j — получим
j=o
7?г т

2 ui (Aiw - w ( i) Л ,■) = 2 («j - и ) V -

3=о j —o

Так как MeiulcW = е ~ и^ , то

,.о»Т
“т = схр {-.т 2 _ г/)2 л;}= “ р {“ т (2 “>
?Ai - р2)}- (1>

Рассмотрим теперь Ыет 11 . Пусть, как и прежде (см. § 1.6),

л п (0 = nF* (t).

Тогда, как мы уже знаем (см. (1.6.1)), •

• • •• Л-»Я » = ' Я = А-01~ *•„,! Ло“ ' ' ' А^“-

В правой части стоят члены разложения полинома (А0 + . . . + Ат) п. Ис­
пользуя э т о т довод, получаем

= 2 T0*T**'^ 7r71'V ' \ Y ° .. . ( ^ А т -

Так как Алип - У п ( f * (tj+1) - F* (F) - Л^) - ( А ^ п - п Л ^ / У п , то

Meiu>nuT = ехр I f V и . У «А А М ехр j - L - 2 =

I З—о J I Р /г 3=о )
= / j i eiuj/VnA-
\з=о
Отсюда для фиксированного в , пользуясь равенствами
еа = 1 -ф a -j- а 2/2 - f О (а3), 1п(1 + ос) = а — ос2/2 -}- О (ос3)
 ФУНКЦИОНАЛЬНАЯ ПРЕДЕЛЬПАЯ ТЕОРЕМА

при « = о(1), паходпм

In Ш ;‘™Г'иТ = - iU У п -ь и In Г1- 2 (l - e iUl J V n ) Ъ .

L 5=о

, и У п 4- n In Г 1 + 2 ( + О ( .- W ) ) J =
L 7=*о J
VI

= — iU
[
Сравппвая с (1), мы видим, что при гс -> оо

(2 >
Остается воспользоваться теоремой пепрерьтвпостп для характеристиче­
ских функций мпогомерных распредслспий (см. [11], стр. 148). <]
Л е м м а 2. Д л я любого г > 0
lim sup Р ((Од (wv) > е ) -*■ 0 (3 )

при Д -> 0 , где ( О д (у) есть модуль непрерывности функции y ^ D ( 0 , l ) i

®д (У) = . sup I /У(t А — у (t ) \.
|<1—12|-<л
Д о к а з а т е л ь с т в о . Не ограппчпвая общпости, мы можем рассмат­
ривать лишь двоичио-рацпональные Д = 2~1. Имеем при m > I

(|wn) < of** -I- 2 m ax (о

h<2m \ Z '
где

<ofl = m ax
ft—i I14
.,771

«(V - - ~ ) - ««P J (^ r) ~ (“)

2m 2771
Чтобы доказать (3), рассмотрим

Р(<вд ( ^ ) > 3 Е) < Р ( с о 1 д” 1> г ) + р ( U i ( < o ( - ^ i . £ ) > « ] ] . (4)

Возьмем здесь первое слагаемое. Нетрудпо видеть, что при I > 3 со­
бытие

28 А. А. Боровков
426 ПРИЛОЖЕНИЕ II

влечет за собой < е ]. Поскольку для дополнительных событий име­

ет место обратное включение, то

... ,
п ^—К ^ — J j есть частота попадания элементов выборки в
интервал длины 2~г. Другими словами, это есть сумма S n случайных вели­
чин в схеме Бернулли с я испытаниями и вероятностью исхода 1, равной
р = 2~т.Так как (см. [11], стр. 105)
М(S n — яр)4= п (р (1 — р)4 -j- (1 — р) р 4) -р Зя (я — 1) р2(1 — р)2< пр |-Зя2р2,
то по неравенству типа Чебышева

{пр Зп2р2) г8 г8 ( Згй

е4я2 е42 'я 1 е422' *
Следовательно, правая часть в (5) не превосходит

'S f— -1 3/8 ( от® , 7°

[ е4я Г е42' V е4я е42 г
/ 171

где с — некоторая абсолютная постоянная { 2 г8 ~ т 9/о прп т ->■ оо,

\г=1
оо \
2 г82~7 ~ 27 2 ~ г при 7->оо 1. Полагая m — 3 Iog2 а, мы получим, что

lim sup Р ( ш ^ ^ е) ^ с —

Зто выражение может быть выбором I (или Д) сделано сколь угодно малым.
Оценим теперь второе слагаемое в (4), не превосходящее

(0)

Событие, стоящее здесь под знаком вероятности, означает при выбран­

ном пг, что па интервале ((А — 1)/я3, А/я3) шириной п~г отклонение
я ( > * (и) — и) от n ^ F ^ i k / n 3) — к/т3) превзойдет Уяе. Так как Уне ^ 3 прп
достаточно большом и, то для этого в интервал ( (к — 1)/п3, А/я3) должно
попасть по крайней мере 2 элемента выборки X. То есть должно произойти
событие {s„ 5? 2}, если воспользоваться снова обозначениями для схемы
Бернулли при р — я -3. Но так как 1 — (1 — р + р )" = (1 — р ) п +.
~\~пР( 1 — Р )п~1 + 0 ( п 2р2), то
Р(5',1 Jji 2) — 1— (1 — р ) п — пр (1 — р ) 11~ 1 = 0 ( п 2рг),
 ФУНКЦИОНАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА 427

Таким образом, (6) пе превосходит п30 ( п ~ 4) = 0 ( п ~ х) — о(1). Это закап­

чивает доказательство леммы. <1
Д о к а з а т е л ь с т в о т е о р е м ы 1. Д ля любого л е / ) ( 0 , 1) положим
|| ж | | = sup | x ( f ) | , /+ (з) = sup /( у ) , f ~ (x) = inf / ( y)
o ^ « l H y - A - jK e I|j/-3 C |1 < E

и обозначим через хй пспрерывную ломаную с узлами в точках (/гД,

х (*А) = хд (А-Д)), к = 0, . . . 1/Д, где Д нацело делит 1. Заметим, что
||ж — Хд|1 (Од(х) (7)'

и что (хд) суть непрерывные функции от вектора (х(0), х(Д), х(2Д), . . .

. . . , х (1)). В силу леммы 1 и второй теоремы непрерывности при оо

tfK W fW - (8)
Кроме того, из непрерывности ю° п функционала / следует, что
I wд — Ыд (w°) -> 0 при Д -*0, (9)>

/ ? ( 1Й° ) ^ / Ю ПРП е - > 0 , (10)

р

Из определения f~ следует, что / ~ (у) / (х) на мпожестве

Ну — sll о. Поэтому
Р (/ (“>") < г) < Р ( / “ К ) < J '«д — ю11! < е ) + Р ( | Юд — ш" f > е) <

< р ( А « ) < * ) + Р ( “ а (“ ") > *)•

Переходя здесь к пределу при п-*- оо и используя (8), (9), получим
lim sup Р (/ ( loп) <; г) < Р ( / Г ( ^ д ) ^ г) + lim sup Р (ы д (ге11) > е). (11)
?1 -» о о П -> о о

Аналогично находим

р ( с К ) < 9 < р ( / в (»”) < 0 + р (“ а (®°) > о .

Подставим теперь последнее выражение и (11) и перейдем к пределу п р в
A-vO. Из (9) и леммы 2 мы получим тогда, что
lim sup Р (/ (ы?п) < t) < Р ( / - (w°) < *).
П -> о о

Отсюда и из (10) вытекает, что

lim sup Р (/ (wn) < г) ^ Р (/ (w°) < t).
П -> о о

Аналогично устанавливается обратное неравенство

Jim inf Р (/ {wn) < t) > Р (/ (w°) < г).
Л -» с ю ^

Полученные неравенства означают, очевидно, что / (u?71) =ф / (ге°). о

Рассмотрим еще одну функциональную предельную теорему для эмпи­
рических процессов, весьма близкую к теореме 1.
Пусть наряду с выборкой X объема п\ нам дана независимая от нее
выборка У объема /г2 из того же равномерного па [0, 1} распределения.
В условиях этого раздела нам удобнее будет эмпирические функции рас-
28*
42S ПРИЛОЖЕНИЕ III

предслепня выборок X н У обозначать соответственно через F *- (?) п

F y (t ). П олож им

Т е о р е м а 2. Если функционал / удовлетворяет условиям теоремы 1,

то при «j ~> оо, Пг -> оо
f (wX,Y)=^f(w°)-
Доказательство. Докажем эту теорему при упрощающем пред­
положении, что

при п -> оо. Имеем

“’.у.г (ч = л / [ К м - 0 - ( 4 (о -4)] =
■ 1Ч 2
= 1/а^.х (*) + V 1 —« ы>у (0* (12)
где и ы ? г (0 — эмпирические процессы, соответствующие выборкам
Л' н Y.
Так как {од (а: + У) ^ сод(я) + w&(l/), то из (12) и леммы 2 сразу вы­
текает аналог леммы 2 для процесса w x , y (?): для любого е > О
lim sup Р (сод (wх у) > е) -> 0.
П-*оо ’
Сходимость конечно-мерных распределении юх , у и w° такж е выте­
кает из (12). Действительно, обозначим через w х у , w x , и>у векторы, по­
строенные по процессам wX Y (t), wx (t), wy (?) точно так же, как строил­
ся вектор ю п по процессу w n (t). Тогда, используя независимость X п Y и
доказательство леммы 1, получим

В остальном доказательство теоремы 2 ничем пе отличается от дока­

зательства теоремы 1. <]

П Р И Л О Ж Е Н И Е III
свойства у сло вн ы х м а тем а ти чески х о ж и д а н и й

В § 2.9 перечислены основные свойства у. м. о. Ниже приводятся до­

казательства этих свойств, расположенных в том же порядке, что и в § 2.9,
la. М(c|/SI)=сМ(|/Я).
lb. М(lL-f =M(gj/И)-1-M
1с. Если ^ I , п. н. , mo M (lj/21) ( l 2/^ ) ” • “ •
 СВОЙСТВА УСЛОВНЫХ МАТЕМАТИЧЕСКИХ ОЖИДАНИЙ 42.)

Чтобы -доказать свойство 1а, надо убедиться, согласно определению

2.9.2, что
4) сМ (1/St) есть Я-измеримая функция,
2) М (сМ (1/St); А) — М (eg; А) для любого А е St.
Выполнение первого свойства очевидно. Второе свойство вытекает из
свойств линейности обычяого математического ожидания (или обычного
интеграла):
М (сМ (1/31); А) = сМ (М {ЦЩ- А) = сМ (1; А) = М (с£; А).

С еойство 1Ь д о к а з ы в а е т с я т очн о т а к ж е .
' Чтобы доказать свойство 1с, положим для краткости 1^ = М (!$/&)•
Тогда для любого А ^ 31
J f ^ P - М ( f t ; А ) = М (1х; Л) < М (12; А) = j g d p ,
А А

J
А

Отсюда вытекает, что I 2— > 0 п. н,

2. Н е р а в е н с т в о Ч е б ы ш е в а . Если g ^ 0, х > 0, то
М (g/St)
Р ( £ > « / « ) < — V ' -

Это свойство вытекает из 1с, так как Р (1 ^3= ж/St) = М где

i A — индикатор события А, н справедливо неравенство V х-
3. Если 31 и о(1) независимы, то M(g/2t) = Mg. Так как 1 = Mg яв­
л яется St-измеримой функцией, то пам остается проверить лишь второе
условие определения 2.9.2: для любого i е й
м ( Ц а )=М(1;А).

Справедливость этого равенства вытекает из независимости случайных ве­

личии 1л и 1 и соотношений
М (1; А )= М ( I I А) = М £ .М /А = |Р ( Л ) —М ( | ; А).
4. Т е о р е м а о м о н о т о н н о й с х о д и м о с т и . Если 0 ^ 1 „ f 1
п. п., го М(1П/Я) | M(g/3t) п. и. Действительно, из l n -н ^ 1л и. н. следует
&71+1 > In н. н., где 1П= М (1П/Я). Поэтому существует St-измеримая 1, та­
кая что!» f i n . н. В силу обычной теоремы о монотонной сходимости для
любого Л е й

\ t ndP -> j £dp, f l ndV -> f gtfP.

Т ак как левые части этих соотношений совпадают, то совпадают и правые.

Это и означает, что g = M(g/SJ).
5. Если I] вещественна и St-измерима, то
M(ilg/St) = цМ (g/St). (t)

Если I] = 1п (индикатор мпожсства В е й ) , то утверждение справедливо,

 430 ПРИЛОЖЕНИЕ III

так как при лю бом Л е й

, j М (/в |/ й ) dp = j i Bi d v = J = J m g /s o d p - [ 1в щ ъ № ) dp.
A A AB AB A
Отсюда и пз лпнейпостп у. м. о. следует, что утверждение справедливо п
для любых простых функций тр
Если 6 О, ц ^ 0, то, взяв последовательность простых функции 0 ^
^ ц n f Ц и пользуясь теоремой о монотонной сходимости в равенстве
’М 01„г/*) = ЧПМ(Б/Я),

мы получим (1). Переход к случаю произвольных | н rj осуществляется

обычным образом — путем рассмотрения положительных и отрицательных
частей случайных велнчпн 6 п rj. При этом для того, чтобы полученные

м164к °о.
разности п суммы имели смысл, нужно требовать существования М 11 [
6. Неравенство Коши — Буняковского
М (1 ,1 ,/я ) < [ м ( 5 5 /и ) м ( 5 | / « ) ] 1/а

доказывается точпо так же, как для обычпых математических ожидапий

(см., например, [11]), поскольку доказательство не использует других
свойств математических ожиданий, кроме линейности.
Неравенство Ненсена
g (М (6/Й)) < М (g (£)/«) (2)

для любой выпуклой вниз функции g вытекает из следующих соотноше­

ний (ср. с [11]). В силу выпуклости g{x), для каждого у найдется число
g i(y ) такое, что
g(x) < g(u) + (* — y )g i(y ).
Положим здесь х — | , у = 6 = М ( 6 / й ) и возьмем у. м. о. обеих частей
этого неравенства. Так как в силу свойства 5
м[(б -1 ) ег (!)/й] = gx (f)M [| -1/й] = о,
то мы получим (2).
7. Формула полной вероятности следует из свойства 8, если в качест­
ве й взять тривиальную о-алгебру.
8. Если й d Slj d то справедлива формула «последовательного ус­
реднения»
М (g/й ) = М (М (S/ й ^ /й ) .

Действительно, для любого т ! е ? 1 в силу того, что ^ e S I f

j* М (М (6/й1)/й ) dP = j* М(6/Йх) dP = j IdP = j1M(g/«) dp.
A A A A

В заключение отметим, что свойство 5 при широких предположениях

допускает следующее обобщение.
5А. Если ц измерима относительно й, ф(со, rj) есть измеримая функция
переменных ю е Й и т) е R H, то
М (ф (<о, -п)/й) = ф (to, т]), где ф (со, у) = IV! (ф (со, у )/й ). (3)
Мы докажем это свойство в предположении, что существует последо­
вательность простых функций т|„, такая что ф(оз, ц „) f ср(со, ц), ф(со, ц„) |
 ФАКТОРИЗАЦИОННАЯ ТЕОРЕМА НЕЙМАНА — ФИШЕРА 431

I -ф(со, г]) п. н. Действительно, пусть iyn = Уь. при ( о е А / , с : й . Тогда

Ф(“ .Л п)= 2 -Ф
k (< о, 0*Н*а-
В силу свойства 5 отсюда следует выполпетше (3) для функций ц„. Оста­
ется воспользоваться теоремой о монотонной сходимости (свойство 4) в
равенстве
М(ф(®. 11п)/Я)==,Ф(<>),'П11).

II Р II Л О Ж Е II II Е IV
ФАКТОРИЗАЦИОННАЯ ТЕОРЕМА НЕЙМАНА — ФИШЕРА

Мы докажем в этом разделе теорему 2.12.1.

Чтобы упростить обозначения, мы будем считать, пе ограничивая общ­
ности, что п — 1 (ведь выборка X может быть многомерной). Кроме того,
ксоответствии с соглашением о том, что вероятностное пространство {8?, ©)
является выборочным, мы будем писать Ре {В) вместо Р е ( Х б В). Размер­
ность статистики S мы будем обозначать через I.
Т е о р е м а 1. Пусть выполнено условие (Лм). Статистика S является
достаточной тогда и только тогда, когда существуют неотрицательная изме­
римая по s e l l 1 функция ^ (0 , s) и неотрицательная измеримая по xe.SH?
функция h(x), такие что

^ = "717 ^ = ^ S^ h^ п*в' ^
Доказательству теоремы 1 мы предпошлем два вспомогательных ут­
верждения. Введем в рассмотрение
У с л о в и е (D). Семейство & = {Ре}е-=в удовлетворяет условию (А*)
(т. е. доминируется мерой л ), где вероятностная мера л имеет вид

ч > о . ' 2 ч - ‘-
i i
Т е о р е м а 2. Условие (А,,) необходимо и достаточно для выполне­
ния условия (D).
Д о к а з а т е л ь с т в о . Необходимость очевидна. Докажем достаточ­
ность. Не ограничивая общпостн можно считать, что р — вероятностная ме­
ра. Действительно, вместо р всегда можно ввести меру

* 2'('№ )
где {В) образуют разбиение пространства .86, такое что p ( # j) <
/ = 1, 2, ..._
Пусть & есть класс всех вероятностных мер вида Р — 2 е
•с{> 0, ^ с{ — 1. Очевидно, & cz<P и & такж е удовлетворяет условию (А,,).
Обозначим р — с/Р/с/р н рассмотрим класс © множеств С е й , для ко­
торых существует Р & 5 9, такое что р(х) > 0 п. в. па С, Р(С) > 0 . Пусть
С и С-i, . . . — последовательность множеств из 6, такая что
Р (Ci) SUP в (О -
се©
432 ПРИЛОЖЕНИЕ IV

Так как Ct е то существует РВ) е S3 такое, ■что p (i> = > О

dj.i
п. н. на Ci. Положим

с0= и cv р(о) = 2 cip(i)>

i
= 2 ciP(i)
i

2
п р и к а к п х -п и б у д ь С |> 0, Очевидно, что р (0> > 0 н а С0 и, стало
быть, С0 е
Мы докажем утверждение теоремы, если установим, что Р (0>(Л) = 0
влечет за собой Р(Л ) = 0 для всех Р е Л Это будет означать абсолютную
непрерывность Ре относительно Я — Р (0) и выполнение условия (D).
Итак, пусть Р<0>(Л) = 0 , и Р есть любой другой элемепт 9*. Обозначим
С = {ж: р(х) > 0}. Требуемое утверждение будет вытекать нз следующих
трех соотношений:
Р (Л С0) = 0, Р (А С0С) = 0 , Р (А СоС) = 0,
где Б означает дополнение к В. Первое нз этпх соотношений вытекает из
того, что Р<°>(ЛС0) = 0, р<°>(х) > 0 па С0 и, стало быть, р(ИС0) = 0 . Вто­
рое следует из того, что р(х) = 0 на С. Чтобы доказать _третье соотноше­
ние, допустим, что оно неверно. Тогда, полагая R — АС0С, мы получим
р (R) > 0, \х (Со U Я) — р (Со) > 0. Но это противоречит равенству
р ( С ) = sup р (С),
07 С'<=©
поскольку С0 е В е ©, С0 U И е <3
Итак, мы установили, что при выполпешш условия (Л^) существует
мера Я, при которой выполнено условие (D).
Т е о р е м а 3. Статистика S является достаточной тогда и только
тогда, когда существует измеримая функция ge(s), такая что
d P fl
(х) = £ 6 (S (х)) п. в. [Я]. (2>
с1К
Доказательство. Для любого измеримого В cz R1 обозначим
{В) = (я <= 9?: S {х) е В) е и рассмотрим распределенпе G9 н а
В 1 статнстикп S, индуцированное распределением Р 0:

Gq ( B ) = J Ре(^)= J fjL (x )l(d x ).

S -!(B > S~4B)

Рассмотрим такж е распределение

v (В) — J Я{dx).
S~4B)

Ясно, что Ge абсолютно непрерывно относительно V, так как х(В) ~ 0 вле­

чет за собой Ge (В) = 0. Поэтому существует измеримая по s плотность
#е(«), такая что
Ge (В) = f ge (s) v (ds).
в
Предположим теперь, что S — достаточная статистика и, стало быть,
существует вариант условного распределения P(A/s) = Ре (Л/ S (х) = s ) , пе
зависящ ий от 0. По определению условного распределения, для любого
 ФАКТОРИЗАЦИОННАЯ ТЕОРЕМА НЕЙМАНА — ФИШЕРА 433

Ло е о (6') выполпеио
J Р (А/ S (ж)) Р 0 (dx) = Ре (*4 П А0).
А0
Отсюда следует также, что
Р (А/ S (х)) Я (dx) = Я (Л П Л0).
Ап
Это означает, что P (A/S) является одновременно условной вероятностью от­
носительно распределения Я. Мы обозначим эту вероятность как у. м. о.
Ел ( / д / 5 ) индпкатора 1 а .
Из (1) при А 0 = R 1 получаем в силу свойств у. м. о.
Г 0 (А) = j Р (A IS (х)) Р 0 (dx) = МВР (A /S (X)) =

= . f Р (A/s) G0 (ds) = j* P (A/S) ge (s) v (ds) = J P (A /S (x)) ge (5 (*)) Я (d x )=

- J Ex ( / д / 5 (x))gre (5 (x)) Я (dx) = J E?u( / Affe (5 (x)}/5 (x)) Я (dx) =

= j I Ago (5 (*))*> (dx) = j ge(£ (*)) Ь (dx)'

A
Это и означает, очевидно, (2).
Предположим теперь, что выполнено (2). Мы докажем, что у. м. о.
Е>. (IA / S ) , соответствующее распределенпю Я (опо не зависит от 0), яв­
ляется одновременно у. м. о. Ре (А/S) для всех Ре е
Для фикспрованпых А п 0 введем меру ■у на », определив ее равен­
ством
■у(С) = Р е (ЛС), Се =» ,
так что d'y/dPe = 1л, dy/dX = I a g e (5 (x )).
Для любого С е о (5) имеем
С) = f / ДРe(<fa) = М „ГА/ С= Ме/ сМ„ (/д /5) = f Ме (7д /5) ре
С С

Следовательно, если Y, Ре, Я рассматривать как распределения на 0 (5 ), то

М0 ( W 5)’

i = ме ( I A/S) - Л = м 0 (1A /S ) г0
Аналогично в силу (3) на о (5)

= Е г. ( / д г е (S)/S ) = <r„ (S) Ег, ( / д /5 ).

Отсюда следует, что Я-почтн наверное (здесь и ниже мы снова под Я и

Р 0 понимаем распределения на о (S))
Щ ( / д / 5 ) gg (5) = Е? ( /д / 5 ) ?q (5). (-5)
Воспользуемся теперь свойством (С), в силу которого выполнение (4)
Я-п. л. означает выполнение этого соотношения Ро-п. п. Кроме того,
434 ПРИЛОЖЕНИЕ V

I V П . Н.
d P fi
gQ(S(x)) = ^ ± {Х )ф 0 .

Следовательно, Ре-п. п. справедливо

Ре (Л/5) = Ме ( / А/ 5 ) = - Е , ( / А/5 ) .

Это означает, что не зависящ ая от 0 величина Е^ ( I A/S ) может быть

выбрана в качестве условной вероятности ¥ e (A/S). <3
Д о к а з а т е л ь с т в о т е о р е м ы 1. Если S — достаточная статистика,
то (1) следует из теоремы 3, так как

dX
где следует положить gQ(s) = гр (G, s), (х) — h (х). Обратно, если спра­
ведливо (1), то
f/P
-щг = 2 с* ~ щ г ~ (0р 5 t o ) h to = r (s t o ) h to-
Поэтому, если r(S (x )) > 0, то
, ф ___ (6, S (x))
dX dp, dX г (S (я)) *
dP0
Если r ( S ( x ) ) = 0 , то - (x) можно определять произвольным образом,
оА
так как Я-мера и, следовательно, Ре-мера множества таких точек х равиа
нулю. Полагая £e(s) = \|)(0, s)/r(s) и применяя теорему 3, мы получим, что
S — достаточная статистика. <]

П Р И Л О Ж Е Н И Е V
ЗАКОН БОЛЬШИХ ЧИСЕЛ П ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА.
РАВНОМЕРНЫЕ ВАРИАНТЫ

1. Закон больших чисел в схеме серий. Рассмотрим последовательности

п}а= 1’ н= 1> 2, независимых одинаково распределенных векторов
в схеме серий (распределение п зависит от п) и предположим, что

П
Обозначим t n ~ 2 ^ п1
h=I
Теорема 1. Пусть
,гМ| Sft.nl = йп < я < 00’
,гМ(1 £ л ,эт|; lSft.nl > т) - ^ ° - (1)
при п —*■оо при любом х > 0. Тогда для любого е > О
Р ( |5 » | > е) 0-
 РАВНОМЕРНЫЕ ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ 435

Доказательство. Рассмотрим срезки %'к п случайных величин

Ъ . п на уровне т:
, = fSft.n* сслп
h'n [0, если J 1,ип | > т.

В силу условия (I)

= ^ ( | *1,п I > Т) ^ I %1,11|! I ^l,n I -> Т) ~

= о (1/п), Mg' n = o (1/л),

< хМ ( I E i,n И 5 i,n I < т) ~ * Ы " ~ м ( 15i ,п I; I E i * | > t) ) -

Поэтому при любом е > 0 и достаточно больших п

М ( & ' п у < 2ат/«, D ^ >n< 2 « T / n , n M ^ n < е/2,

п
Полон?им £п = 2 п' Тогда при достаточно больших п
5=1

Р ( I с„ | > е) < Р ( д ф £м ) ) + Р ( | С | > е ).

Здесь первое слагаемое не превосходит нР ( l i (n Ф ^ п )== о (1). Второе

слагаемое не превосходит
Р ( | С п ~ М £ п | > е/2 ) < 4 D C ' / е 2 < 8 а т к 2.

Так как т произвольно, то для любого задаппого е > О получснпое зва-

чепис может быть сделано сколь угодио малым. Выбирая теперь достаточ­
но большое п, мы и всю вероятность Р ( | £ Т1| > е ) можем сделать сколь
угодно малой. О
2. Центральная предельная теорема в схеме серий. Здесь мы будем
предполагать, что

M6jf» = 0 , М | ^ , г| 2 < о о .
п
Ооозначкм <7^ Kji &j,n*
5=1
Т е о р е м а 2. Пусть выполнены условия Пиидеберга

,г|У ( | ^ 1 ,тг|2 *» 1 ^1,77 | > X) 0

при п оо и любом т > 0. Тогда, если о2, то

^ ^ Ф0,а2‘
С л е д с т в и е 1 (обычная центральная предельная теорема). Если
£ь • — последовательность независимых одинаково распределенных
43 6 ПРИЛОЖЕНИЕ V

векторов, Mg/t = 0 , о2 = < °°» sn ~ 2 »ft’ 70 пРи п ~^ 00

ь=г
Ф 0.
У» °’°
Это утверждение _является следствием теоремы 2, так как случайные
величины п = ife/Ун удовлетворяют ее условиям.
Д о к а з а т е л ь с т в о т е о р е м ы 2. Рассмотрим характеристические
функции

Фп (0 = М е ^ п\ Фп («) = Мв*№ ) - ф" (0.

Д ля доказательства теоремы нам надо убедиться, что при любом t

Фп (0 СХР Т }
при п —*■ОО.
Воспользуемся одпомерным вариаптом теоремы. 1, доказанным в [И ].
Функции ф п (0 п фи (0 можно рассматривать как характеристические функ­
ции

(г,) = Meir -i,n ц ф(0) (и) = М ег'^ п

случайных величин | “ п = (Е ^п’ ю) ’ = (Еп’ w)» ГДе со = v = |f |.

Покажем, что скалярные случайные величины п удовлетворяют услови­
ям теоремы 1 для одномерного случая. Очевидно,

М
Е“п—
0, пМ(|®п)2==иМ(gj>п,о))2=соо2сот соо2о>т.
Выполнение условия Линдеберга следует из очевидного неравенства
»м ((5 i,n ’ tt) 2: I (?!,« ’ ©) | > т ) < nM ( | l l n J2; | l , i n | > т ).

Таким образом, для любых v п со (т. с. для любых t)

Фп (г) = M eil>5'w ехр | — -А- Л Л * } = ехр j — -А- /о 2*т . <1

3. Равномерные предсльпые теоремы для сумм случайных величин, за­

висящих от параметра. Мы докажем в этом разделе теоремы 29.1, 29.2.
Пусть X Р е , а (х , G) — задапная измеримая функция 86 X В R 1,
, П
sn (0 )= 2 a (xi ’ 0)-
i= i

Мы будем говорить, что интеграл а (б )= J а (х, 0) Р е(с/.г) сходится равномер­

но по G в области ©о с ©, если
snp j1 I а ( х , G) | Р е (c?.r) ->-0
6e0n |a(x,&)|>lV
npn A* -*■ oo.
 РАВНОМЕРНЫЕ ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ 437

Т е о р е м а 3 (равпомерный закон больших чисел). Если интеграл

a (G) = j* а (х, 0) Р 0 (dx) сходится равномерно по 0 в области 0о ci 0, то

s«(°)

равномерно по О е ©о.
Сп(0) = —7 Г ' - а (°)->0
11 Ро (2)

Д о к а з а т е л ь с т в о . Допустил!, что (2) не имеет место. Тогда най­

дутся е > 0, б > 0 и последовательность 0„ е ©о, такие что

р
м
г( »(0« ) к к ,
— — I > е; > 6 (3)
при всех п.
чины
Рассмотрим случайные величины
а (ХР °«) - Я(°п)

Мструдпо видеть, что они удовлетворяют условиям теоремы 1. Действитель­

но, положим А п = (х: \а{х, 0п) — а( 0п) | > т»}. Тогда
пМо I gi I < 2 в = 2 sup Г | а (х, 0) | Р н (dx) < оо,
ш ' Ge©0 ^

,гМеп ( I h , n |; I 5jt„ I > т) - J | в (X, 0П) - а (0„) | P e?i (dx) -> 0.

Последнее соотношение следует нз равномерной сходимости интеграла

а (0) и неравенства Чебышева
меп | 51(П| ' 2а
Р еп (А г) А ~ —
тп -> 0.
Сказанное означает, что последовательность gj, „ удовлетворяет закону
больших чисел:

(IIs"» Н
.7= 1

для любого е > 0. Это противоречит (3) л доказывает теорему. <]

Перейдем к центральной предельной теореме. Пусть М e«(xi, 0) = 0.
Положим о 2 (0) = I Gjj (0) || = М0ат ( Xj , G) а ( х ^ 0) и обозначим через
д ;(.г. 0), 7 = i, ... , I, коорднпаты векторов а(х, 0).
Т е о р е м а 4 (Равномерная цептральпая предельная теорема.) Пусть
интегралы о (0) — М0а 2 (х х» 0) сходятся равномерно в 0 Ос: 0 , т. е.
sup а ■■(0) < оо,

(*>
sup м 0 (a) (XV 0); | а5 ( х ^ 0) | > N) ^ 0

при N -> оо. Тогда

JnW {
Ф 0.а2(0) (5)
УТг
при 7 ? -> -o o равном ерно по 0 s © о.
438 ПРИЛОЖЕНИЕ VI

Д о к а з а т е л ь с т в о . Невыполнение (о) будет означать существова­

ние последовательности 0 П е 0 о, для которой суммы случайпых величин
li. п = а ( х }-, 0 П)/У« не будут по распределению сб л ткаться с Ф „л .
® »° (® « )
В силу компактности замыкания {о2(0), 0 е 0 о} последовательность
в и молено считать выбранной так, что для некоторой матрицы о2

о*(в„) = » м вД в Е 1 , „ - о !. (С,)
п
Тогда наш е допущение о невыполнении (5) будет означать, что 2 п
н е будет сближаться по распределению с Ф 0. Но это невозможно в
о,о •
силу теоремы 2, так как %}, п удовлетворяют условиям этой теоремы. Дей­
ствительно, в силу (6) достаточно проверить условие Линдеберга. Для мно­
жеств Ai, п — { i а ;(х ь 07г) | > тУп/l) находим
1оц (О)
sup P e M i n ) < sup 3— -»-0
es0 o J e*=0o лт-
i .
яр и n —
> oo. Используя тот факт, что { | 5 i , » l > T }<= U A i, получаем
i= l ’

"м в „ ( |Е ,,И 3М 5 , , п | > Й < 2 м е „ ( » ? ( Ч '0 Л ;Л ,п )- > )

ijt—l
Здесь М0 0П); }1) 0 в силу равномерной сходимости интегра­
ла о.н(О). Если i Ф к, то, полагая Z?*, К = { j a,(X[, 0„) | > N}, полу­
чим

м еп ( й!; A .n ) = Me „ ( “f ; \ , n » UN) + м 6п(«?; А , А Д -

Здесь для заданного е > О можпо выбрать N так, что первое слагаемое
в силу (4) будет меньше е. Вторбе слагаемое не превосходит A'’"Pq (Ah п) -*■ О
при п~>оо. Это означает, что (7) сходится к пулю при п-*-оо. <3

П Р И Л О Ж Е II И Е VI
НЕКОТОРЫЕ УТВЕРЖДЕНИЯ, ОТНОСЯЩИЕСЯ К ИНТЕГРАЛАМ,
ЗАВИСЯЩИМ ОТ ПАРАМЕТРА
1. Теоремы о сходимости интегралов, зависящих от параметра. Пусть
у ) ) — семейство измеримых функций, заданных на измеримом про­
странство с мерой v на нем. Нас будут интересовать условия, при
которых
j Ф (*. У) v {dy) -+ J ф (0, у) v {dy) при t 0. (1)

Пусть {А (г) = A ( t , 0), г е ©} есть некоторое семейство множеств из

Мы обозначим через I а ц ) индикатор A{t) и через A {t) — допол­
нение к Л (О-
Следующее утверждение является пекоторым обобщением известной
теоремы Лебега,
 ИНТЕГРАЛЫ, ЗАВИСЯЩИЕ ОТ ПАРАМЕТРА •439

Т е о р е м а 1. Пусть семейство {/!(£)} таково, что

1) Ф (*» У) IA(t) (tf) Ф (б> У) пРи * ->- 0 для п. в. [v] значений у, для кото­
рых \J: (0, у) Ф 0.
2) sup | Ф{t, '/)/А(()(.7)|^Ф(у). где ч]? — интегрируемая функция:

[ф(г/)г(<7(/)<оо.
Тогда для выполнения (1) необходимо и достаточно, чтобы
( Ф (*. у ) 1 д {1) (у) v Ш -*■0 пРи 1 0- (2>

Д о к а з а т е л ь с т в о . В силу теоремы Лебега

j Ф (*> У) /д(*) ( У) v (dy) J ч|? (G, у) v {dy).

Так как
J 4 = j V A+ j V 3 .
то (1) эквивалентно (2). <1
Если j* г}) (0, у) v (фу)
существует, то в качестве множества A (£) для
п. в. [V] непрерывных ф(£, у) можпо использовать множество
A(t) = (у: у ) | ^ 2 | ф ( 0 , т/) | } ,

как это делается,, например, в следующем утверждении.

С л е д с т в и е 1. Пусть л (ж) — любая измеримая ограниченная функция
S6“ — /?, / 0 (ж) непрерывна по 0 для /7. в: [ц ?|] значений х ^ 8 ? пш Тогда
(функция
Мел (X) = j я (ж) / 0 (ж) р?г (Фг)

непрерывна по 0.
Д о к а з а т е л ь с т в о . Используем теорему 1 при ‘У = 9?п , у = х т
V— р п , -ф (*, ж) = л (ж) f t (ж), Л (I) — (ж: f t (ж) < 2/0 (ж)}. Очевидно,- что ус­
ловия 1), 2) выполнены. Так как для я (ж) = 1 функцияМ ея(Х ) == 1 непре­
рывна, то выполнено (см. (2))
\ f t (ж) цп {dx) -Ь 0
хтли)
при t 0. Но по теореме 1 отсюда следует непрерывность М0я {X) для
любой ограниченной функции я. О
Если речь вести лишь о достаточном условии для сходимости (1) в слу­
чае т|:(£, у) г)Д0, у) и. в. при I -*■ 0, то в качестве такового можпо исполь­
зовать равномерную сходимость интегралов в (1). Последнюю можно опре­
делить как существование конечной меры А, такой что неравенство
ц л ) < б = 6(e) влечет за собой sup ^ |i]'(f, у)|v (ф /)< е для заданного е > 0.
1 А
Если существует интегрируемая мажоранта ф (//) = s n p ф(г, у), то та-
t
кая мера А всегда существует: достаточно положить А (Л) = ф (»/) v {dy),
А
2. Следствия условий (В). Мы докажем здесь лемму 2.16.1 и равном
ную сходимость интеграла 7(0):
sup М0 ( | V (ха, 0) I2; i V (хх , 0) | > N ) '-*■0 , (3>
G '
ш ПРИЛОЖЕНИЕ V I

при N-*- оо (именно такая равномерность имеется в внду в §§ 2.24, 2.28,

2.29). Так как рассмотрения для одномерного и многомерного параметра
практически не отличаются, то мы в этом н в следующем разделе ограни­
чимся изучением одномерного случая.
Т е о р е м а 2. (Лемма 2.16.1). Пусть выполнено условие (/?) и S =
— S(X) естьлюбая статистика, для которой MqS" < с <Z со при 0 = 0.
Тогда в равенстве
as (0) = М 0 (S) = J 5 (х) / 0 (х) рп (dx)

возможно дифференцирование под знаком интеграла:

*5 (6) = J 5 (х) /в (аг) iin (dx) = М qS L ' (X, 0), (4)

при этом функция as (0) непрерывна.

Д о к а з а т е л ь с т в о . Заметим, предварительно, что нз (4) при S (х) ==
see 1 и в = 1 следует, что

J /е И Д ^ х ) = 0. (5)
П
Т ак как V (X, 0) = У] V (х,-, 0) есть сумма пезавпепмых случайных вели-
i=l
чип с пулевым средним (см. (5)), то
DqL ' (X, 0) = М0 ( V (X, 0))2 = нМе (V (х1? 0))2 = п1 (0). (6)

Предположим теперь, что функция

/ « (6) = Ме {L' (X, 0))2 = 4 ] “( / М ^ ) ' ) 3 [in (dx)

непрерывна по 0 (мы еще ис можем пользоваться (6)). Воспользуемся тео­
ремой 1 при ‘У — , v — р.п, ф (t , х ) —( ]/"f t (х) ) 2, б = t — 0,

А (I) = А (б) = [х: sup Y f v (х) с 2 Y /е И >

I 10—ri<l6l
sup I Y f v (« )' I < 2 I У f~Q(x)' Ц. (7)
t?: |0—c| <| 61 1 I го ‘J
Условия 1), 2) теоремы 1 при -ф (х) = 2ф (0, х ) в силу непрерывности функ­
ций Ун VU выполнены. Поэтому из сходимости / п ( 0 к / »( 0) при
i-* -0 мы получаем (см. (2)), что при t - + 0

е (f) = j { Y U (*/)* *иП ^

*5^(6)
Аналогично тому, как это делалось в следствии 1, мы получаем отсюда
непрерывность j S (х) f'Q (х) un (dx). Чтобы убедиться в этом, надо вос­
пользоваться теоремой 1 «в обратную сторону» при тех же множествах
/1(£) и ф (t, х) — S (х) / ' (х). У с л о в и я 1), 2) теоремы 1, очевидно, будут вы­
полнены (ф (х) = 2 | S (х) /q (а;) |, J ф (х) р п (dx) < 41У!е5 2 [ { Y h И ) 2 х
X p n(<&c)j. Выполнение (2) обеспечивается (8) и только что приведенным
неравенством, в котором интегрирование иадо вести но множеству хф. А (б).
 ИНТЕГРАЛЫ, ЗАВИСЯЩИЕ ОТ ПАРАМЕТРА 441

Обратимся теперь непосредственно к доказательству (4), Заметим, что

1
{ (J s W “~ J «#“)= j J =
О «
1
= J J 2S V T ^ b i У Т ^Г б )' * ч л
0

Воспользуемся снова теоремой 1 при Щ — Я X 8?ni у ~ { ц , х ) , v = к“ X Ц"

(А — мера Л ебега),ф (б, у) = 5 (х) f'0+u6{x), б -*-0, Л (б) = Л ,(6 ), где Л,(б)
определено в (7). Опять из непрерывности V h И и V h (* )' следует
выполнение условий 1), 2) теоремы 1:
^ (6, у) / Л(б) ( x ) - * S (х) f'0 (х) = ф (0, у) п ри 6~>0,
sup j ф (6, у) / А(6) (a?) J < 4 S ( x ) | f Q
‘ (х) [,

где в силу неравенства Коши — Буняковского

Таким образом, для доказательства (4) яам надо проверить условие

(2)'. Оно вытекает из неравенства Коши — Буняковского и соотношения (8);
1 I
^ J*5 V^fti+иб)

при б —*■0.
Итак, мы доказали (4) в предположении, что 1п (6) непрерывно. Но
при п — 1, / п (0) = /( 0 ) , и это предположение выполнено в силу Условий
(Я). Стало быть, (4) верно при п = 1 и, стало быть, верно (51. Но из (5)
следует соотношение (6), означающее непрерывность /(о ). Теорема
доказана.
Т е о р е м а 3. Если множество 0 компактно, функция у / е (х) для
[р] п. в. значений х непрерывно дифференцируема по 0, то непрерывность
7(0) имеет место тогда и только тогда, когда выполнено (3).
Теорема означает, что непрерывность 7(0) в условии (Я) можно заме­
нить условием (3).
Д о к а з а т е л ь с т в о . Допустим, что /(0 ) непрерывна, а (3) не вы-
чолпепо. Тогда существует ' у > 0 , и последовательности г - + 0 е 0 , N t «о,
29 А , А . Боровков
442 ПРИЛОЖЕНИЕ VI

такие что
т (t) = МJ | V (х2, t) j2; V (х ; , t) > TVj > f (9)

при всех t из выбранной последовательности. ____

Воспользуемся теоремой 1 при ^ v = р, tj) (t, х) = ( j / / f (.г)7) 2 —

= 4" 4 (*) = 1ж: I V h I IV h 11 • в СИЛУ непре­

рывности (х)'условия 1), 2) теоремы 1 выполнены и, следовательно,
из непрерывности I(t) будет вытекать, что

»4 (О = f | У л (-т)л |2р ( ' 0

х<£А(1)

при f-> 0 . Но rn(t) m ,(f) + m2(t), где

«2(0 = j* (У7Г)2^ Л(1)Н*: 2| Ум*>'1>ж* Ум*)]-

В«)ПЖ«
Из вида множества Л(^) следует, что-

m2 ( f ) < 4 j* | У / е' |2р.

Б(0
Используя опять СХОДИМОСТЬ ( У / t и ) '- * * ( / / о ( * ) У . У м * ) - > У м * )
при £ -> 0 , мы получаем, что B it) сходится к множеству р-меры 0. Это зна­
чит, что р (В (£))-►• О, гтг2(^)'—^ 0, при £-> оо. М ы по лужи ли проти­
воречие с (9). Соотношение (3) доказано.
Пусть теперь выполнено (3). В силу теоремы 1 для доказательства не­
прерывности /(£) нам достаточно убедиться, что при том же, что и выше,
множестве A ( t ) выполняетсялпДг) ->0. при t - ^ оо. Но

т 1 (f) < f I V I2/ # + /У2 f /#>

I v |> i V X$£A(t)
где первый интеграл выбором N может быть сделан в силу (3) сколь угод­
но малым. Для оценки второго интеграла заметпм, что \i(A (t) ) -> 0 п что
нри C(t) — {.т : f t (x) <с: 2/е (ж)} выполняется j и * -> 0 при £->0
К^СЫ)
(см. доказательство следствия 1). Поэтому
J /Д 1 < 2 J / 0р + j /^->0
x&A(t) . x<£A(t) xt^C(i)
При £ -> 0 . <3
3. Следствия условий (RR).
Т е о р е м а 4. Если выполнены условия (R R ), то J /о (*) Р (dx) = 0.
Вместе с теоремой 2 это обеспечивает выполнение нужных нам
в § 2.24 условий (2.24.4).
Д о к а з а т е л ь с т в о . В силу теоремы 2 при всех О е 0

j /е (*•) Р idx) = 0
и пам достаточно доказать, что при £-> 0
 ОТНОШЕНИЕ ПРАВДОПОДОБИЯ В МНОГОМЕРНОМ СЛУЧАЕ

Заметим, нто ^ ( 4 - Q = % l,+ А - А А . г

Пользуясь этим равенством, мы можем /(£) представить в виде суммы че­

тырех слагаемых J(t) — l x- f / 2 + / 3 -f- / 4, где

Л = J Ф*/#» у2 = j Фг (/« - /е) V’

J / 4 = Л - Д у (1.

/ = Z(x) есть мажоранта для Z"(t, f) в условиях (RR). В силу теоремы 2

яри п — 1, 5 (ж) = Г (.т, 0) получаем

•Т = Г = о ( м <‘' ( ,11' е) - м 1|''( Н ’ в) ) ^ ме (г'{ Ч ’ в))а = / (0)- <*0)

Далее,
Ш <1 (И)
и, стало быть, по теореме Лебега

lim / = \ lim ф4/ ер = Г Г / ер = Г /е й — / (0 ). (12)

t-*o a t-»o v j

Используя опять (11), получаем в силу условий { R R )

\JA< J lft^+f73*/V /> А

пря Л7 оо. Наконец, в силу иеравепства Коши — Буыяковского
t t
К 2 1 < Л' ] | Л ~ h \ V < N J VTTfidu-* 0 (13)
о e

п р и 7 - > 0 . Сопоставляя (10) — (13), мы получим, что 0 =/(f)->-j* f ^ i . <]

П Р И Л О Ж Е Н И Е VII
НЕРАВЕНСТВА ДЛЯ РАСПРЕДЕЛЕНИЯ ОТНОШЕНИЯ
ПРАВДОПОДОБИЯ В МНОГОМЕРНОМ СЛУЧАЕ

В этом разделе будет доказана следующая теорема (теорема 28.2; обо­

значения см. в §§ 2.21, 2.23, 2.28).
Т е о р е м а 1. Пусть выполнены следующие условия:
г (и)
i n f — 2~ > е ( 0 ) > о , - . (1)
V. и
М в1' ( х 1 ’ G ) = 0 . (2)

у = s u p M e | V ( х х , 0 ) |s < оо (3 )

29* ' •
444 ПРИЛОЖЕНИЕ V II

при некот ором $ > к. Т о гд а при лю бы х z, п 1

P fi ( sup Z (ь7"[/n) ^ cy(e z -j- e 2) e

\l v\>r )
где P > 0 зависит лишь от к и s, с < оо зависит от /с, я и ff(0) и может
быть выбрана независящей от g (0 ), если g(B) > g > 0 при всех 0.
Нам понадобятся несколько вспомогательных утверждений. Через с„,
ел, я мы будем обозначать различные постоянные, зависящие лишь от сво­
их индексов.
Л е м м а 1. Пусть к — 1, 2, . . . , независимы и одинаково распреде­
лены, О, М | ^ |* < у <; оо, 2. Тогда

М 2 < сЛ’п*'2,
ft=x

Д о к а з а т е л ь с т в о . Для упрощения рассуждений мы ограничимся

рассмотрением случая, когда s — 2m есть целое четное число*). В атом
случае достаточно рассмотреть скалярные случайные величины Имеем

М 2 5* = 2 (4)
h=l ft j,...,ftn

где суммирование ведется по всем целым А-,, А„, таким что 2 /‘Ч =
г
= я, ^ 1 = 1 исключаются, так как = 0). По неравенству Гельдера

л'ч/* _ ,*/'/■
и, стало быть,
h;/s
П K jl< n v = у.

Нам осталось оценить 2 Обозначим (/ь ?f,) ненулевые элемен-

ты (/, ^ 2) набора (А1? *, . , Ап) ^ 2 гj = -Тогда оцениваемая сумма будет

равна 2 Ар, где А р есть число располонсений элементов 1Р но

п местам. Очевидно, что Л р ^ . п ( п — 1) (п — р - f 1). Самое большое

возможное значение р равно m — s/2 (оно соответствует набору (2, 2, . . .
. .. , 2)), так что А р ^ А т ^ пт. Но число различных наборов (1и 1р)
зависит только от s. Следовательно, оцениваемая сумма не превосходит
с,п ш. <
Положим р(и) = Z 1/*(k).
Л е м м а 2. При выполнении условий (2), (3)

Ме I р' («) Is < csy n s/2.

*) Доказательство в общем случае см., например, в [31], с. 255.

 ОТНОШЕНИЕ ПРАВДОПОДОБИЯ В ННОГОМЕРЦОМ СЛУЧАЕ 445

Доказательство.

М
01р =М0|Д-U(X, +и)Z1'8(и)
(и) Is 0

= s- ° Му 1 V (X, 0 + и) |sz (М) = *“ *Ме+и 1 V (X, 0 -I- U) |».

Остается воспользоваться леммой 1, применив ее к случайным величинам

I* = l'(Xh, 6 Ч~ и). <]
Л е м м а 3. При выполнении условий теоремы 1

М0 \ Р (« + v) — р(К) Is < | v |'с яуп */а»

где с т о же, что и в лемме 2.
Д о к а з а т е л ь с т в о . В силу неравенства Гельдера я леммы 2
1*1
М0 1Р (» + v) — р (и) Is = М0 | [ р' ( и + t v /1 V I), v / I v I ) d t

= | 17 I® М 0 J ip' (u-\- hv), v/\ v\ ) dh < | v \* \ Mo | p ' (u -{- hv) Is dh <

о
< I у Is csy n s/2, <]
Обозначим K u, д куб в R h со стороной длипы Д н е вершиной в точке
и = (ии . . . , u ft):
К а, д = {v е R h: и, ^ и, ^ Ui + Д, i = 1, . . А}.
Л е м м а 4. При выполнении условий теоремы 1

Ре ( sup Z ( с /] /л ) суД,{ (e~z' 2 -j- е~ г) e_ M 20£(0)t

\г'(=КиЛ )

где постоянные с < оо и {} > 0 зависят только от к и s,

Такая же оценка будет верна для любого куба со стороной длины
Д, содержащего точку и.
Д о к а з а т е л ь с т в о . Точку v е К п, д представим в виде v = и + /А,
где t ^ Ло, 1. Для координат вектора f воспользуемся двоичным разло­
жением
00 х
,. = у i ,
1 ^—1 2Г
Г
где все б ,г равны либо 1, либо 0. Положим

а,
‘Г = 2 - 7 7 - ’ *т = С*Г- ---■ *” )• i0 = 0. (5)
Г—1
так что Р" есть двоичное приближение П | г — t m\ < 2“ my / ~
/ у \ / л -(- £Д N
Обозпачим ф (0 = j . Тогда

СХ)
ф (/) = ф (о) + 2 (<р Н — ф О”1-1)).
7П = 1
4 46 ПРИЛОЖЕНИЕ V II

Точки и назовем соседними, если их представления (5) отли­

чаются лишь одним нз чисел 6im, 6km. Ясно, что если для любых двух
соседних точек
I* ( '« ) - * ( « ) ) ! <6>
то | ф(^га) — q>(tm~ l) | < ст. Стало быть, если (6) выполнено для всех со­
седних точек при всех т и при ст = «( 1 — q )q m, q < 1, н, кроме того,
Ф(0) < « ( ! - ? ) , - (7)
то
оо

ф ( 0 < s * а - д ) я т = *>
771=0 ~ ( 8)
sup Ф (0 < «•
1=К0,1
Обратимся теперь непосредственно к утверждению леммы. Нам надо
оценить
Pfi ( sup Z {v,' V n) > е*\ = p e ( sup - ф {t) ^ a \ (9)
J )
при a = ez/s. Неравенство, стоящее под знаком вероятности, означает на­
рушение (8) и, стало быть, влечет за собой нарушение одного из неравенств
(6), (7). Следовательно, вероятность (9) оценивается суммой вероятностей

°° / \

Ре(9(0)>о (1- ,))+ 2 2 ре(If('«)- Ч1(‘S))l> ”(1у|)?та) ’(Л)>

где последняя сумма образована k(2 m) h слагаемыми, соответствующими
всем возможным парам соседипх точек t^ и t™2y Так как j — t™2) | =
= 2-тп, для каждой такой пары в силу леммы 3 п неравенства Чебышева

:[yTi2m ) C" v*
Следовательно, двойная сумма в (10) будет оцениваться значением
ОО
2 2 - n ( s - h\ - m\ ( 11)
m—i
h—s
Выберем q— 2 2S < 1 . Тогда ряд в (11) будет сходиться, и все выражение
(11) будет иметь вид CA,*^Asa~®. Первое слагаемое в (10) оценивается в
силу теоремы 2.28.1 и неравенства Чеоышева:

Р0 (ф (0) > а (1 - q)) = Ре {Z1^2 (и/ V n ) > (а (1 - q) f 2) <

' ' < (й (1 — q ) ) - s/2 е - 1 и 12 ^ е )/2.

Полагая Д=е ЯП2£Г(0), С4*># упитывая, что а~а — е~1 п считая, не ограни-
 ОТНОШЕНИЕ ПРАВДОПОДОБИЯ В МНОГОМЕРНОМ СЛУЧАЕ 447
Ф

чивая общности, что s ^ 2к, мы получим для (9) оценку

%&уАие-\щЫон*-юлш (в-2 + в-*-2)#
у — fc
Ilpii (3 == —^ — мы получим первое утверждение леммы.

Справедливость второго утверждения очевидна, так как в доказательст­

ве вместо ср(0) мы могли бы взять значение ф(£о) в любой фиксированной
точке t0 e K 0,i (первая сумма в (10) соответствует значению в точке, а
вторая — полному возможному изменению ср(£) в К0, ь). Лемма доказана.
Д о к а з а т е л ь с т в о т е о р е м ы 1. Покроем все пространство
системой кубиков К и, д, у которых коордппаты точек и кратны Д. Чпсло
таких кубиков, пересекающихся со слоем S r — {v е R k: |н | ^ г + 1 } ,
ограничено колпчеством cij'k~ l&.~h. Следовательно,

Pe’f sllP % (f/ У й ) ^ ez\ ^ ck rh~ l c h ysy {е~ г' 2 e-z ) e~r 2f’g(()\

Р 0 ( sup Z ( г /Д /п) > ez) < cf{ch sy (e z/2 -f-e z) (r г-j- j ) h г е (г+Л2Р?(в)#
\M 5^ ’ j=0
Т ак как sup (г +
r,j
и J
. j
« -М е ж г + Д » ^ ]/» ^
j
е-а*е>Д/,
ограничены постоянной c(p £ (0 )), зависящей лишь от Р£(0), то полученпое
выражение не превосходит cfl $ус ((3£.(0)) е_ г" ^ (6)/2 (e- r ''2 -f- е~ г), где
С(Р#(6)) < с (РёО < °°> если #(0) > g > 0 прп всех 0. <j
 Таблица I. Нормальное распределение Ф0д

В таблице приведены значения

ф(х) = Ф0д ((*, с»)) = ^ ~ Jе 1"'Чdt.

V X
Таблица I

X 0 i 2 3 4

0,0 0,5000 0,4960 0,4920 0,4880 0,4840

0,1 ,4602 ,4562 ,4522 ,4483 ,4443
0,2 ,4207 ,4168 ,4129 ,4090 ,4052
0,3 ,3821 ,3783 ,3745 ,3707 ,3669
0,4 ,3446 ,3409 ,3372 ,3336 ,3300
0,5 ,3085 ,3050 ,3015 ,2981 ,2946
0.6 ,2743 ,2709 ,2676 ,2643 ,2611
0,7 ,2420 ,2389 ,2358 ,2327 ,2297
0,8 ,2119 ,2090 ,2061 ,2033 ,2005
0,9 ,1841 ,1814 ,1788 ,1762 ,1736
■1,0 ,1587 ,1562 ,1539 ,1515 ,1492
1,1 ,1357 ,1335 ,1314 ,1292 ,1271
4,2 ,1151 ,1131 ,1112 ,1093 ,1075
1,3 ,0968 ,0951 ,0934 ,0918 ,0901
1,4 ,0808 ,0793 ,0778 ,0764 ,0749
1,5 ,0668 ,0655 ,0643 ,0630 ,0618
4,6 ,0548 ,0537 ,0526 ,0516 ,0505
1,7 ,0446 ,0436 ,0427 ,0418 ,0409
1,8 ,0359 ,0351 ,0344 ,0336 ,0329
1,9 ,0288 ,0281 ,0274 ,0268 ,0262
2,0 ,0228 ,0222 ,0217 ,0212 ,0207
2,1 ,0179 ,0174 ,0170 ,0166 ,0162
2,2 ,0139 ,0136 ,0132 ,0129 ,0125 .
2,3 ,0107 ,0104 ,0102 ,0099 ,0096
2,4 . ,0082 ,0080 ,0078 ,0075 ,0073
2,5 ,0062 ,0060 ,0059 ,0057 ,0055
2,6 ,0047 ,0045 ,0044 ,0043 ,0041
2,7 ,0035 ,0034 ,0033 ,0032 ,0031
2,8 ,0026 ,0025 ,0024 ,0023 ,0023
2,9 ,0019 ,0018 ,0018 ,0017 ,0016
х — 3,0 3,1 3,2 3,3 3,4
Ф(*) - 0,0013 0,0010 0,0007 0,0005 0.0003
 ТАБЛИЦА II 449

Т а б л и ц а I (п р о д о л ж е н и е )

V 1 5 1 1 7 1 8 9

0,0 0,4810 0,4761 0,4721 0,4681 0,4641

0,1 ,4404 ,4364 ,4325 ,4286 ,4247
0,2 ,4013 ,3974 ,3936 ,3897 ,3859
0,3 ,3632 ,3594 ,3557 ,3520 ,3483
0,4 ',3264 ,3228 • ,3192 ,3156 ,3121
0,5 ,2912 ,2877 ,2843 ,2810 ,2776
0,6 ,2578 ,2546 ,2514 ,2483 ,2451
0,7 ,2266 ,2236 ,2206 ,2177 ,2148
0,8 ,1977 ,1949 ,1922 ,1894 ,1867
0,9 ,1711 * ,1685 ,1660 ,1635 ,1611
1,0 ,1469 ,1446 ,1423 ,1401 ,1379
1,1 ,1251 ,1230 ,1210 ,1190 ,1170
4,2 ,1056 ,1038 ,1020 ,1003 ,0985
1,3 ,0885 ,0869 ,0853 ,0838 ,0823
1,4 ,0735 ,0721 ,0708 ,0694 ,0681
1,5 ,0606 ,0594 ,0582 ,0571 ,0559
1.6 ,0495 ,0485 ,0475 ,0465 ,0455
4,7 ,0401 ,0392 ,0384 ,0375 ,0367
1,8 ,0322 ,0314 ,0307 ,0301 ,0294
1,9 ,0256 ,0250 ,0244 ,0239 ,0233
2.0 . ,0202 ,0197 ,0192 ,0188 ,0183
2,1 ,0158 ,0154 ,0150 ,0146 ,0143
2,2 ,0122 ,0119 ,0116 ,0113 ,0110 \
2,3 ,0094 ,0091 ,0089 ,0087 ,0084
2,4 ,0071 ,0069 ,0068 ,0066 ,0064
2,5 0054 ,0052 ,0051 ,0049 ,0048
2,6 ,0040 ,0039 ,0038 ,0037 ,0036
2,7 ,0030 ,0029 ,0028 ,0027 ',0026
2,8 ,0022 ,0021 ,0021 ,0020 ,0019
2,9 ,0016 ,0015 ,0015 ,0014 ,0014

х— 3,5 3,6 3,7 3,8 3,9

Щх) — 0,0002 0,0002 0,0001 0,0001 0,0000

Таблица II. Квантили нормального распределения

В таблице приведены значения \ е такие, что

Ф (Яе) = Ф 0Д ((Яе? ° ° ) ) = £•
Таблица II

1008 X8 1008 X8 1008 X

8

50 0,0000 20 0,8416 0,5 2,5758

45 0,1257 15 1,0364 ОД 3,0902
40 0,2533 10 1,2816 0,05 3,2905
35 0,3853 5 1,6449 0,01 3,7190
30 0,5244 2,5 1,9600 0,005 3,8906
25 0,6745 1 2,3263
450 ТАБЛИЦА III

Таблица III. Распределение хи-квадрат Hk

13 таблице приведены значения (см. § 2.2)
ОО 1
Нк и = и* ((*, оо» = j
X
при j ^ к ^ 20. При больших А: можно пользоваться приближением
(см. § 2.2, таблицу 1)
H h (х) ж Ф ( У 2 х - У - 2 Г = Т ) = 3 /ft (ж). (1)
Последний столбец таблицы содержит значения Я/, (.г) при & = 20. Пу­
тем сравнения с "предыдущим столбцом можно оценить степень точности
приближения (1), С ростом к погрешность уменьшается.

Таблица III

1 2 3 4 5

ОД 0,7518 0,9512 01.9918 0,9988 0,9998

.2 ,6547 ,9048 ,9776 ,9953 ,9991
,4 ,5271 ,8187 ,9402 ,9825 ,9953
.6 ,4386 ,7408 ,8964 ,9631 ,9880
.8 ,3711 ,6703 ,8495 ,9385 ,9770
1 .0 ,3173 .6065 - ,8013 ,9098 - ,9626
,5 ,2207 ,4724 ,6823 ,8266 ,9131
2 ,1573 .3679 ,5725 ,7358 ,8492
3 ,0833 ,2231 ,3916 ,5578 ,7000
4 ,0455 ,1353 ,2615 ,4060 ,5494
5 ,0254 * ,0821 ,1718 ,2873 ,4159
Г» ,0143 ,0498 ,1116 ,1992 ,3062
7 ,0082 ,0302 ,0719 ,1359 ,2206
8 ,0047 ,0183 ,0460 ,0916 ,1562
9 ,0027 ,0111 ,0293 ,0611 ,1091
1(1 ,0016 ,0067 ,0186 ,0404 ,0752
11 ,0009 .0041 ’,0117 ,0266 ,0514
12 ,0005 ,0025 ,0074 ,0174 ,0348
13 ,0003 ,0015 ,0046 ,0113 ,0234
14 ,0002 ,0009 ,0029 ,0073 ,0156
15 ,0001 ,0006 ,0018. ,0047 ,0104
16 ,0001. ,0003 ,0011 ,0030 ,0068
17 ,0002 ,0007 ,0019 ,0045
18 ' ,0001 ,0004 ,0012 ,0030
19 ,0001 ,0003 ,0008 ,0019
20 ,0001 ,0002 ,0001 ,0013
21 ,0001 ,0003 ,0008
22 ,0001 ,0002 ,0005
2^ ,0001 ,0003
24 ,0001 ,0002
25 - ,0001 ,0001
 ТАБЛИЦА III 451

Т а б л и ц а III (п родолж ен и е)

h
6 7 8 9 10
X

0,5 0,9978 0,9995 0,9999 1,0000 1,0000

1,0 ,9856 ,9948 ,9983 0,9994 0,9998'
,5 ,9595 ,9823 ,9927 ,9972 ,9989
2,0 ,9197 ,9598 ,9810 ,9915 ,9963
,5 ,8685 ,9271 ,9617 ,9809 ,9909
3 ,8089 ,8850 ,9344 ,9643 ,9814
4 ,6767 ,7798 ,8571 ,9114 ,9474
5 ,5438 ,6600 ,7576 ,8343 ,8912
6 ,4232 ,5398 ,6472 ,7399 ,8153
7 ,3204 ,4284 ,5366 ,6371 ,7254

- ■ 8
,2381 ,3326 ,4335 ,5342 ,6288
9 ,1736 ,2527 ,3423 ,4373 ,5321
10 ,1246 ,1886 ,2650 ,3505 ,4405
11 ,0884 ,1386 ,2017 ,2757 ,3575
12 ,0620 ,1006 ,1512 ,2133 ,2851
13 ,0430 ,0721 ,1119 ,1626 ,2237
14 ,0296 ,0512 ,0818 ,1223 ,1730
15 ,0203 ,0360 ,0592 ,0909 ,1321
16 ,0138 ,0251 ,0424 ,0669 ,0996
17 ,0093 ,0174 ,0301 ,0487 ,0744
18 ,0062 ,0120 ,0212 ,0352 ,0550
19 ,0042 ,0082 ,0149 ,0252 ,0403
20 ,0028 ,0056 ,0103 ,0179 ,0193 -
21 ,0018 ,0038 ,0072 ,0127 ,0211
22 ,0012 ,0025 ,0049 ,0084 ,0151
23 ,0008 ,0017 ,0034 ,0062 ,0108 *
24 ,0005 ,0011 ,0023 ,0043 ,0076
25 ,0003 ,0008 ,0016 ,0030 ,0054
26 ,0002 ,0005 ,0011 ' ,0020 ,0037
27 . ,0002 ,0003 ,0007 ,0014 ,0026
28 ,0001 ,0002 ,0004 ,0010 ,0018
29 ,0001 ,0002 ,0003 ,0007 ,0013
30 ,0001 ,0002 ,0004 ,0009
'
452 ТАБЛИЦА I I I

Таблица III (продолж ение)

11 12 13 14 15

2 0,9905 0,9994 0,9998 0,9999 1,0000

3 ,9907 ,9955 ,9979 ,9991 0,9996
4 ,9699 ,9834 ,9912 ,9955 ,9977
5 ,9312 ,9580 ,9752 ,9858 ,9921
G ,8734 ,9161 ,9462 ,9665 ,9798
7 ,7991 ,8576 . ,9022 ,9347 ,9577
8 ,7133 ,7852 ,8436 ,8893 ,9238
1) ,6219 ,7029 ,7729 ,8311 ,8775
10 ,5304 ,6160 ,6939 ,7622 ,8197
12 ,3636 ,4457 ,5276 ,6063 ,6790
14 ,2330 ,3007 ,3738 ,4497 ,5255
1(5 ,1411 ,1912 1 ,2491• ,3134 ,3821
18 ,0816 ,1157 ,1575 ,2068 ,2627
20 ,0453 ,0671 ,0952 ,1301 ,1719
2 1 ,0334 ,0504 ,0729 ,1016 ,1368
22 ,0244 ,0373 ,0554 ,0786 ,1078
23 ,0177 ,0277 ,0417 ,0603 ,0841
24 ,0127 ,0203 . ,0311 ,0458 ,0651
25 ,0091 ,0148 ,0231 ,0346 ,0499
26 ,0065 ,0107 ,0170 ,0259 ,0380
27 ,0046 ,0077 ,0124 ,0193 ,0287
28 ,0032 ,0055 ,0091 ,0142 ,0216
29 ,0023 ,0039 ,0066 ,0105 ,0161
30 ,0016 ,0028 ,0047 ,0076 ,0119
31 ,0011 ,0020 ,0034 ,0055 ,0088
32 ,0008 ,0014 ,0024 ,0040 ,0064
33 ,0005 ,0010 ,0017 ,0029 ,0047
34 ,0004 ,0007 ,0012 ,0021 ,0034
35 ,0003 ,0005 ,0009 ,0015 ,0025
30 ,0002 ,0003 ,0006 ,0010 ,0018
37 ,0001 ,0 0 0 2 ,0004 ,0007 ,0013
38 ,0001 ,0 0 0 2 ,0003 ,0005 ,0009
39 ,0001 0 ,0 0 1 ,0002 ,0004 ,0006
40 0,001 ,0001 ,0003 ,0005
 ТАБЛИЦА I I I '4 5 3

Таблица III (продолжение)

16 17 18 19 20 Нй0(х)

4 0,9989 0,9995 0,9998 0,9999 1,0000 0,9997

5 ,9958 ,9978 ,9989 ,9994 0,9997 ,9990
0 ,9881 ,9932 ,9962 ,9979 ,9989 ,9973
7 ,9733 ,9836 ,9901 ,9942 ,9967 ,9938
8 ,9489 ,9666 ,9786 ,9867 ,9919 ,9876
9 ,9134 ,9403 ,9597 ,9735 ,9829 ,9774
10 ,8666 ,9036 ,9319 ,9530 ,9682 ,9619
12 ,7440 ,8001 ,8472 ,8856 ,9161 ,9109
14 ,5987 ,6671 ,7291 ,7837 ,8305 ,8298
10 ,4530 ,5238 ,5926 ,6573 ,7166 ,7218
18 ,3239 ,3888 ,4557 ,5224 ,5874 ,5968
20 ,2202 ,2742 ,3328 ,3946 ,4579 ,4683
22 ,1432 ,1847 ,2320 ,2843 ,3405 ,3489
24 ,0895 ,1194 ,1550 ,1962 ,2424 ,2472
/
20 ,0540 ,0745 ,0998 ,1302 ,1658 ,1670
28 ,0316 ,0449 ,0621 ,0834 ,1094 ,1078
30 ,0180 ,0264 ,0375 ,0518 ,0699 ,0667
31 ,0135 ,0200 ,0288 0,404 0,552 ,0517
32 ,0100 ,0151 ,0220 ,0313 ,0433 ,0396
33 ,0074 ' ,0113 ,0167 ,0240 ,0337 ,0301
34 ,0054 ,0084 ,0126 ,0184 ,0261 ,0227
35 ,0040 ,0062 ,0095 ,0140 ,0201 ,0169
36 ,0029 ,0046 ,0071 ,0106 ,0154 ,0125
37 ,0021 ,0034 ,0052 ,0080 ,0117 ,0092
38 ,0015 ,0025 ,0039 ,0059 ,0089 ,0067
39 ,0011 ,0018 ,0029 ,0044 ,0067 ,0048
40 ,0008 ,0013 ,0021 ,0033 ,0050 ,0035
41 ,0006 ' ,0009 ,0015 ,0024 ,0037 ,0025
42 ,0004 . ,0007 ,0011 ,0018 ,0028 ,0017
43 ,0003 ,0005 ,0008 ,0013 ,0020 ,0012
44 ,0002 ,0003 ,0006 ,0009 ,0015 .0010
45 .0001 ,0002 ,0004 ,0007 ,0011 ,0006
•
454 таблица iv

Таблица IV. Распределение Стыодента Тк

В таблице приведены значения

ОО

Th (х) = Т ((*, оо}) = 1 Щ ± ^ /2) Г(1 + t2! k ) - « + V / 4 t j

УклГ(к/2) J

прп 1 ^ к ^ 20. При больших значениях к можно пользоваться приближе­

нием (см. § 2.2, таблицы I)

T h (х) & Ф (X) = Фод ((.т, ОО)). . (2)

Точность приближения (2) при к = 20 можно оценить путем сравне­

ния последнего столбца таблицы с таблицей I.

Таблица IV

1 2 3 4 5

и,о 0,5000 0,5000 - 0,5000 0,5000 0,500о

5 ,3524 ,3333 ,3257 ,3217 ,3191
, «*° ,2500 ,2113 ,1955 ,1869 ,1816
2 ,2211 ,1765 ,1581 ,1482 ,1419
4 ,1974 ,1482 ,1280 ,1170 ,1102
С ,1778 ,1253 ,1039 ,0924 ,0852
8 ,1614 ,1068 ,0848 ,0731 ,0659
2,0 ,1476 ,0917 ,0697 „ ,0581 ,0510
2 ,1358 ,0794 ,0576 ,0463 ,0395
4 ,1257 ,0692 ,0479' ,0372 ,0308
6 ’ ,1169 ,0679 ,0402 ,0300 ,0241
8 ,1092 ,0537 ,0339 ,0244 ,0190
3,0 ,1024 ,0477 ,0282 ,0200 ,0150
2 ,0964 ,0427 ,0247 ,0165 ,0120
4 ,0910 ,0383 ,0212 ,0136 ,0096
5 ,0862 ,0346 ,0184 ,0114 ,0078
8 ,0819 ,0314 ,0160 ,0095 ,0063
4,0 ,0780 ,0286 ,0140 ,0081 ,0052
2 ,0744 ,0261 ,0123 ,0068 ,0045
 ТАБЛИЦА IV 455

Таблица IV (продолжение)

1 2 3 4 5

4 0,0711 0,0240 0,0109 ■ 0,0058 0,0035

0 ,0681 ,0221 ,0097 ,0050 ,0029
8 ,Обй4 ,0204 ,0086 ,0043 ,0024
5.0 ,0628 ,0199 ,0077 ,0037 ,0020
2 ,0605 ,0175 ,0069 ,0033 ,0017
4 ,0583 ,0163 ,0062 ,0028 ,0015
6 ,0562 ,0152 ,0056 ,0025 ,0012
8 ,0543 ,0142 ,0051 ,0022 ,0011
6,0 ,0526 ,0133 ,0046 ,0019 ,0009
2 ,0509 ,0125 ,0042 ,0017 ,0008
4 ,0493 ,0118 ,0039 ,0015 ,0007
6 ,0479 ,0111 ,0035 ,0014 ,0006
8' ,0465 ,0105 ,0033 ,0012 ,0005
7,0 ,0452 ,0099 ,0030 ,0011 ,0005
2 ,0439 ,0094 ,0028 ,0010 ,0004
4 ,0428 ,0089 ,0025 ,0009 ,0004
6 ,0416 ,0086 ,0024 ,0008 ,0003
_ 8 ,0406 ,0080 ,0022 ,0007 ,0003
8,0 ,0396 ,0076 ,0020 ,0007 ,0002

Т а б л п ц а IV (продолжение)

С 7 8 9 19

0.0 0,5000 0.5000 0,5000 0,5000 U.5UUU

5 ,3174 ,3162 ,3153 ,3145 ,3139
1,0 ,1780 ,1753 ,1733 ,1717 ,1704
2 ,1377 ,1346 ,1322 ,1304 ,1289
4 ,1055 ,1021 ,0995 ,0975 ,0959
6 ,0804 ,0768 ,0741 ,0720 ,0703
8 ,0610 ,0574 ,0548 ,0527 ,0510
2.0 ,0462 ,0428 ,0403 ,0383 ,0367
2 ,0350 ,0319 ,0295 ,0277 ,0262
4 ,0266 ,0237 ,0216 ,0199 „0186
6 ,0203 ,0177 ,0158 ,0144 ,0132
8 ,0156 ,0132 ,0116 ,0104 ,0094
3,0 ,0120 ,0100 ,0085 ,0075 ,0007
2 ,0093 ,0075 ,0063 ,0054 ,0047
4 ,0072 ,0057 ,0047 ,0039 ,0034
6 ,0057 . ■-■«,0044 ' ,0035 ,0029 - ,0024
8 ,0045 ,0034 ,0026 ,0022 ,0017
4,0 ,0035 ,0026 г ,0020 ,0015 ,0013
2 ,0028 ,0020 ,0015 ,0012 ,0009
4 ,0023 ,0016 ,0011 ,0009 ,0007
6 ' ,0018 ,0012 ,0009 ,0006 ,0005
8 ,0015 ,0010 ,0007 ,0005 ,0004
5.0 ,0012 ,0008 ,0005 ,0004 ,0003
450 ТАБЛИЦА IV

Т аб л и ц а IV (продолжение)

и 12 13 14 15

0,0 0,5000 0,5000 0,5000 0,5000 0,5000

5 ,3135 ,3131 ,3127 ,3124 ,3112
4,0 ,1694 ,1685 ,1678 ,1671 ,1666
2 ,1277 ,1266 ,1258 ,1250 ,1244
4 ,0945 ,0934 ,0925 ,0916 ,0909
6 ,0689 ,0678 ,0668 ,0660 ,0652
8 ,0496 ,0485 ,0475 ,0467 ,0460
2,0 ,0354 ,0343 ,0334 ,0326 ,0320
2 ,0250 ,0241 ,0232 ,0225 ,0219
4 ,0176 ,0168 ,0160 ,0154 ,0149
6 ,0123 ,0116 ,0110 ,0105 ,0100
8 ,0086 ,0080 ,0075 ,0071 ,0067
3,0 ,0060 ,0055 ,0051 ,0048 ,0045
2 ,0042 ,0038 ,0035 ,0032 ,0030
4 ,0030 ,0026 ,0024 ,0022 ' ,0020
0 ,0021 ,0018 ,0016 ,0014 ,0013
8 ,0015 ,0013 0011 ,0010 ,0009
4,0 ,0010 ,0009 ,0008 ,0007 ,0006

Таблица IV (продолжение)

16 17 - 18 19 20

0,0 0,5000 0,5000 0,5000 0,5000 0,5000

5 ■ ,3119 ,3117 ,3116 ,3114 ,3113
1.0 ,1661 ,1657 ,1653 ,1649 ,1646
2 ,1238 ,1233 ,1228 ,1224 ,1221
4 ,0903 ,0898 • ,0893 ,0888 ,0884
6 ,0646 ,0640 ,0635 ,0630 ,0626
8 ,0454 ,0448 ,0443 ,0439 ,0435
2,0 ,0314 ,0309 ,0304 ,0300 ,0296
2 ,0214 ,0210 ,0205 ,0202 ,0199
4 ,0145 ,0141 ,0137 ,0134 ,0131
6 ,0097 ,0093 0090 ,0082 ,0086
8 ,0064 ,0061 ,0059 ,0057 ,0055
3,0 ,0042 ,0040 ,0038 ,0037 ,0035
2 ,0028 ,0026 ,0025 ,0024 ,0022
4 ,0018 ,0017 ,0016 ,0015 ,0014
6 ,0012 ,0011 ,0010 ,0009 ,0009
8 ,0008 ,0007 ,0007 ,0006 ,0006
4,0 , ,0005 ,0005 ,0004 ,0004 ,0003
— --------------- —
 БИБЛИОГРАФ ИЧЕСКИЕ ЗАМЕЧАНИЯ

Ниже приводятся библиографические комментарии, в которых делает­

ся попытка проследить историю появления основных идей и результатов,
излагаемых в книге. Эти комментарии не претендуют на полноту и часто
будут содержать ссылки пе на оригинальные труднодоступные статьи, а на
учебники, монографии или обзорные статьи, в которых нужные результаты
найти проще. Более обширные библиографические указания и историче­
ские справки содержатся, например, в [30], [40].
Некоторые основные понятия математической статистики возникли
еще и начале прошлого века и связапы с именами Лапласа и Гаусса. В кон­
це прошлого века работы К. Пирсона положили начало периоду интенсив­
ного развития этой пауки. Оно было обусловлено фуйдамеитальными рабо­
тами Р. А. Фишера, Ю. Неймана, А. Н. Колмогорова, А. Вальда. В нашей
стране развитие математической статистики связано прежде всего с име­
нами А. В. Колмогорова и Н. В. Смирнова.

Г Л А В А 1

§§ 2—4. Теорема f ливенко — Каптелли была установлена в 1933 году

(Гливенко принадлежит доказательство для непрерывного распределения,
К антелли— для общего случая).
Доказательство теоремы 1.2.2 близко к доказательству, приведенному
в [43], с. 28, и представляет собой частный случай использования более об­
щего подхода, основанного на «конечной апроксимируемостп» рассматри­
ваемого класса множеств. В полном виде этот подход изложен в Приложе­
нии I, где доказана теорема 1.4.2. Независимо аналогичный подход был рас­
смотрен в [26]. Закон повторного логарифма (теорема 1.4.3) установлен
в [33].
§ 6. Теоремы 1.6.1, 1.6.2 о распределении nFn {t) содержатся в кни­
ге Феллера [62], т. 2, § 3 гл. III. Теорема 1.6.3 о сходимости процесса
V n ( F ' ( Л - F[t ) ) к броуновскому мосту, доказанная в Приложении II,
была установлена Донскером в [27]. Несколько иное по сравнению с При­
ложением II доказательство теоремы 1.6.3 можно найти в книге Б и лли н а
ел и -[5].
§ 7. Утверждение примера 1.7.3 о предельном распределении статисти­
ки x 2W (хи-квадрат) впервые было получено К. Пирсоном (см. [37],
стр. 464).
§ 8. Утверждение следствия 1.8.2 составляет содержание теоремы Кол­
могорова, а следствия 1.8.3 — теоремы Смирнова. Последняя включает в
г
себя также явный вид распределения J [u?"(f)]2<Zf, который ввиду его
о
сложности мы не приводим (см. [59]).
§ 10. Оценки плотности, рассматриваемые в этом параграфе, были вве­
дены Парзеном [50] и Розенблатом [55]. Обзор результатов в этом направ­
лении и библиографию см. в обзорной работе Розенблата [56] и в § 25
книги Немцова [74].
S 0 А. А. Боровков
458 БИБЛИОГРАФИЧЕСКИЕ ЗАМЕЧАНИЯ

Г Лл В л 2
§ 2. Некоторые другие параметрические семейства описаны в книге
Уилкса [61]. Весьма полное исследование распределении членов вариацион­
ного ряда выполнено Б. В. Гнеденко. Полное изложение результатов и об­
ширную библиографию по этому поводу можно найти в книге Дейвида [25].
§ 4. Метод моментов исторически является первым регулярным мето­
дом построения оценок. Оп был предложен К. Пирсоном в 1894 году,
§ 5. Метод минимума х 2 был предложен Р. Фишером в 1922 году.
§ 6. Метод максимального правдоподобия в частных случаях приме­
нялся еще Гауссом. Как общий метод получения оценок он был предложен
Р. Фишером в краткой заметке в 1912 году. Позднее, в 1925 году в клас­
сической работе [65] им ж е были изучены асимптотические свойства о. м. it.
§§ 7, 8. Излагаемые подходы к сравнению оценок являю тся общепри­
нятыми. Доказательство леммы 2.7.3 заимствовано из [37]. Понятие эффек­
тивной оцепки было введено Фишером в 1922 году в [64].
§§9, 10. Фундаментальное понятие условного математического ожида­
н и я было введено А. Н. Колмогоровым в 1933 году в классической работе
[35]. Свойства условных распределений детально изучены в [22], [29], [79].
§ 11. Байесовский подход широко использовался еще в прошлом веке Лан-
ласозЕ, Этот подход подтвергался критике со стороны Фишера, и в 20-х,
30-х годах нашего столетия центр тяжести исследований переместился на
эффективные и асимптотически эффективные оценки. Затем, но мере того,
к ак стала осознаваться фундаментальная роль байесовского подхода, инте­
рес к нему вновь стал возрастать.
„ Понятие минимаксной оценки вошло в математическую статистику вме­
сте с теоретико-игровым подходом, развитым в работах Бореля (1921) и
Дж. Неймана (1928), теоремы 2.11.1—2.11.3 были получены Ходжесом и Ло­
маном [70].
§ 12. Фундаментальное понятие достаточной статистики было введено
Р. Фишером в [64] в 1922 году. Р. Фишер [64] и позже 10. Нейман [45]
предложили простой критерий, обнаруживающий существование и вид доста­
точной статистики. Этот критерий носит название факторизационной теоремы
Неймана — Фишера и представлеп в теореме 2.12.1. Строгое теоретико-мно­
жественное доказательство теоремы Неймана — Фишера было получено
лишь в 1949 году Халмошем и Сэвиджем [68]. •
§ 13. Понятие достаточной о-алгебры широ, чем понятие достаточной
статистики. Необходимые и достаточные условия для их совпадения при­
ведены в [30]. Конструкция достаточных разбиений и теорема 2.13.1 свя­
заны с работой Лемана и Шеффе [41], посвященной выяснению условий
существования и построению мннимальпых достаточных статистик. К рат­
кое изложение этой статьи можно найти в [30]. Доказательство теоремы
2.13.2 принадлежит И. С. Борисову.
§ 14. Теорема 2.14.1 была получена независимо Блекуэлом [6] (1947),
Рао [53] (1945), [54| (1949) и Колмогоровым [34] (1950). Теорема 2.14.3
принадлежит Рао [54] (1949) и Блекуэлу [6] (1947).
§ 15. Экспоненциальное семейство упоминалось еще Фишером в [61].
Теоретическое значение этого семейства было осозыапо п 30-х годах в р а ­
ботах Питмена, Купмопа, Дармуа. Именами последних иногда и называют
экспоненциальное семейство. Теорема 2.15.2 доказана Леманом ([40],
стр. 183).
§§ 16, 17. Неравенство Р а о — Крамера иногда называют такж е неравен­
ством информации. Оно принадлежит по-с.уществу Фишеру [65], хотя в
приводимой форме он о‘было получено независимо Фреше [67] в 19-43 году,
Рао [52] в 1945 году и Крамером [36] в 1946 году.
Условия регулярности, нужные дли выполнения неравенства, в руко­
водствах но математической статистике трактуются не всегда аккуратно.
Мы имеем в. виду условия, обеспечивающие законность дифференцирова­
ния по параметру под знаком интеграла. Доказательство этой законности
 БИБЛИОГРАФИЧЕСКИЕ ЗАМЕЧАНИЯ 459

часто содержит пробелы (см., например, [30]), либо отсутствует вовсе (на­
пример, в [19]). В ряде случаев она оговаривается в виде условия ([1 9 ]),
что неудобно для проверки в реальных задачах.
Условия регулярности, принятые в книге, весьма просты, хотя, но-ви­
димому, не являю тся наиболее общими (ср. с [31]). Тот факт, что при этих
условиях можно дифференцировать под знаком интеграла, доказан в При­
ложении VI, написанном на основе результатов А. И. Сахапенко.
Различные обобщения неравенства Рао — Крамера см. в [30], [74]. По­
нятие информации (Фишера) было введено в [65]. При доказательстве тео­
рем 2.16.1А и 2.17.1 мы следуем книгам [30], [31].
§§ 18, 19. Идея использования инвариантных соображений принадлежит
Хотеллингу и Питмену. Значительный вклад в разработку теории внес
С. Стейн. Основное содержание теоремы 2.18.1 принадлежит Питмеиу. При
ее доказательстве мы использовали изложение в [30], [31]. Минимаксность
оценки Питмена была установлена Гиршиком и Сэвиджем.
§ 20. Результаты этого параграфа были получены автором совместно
с А. И. Саханеико [13]. Некоторые неравенства при более жестких огра­
ничениях можно получить также из работ [24], [73].
§ 21. Расстояние К ульбака— Лейб гере в параметрическом случае назы­
вается также функцией информации Кульбака — Лепблера. К этому расстоя­
нию независимым образом пришел И. Н. Санов при описании вероятнос­
тей больших уклонений эмпирического распределения. Идея широкого ис­
пользования расстояния Хеллннгера для изучения свойств отношения
правдоподобия нами заимствована из книги Йбрагимова и Хасьминского
[31]. На результатах этой книги базируются и доказательства основных
теорем § 23. Доказательство теоремы 2.21.3 было существенно упрощено
А. И. Саханепко.
§ 22. Теорема 2.22.1 была установлена Чепменом п Роббинсом в 1951 го­
ду в [75] и Кифером в 1952 году в [32].
§§ 23—25. Излагается материал лекций, сильно усовершенствованный
после появления книги Ибрагимова.и Хасьминского [31]. Основные усорер-
шенствования связаны с систематическим использованием расстояния Хел-
лингера для оценки M^Z* “(и).Предложение использовать ^Me|( Z 3 4(ы)У|<йг
для оценки sup Z(u) (см. теоремы 2.23.1, 2.23.2) принадлежит А. И. Саха-
U
пенко. Асимптотическая нормальность и асимптотическая эффективность
о. м. п. была установлена еще Фишером [65]. Весьма общие условия асимп­
тотической нормальности о. м. н. получены в [31].
Асимптотическая нормальность апостериорной плотности (или отно­
ш ения правдоподобия) была обнаружена С. И. Бернштейном в 1927 году.
Теорема 2.25.4 принадлежит Бахадуру [1]. Асимптотическая байесовость и
минимаксность о. м. п. легко получаются благодаря результатам § 2.20. Ра­
нее асимптотическая байесовость о. м. п. устанавливалась при более жест­
ких ограничениях на плотность априорного распределения.
При доказательстве теорем 2.24J, 2.24.2 мы использовали некоторые
усовершенствования, предложенные А. II. Саханенко.
§ 26. Излагается один из вариантов численного метода Ньютона — Раф-
сопа отыскания экстремума функции. Более подробное изложение см. в
[30]. Пример 3 заимствован из книги Рао [54].
§ 27. Исследование состоятельности о. м. п. было начато в 30-х, 40-х го­
дах в работах Дуба [28], Вальда [17], Вольфовица [21J, Крамера [37].
Основные условия состоятельности в [17] включают в себя (помимо усло­
вий (Ай), (Ас), (А0)) принадлежность f t (x) классу D0 и интегрируемость

J 1n /f ( .r ) /0(j)|»№ ).

В монографии [31] получены условия состоятельности, использующие

30*
4(Ю БИБЛИОГРАФИЧЕСКИЕ ЗАМ ЕЧАИИЯ

сходимость

sup S V f l f u и — V ft и ) 2 [X(dx) ->-0 при A 0.

Результаты теорем 27.1, 27.2 и их следствий являются более общими. Ме­

тод доказательства близок к [17]. Достаточность условий (Ай) и (2.27.2)
была замечена А. И. Саханенко.
§§ 28, 29. См. комментарии к §§ 23—27. Пример 2.28.1 заимствован из
книги ван дер Вардена [19]. В изложение параграфов внесен ряд усовер­
шенствований по сравнепию с первоначальным вариантом, предложенных
А. И. Саханенко (в частности, добавлена теорема 2.29.5). Эти изменении
позволили упростить текст в §§ 13—15 главы 3.
§ 30. Подробнее о последовательном оценивании см., например, [30].
§§ 31. 32. Впервые доверительные интервалы встречаются, по-видимому,
у Лапласа. Еще в 1812 году он показал, что можно обратить относительно
р утверждение о степени расхождения наблюдаемой частоты и биномиаль­
ной вероятности р, с тем чтобы иайти интервал для возможных значений
р. П равильная интерпретация доверительных интервалов (не предполага­
ю щ ая случайность параметра) дана в 1927 году Внлсоном.
Общий метод отыскапия точных доверительных интервалов для веще­
ственного параметра был предложен Фишером в 1930 году в [66]. В 1937—
1938 годах Нейманом была развита общая теория доверительных утверж­
дений и установлена их связь с теорией проверки гипотез. Весьма полное
современное изложение вопроса можно найти в книге Лемана [40], Это из­
ложение использовано нами в § 3.7.
Теорема 2.32.1 й лемма 2.32.2 принадлежат Фишеру.

ГЛАВА 3
Первые отдельные применения статистических критериев восходят к
Лапласу (конец 18 века). Систематическое использование критериев для
проверки гипотез начинается с работ К. Пирсона, предложившего в 1900 го­
ду критерий х 2- Фундаментальные понятия ошибок первого и второго рода
были введены Нейманом и Пирсоном в 1928 году в [47]. Этими же автора­
ми впервые была осознана роль альтернатив для рационального выбора
критерия. В итоговой работе Неймана и Пирсона [48] развита теории
р. н.м. к.
Систематическое изложение теории проверки гипотез содержится в
книге Лемана [40].
§§ 1—3. Фундаментальная лемма Неймана — Пирсона получена в [48].
Теоремы 3.1.1, 3.1.2 можно извлечь из книги Блскуэла и Гиршика [7]. Тео­
рема 3.2.1 содержится в книге Лемана [40]. Теорема 3.3.1 о больших укло­
нениях принадлежит Крамеру (см. [11]). Оценка качества критериев, сви-
занная с вероятностями больших уклонений, легла в основу понятия эф­
фективности критерия но Бахадуру. Итоги исследований в этом направле­
нии изложены в [3].
Роль статистики эффективного вклада была отмечена еще в 1925 году
в работе Фишера [65]. В дальнейшем подход, связанный с рассмотрением
близких гипотез, интенсивно развивался в работах Ло Кама, Русаса, Чиби-
сова (см. такж е комментарии к §§ 3.14, 3.15).
§ 4. И злагаемая общая концепция статистических критериев является
общепринятой (см. [37], [40]). Понятие р .н .м . к.было введено Нейманом
и Пирсоном в [48]. Байесовский подход использовался еще Лапласом в
19 веке.
§§ 5—8. Осповные результаты этих параграфов взяты из книги Лема­
на [40]. Изложение такж е близко к этой книге, но отличается тем, что
основано на байесовском подходе, а не на обобщенной лемме Неймана —
 БИБЛИОГРАФИЧЕСКИЕ ЗАМЕЧАНИЯ 4G1

Пирсона (лемма 3.5.2, см. такж е [40]). Это упрощает изложение и делает
его более цельным.
По поводу доверительных множеств см. комментарии к §§ 2.31, 3.32.
О возможности перенесения основных результатов на случайные про­
цессы см. книгу Гренандера [23].
§ 9. Теорема 3.9.1 принадлежит Ходжесу и Леману [70].
§ 10. Фундаментальная роль отношения правдоподобия в математиче­
ской статистике была выяснена в работах Неймана и Пирсона [47], [48].
К. о. п. посвящена обширная литература. Попытки установить тс или иные
свойства асимптотической оптимальности этого критерия содержатся в ра­
ботах [2], [17], [49], [01], [69].
§ 11. Основной вклад в развитие теории последовательного анализа
принадлежит Вальду [18]. Наиболее компактное изложение главных ре­
зультатов, которому мы следуем в кппге, можно найти в [40].
§ 12. По поводу критериев Колмогорова и to2 см. § 1.8 и комментарии
к нему. О некоторых модификациях критерия Колмогорова, дающих наи­
большую возможную мощность, см. [15]. Критерий Морана был предложен
в [44]. Его мощность для близких альтернатив изучалась в [20]. [70].
§ 13. Асимптотическая байесовость к. о. п. установлена в работе авто­
ра [10]. Результаты о предельном распределении отношения правдоподо­
бия при основной гипотезе принадлежат Уилксу [60] и Вальду [16] (см.
такж е книгу Уилкса [61]). Идея замены сложной гипотезы усредненной
использовалась Вальдом. Асимптотический вид байесовских критериев со­
держится в [42]. См. такж е комментарии к §§ 28, 29 гл. 2.
§§ 14, 15. Основные идеи, связанные с отысканием асимптотически оп­
тимальных тестов для близких гипотез, изложены в работах Вальда [16],
Ле Кама, Русаса (см. книгу Русаса [57]), Чпбисова [77]. О возможности
перенесения основных результатов на случай бесконечномерного парамет­
ра (на случайные процессы) см. [14]. Форма изложения §§ 14, 15 с цити­
рованными работами связана мало. Редукция исходной задачи А к задаче
В для параметра нормального распределения, при отыскании оптимальных
критериев для основных типов задач, рассмотренных в § 14, содержится
в работе Вальда [16]. Утверждение теоремы 3.15.4 о распределении стати­
стики 2 ln fli(X ) при гипотезе-Я, можно найти в [61]. См. также, коммен­
тарии к §§ 28, 29 главы 2.
§§ 16, 17. Критерий у 2 был предложен К. Пирсоном в 1900 году. Ему
посвящена обширная литература (см., например, специальную монографии»
Ланкастера [39]). Обсуждение различных свойств оптимальпост и см. в [1GJ,
[49], [61], [69] и др. О поведении мощности критерия х2 иРн увеличении
числа групп см., например, [12], [78]. Примеры 3.16.1, 3.17.2 заимствова­
ны из книги Крамера [37], пример 3.17.1 из книги Рао [54].
§ 18. Начальный этап в изучении устойчивости статистических реше­
ний проследить трудно. Более поздние исследования имеют в своей осно­
ве работы Тыоки, Ходжеса, Лемана. Обстоятельный обзор этого направле­
ния представлен в работе Хыобера [72].
При сосгавлении таблиц I —IV использовалась книга Большева и Смир­
нова [8].
 ЛИТЕРАТУРА

1. Б а х а д у р P. ( B a h a d u r R. R.). On F isher’s bound for asympto­

tic variances.— Ann. Math. Statist., 1964, 35, 4, 1545—1552.
2. Б а х а д у р P. ( B a h a d u r R. R.). An optim al property of the
likelihood ratio statistic, Proc. 5-th Berkeley Sympos. Math. Statist. Prob.—
Berkeley — Los Angeles, v. 1, 1965, 27—40.
3. Б a x а д у p P. ( B a h a d u r R, R.). Some lim it theorems in sta­
tistics.— Philadelphia: S. I. A. М., 1971.
4. Б a x а д у p P. Л е м а п Э. ( B a h a d u r R. R., L e h m a n E. L.).
Two comments on «Sufficiency and statistical decision functions».— AMS,
1955, 26, 139—141.
5. Б и л л и н г с л и П. Сходимость вероятностных мер.— М.: Наука,
1977.
6. Б л е к у э л л Д. ( B l a c k w e l l D.). Conditional expectation and
unbiased sequential estim ation.— Ann. Math. Statist., 1947, 18, 105—110.
7. Б л e к у э л л Д., Г и р ш и к М. А. Теорпя игр и статистических
решений.— М.: ИЛ, 1958.
8. Б о л ь ш е в Л. Н., С м и р н о в Н. В .; Таблицы математической
статистики.— М.: Наука, 1965.
9. Б о р о в к о в А. А. Вероятностные процессы в теории массового
обслуживания.— М.: Наука, 1972.
10. ■Б о р о в к о в А. А. Асимптотически оптимальные тесты для про­
верки сложных гипотез.— Теория вероятн. и ее прим ет, 1975, 20,3,463—487.
И . Б о р о в к о в А. А. Теория вероятностен.— М.: Наука, 1976.
12. Б о р о в к о в А. А. О мощности критерия %2 при увеличении чис­
ла групп.— Теория вероятн. и ее п ри м ет, 1977, 22, 2, 375—379.
13. Б о р о в к о в А. А., С а х а н е и к о А. И. Неравенства типа Рао —
Крамера для байесовского риска.— Теория вероятп. и ее п ри м ет, 1980, 25,
1, 207—209.
14. Б о р о в к о в А. А., С а х а п е н к о А. И. Об асимптотически оп­
тимальных тестах для проверки сложных гипотез.— Труды Института ма­
тематики СО АН СССР, 1981, т. 1.
15. Б о р о в к о в А. А., С ы ч е в а Н. М. О некоторых асимптотически
оптимальных непараметрических критериях.— Теория вероятн. и ее при­
м е т , 1968, 13, 3, 385—418.
16. В а л ь д A. ( W a l d A) . Tests of statistical hypotheses concerning
several param eters when the num ber of observations is large.— Trans. Aniei*.
Math. Soc., 1943, 54, 3, 426—482.
17. В а л ь д A. ( W a l d A.). Note on the consistency of the m axim um
likelihood estim ate.— Ann. Math. Statist., 1949, 20, 595—601,
18. В а л ь д А. Последовательный анализ.— М.: Фпзматгиз, 1960.
19. В а н д е р В а р д е н . Математическая статика.— М.: ИЛ, 1960.
20. В е й с Л. ( W e i s s L.). The asym ptotic power of certain tests of
fit based on sample spacings.— Ann. Marth, Statist., 1957, 28, 3, 783—786.
 ЛИТЕРАТУРА 403

21. В о л ь ф о в и ц Д-/И. ( W o l f o w ' i t z J.) On W ald’s proof of tho

consistency of the m axim um likelihood estim ate.— Ann. Math. Statist., 1949,
20, 601—602.
22. Г и х м а п И. И., С к о р о х о д А. В. Введение и теорию случай­
ных процессов.— М.: Наука, 1977.
23. Г р е н а н д е р У. Случайные процессы и статистические выво­
ды .-- М.: ИЛ, 1961.
24. Г у с е в С. И. Асимптотические разложения, связанные с неко­
торыми статистическими оценками в гладком случае. II.— Теория верояти.
и ее примен.— 1976, 21, 1, 16—33.
25. Д е й в и д Г. Порядковые статистики.— М.: Наука, 1979.
26. Д е Х а р д т Д ж . ( Do I l a r d t J.). Generalizations of the Gliven-
ko — Canteili theorem .— Ann. Math. Stat., 1971, 42, 2050—2055.
27. Д о н е к e p ( D o n s k e r М.). Justifications and extensions of Doob’s
heuristic approach to the Kolmogorov — Smirnov theorems.— Ann. Math. S ta­
tist., 1952, 23, 277—281.
28. Д у б Д ж . Л. ( D o o b J. L.). Probability and statistics.— Trans. Amor.
Math. Soc., 1934, 36, 4, 759—775.
29. Д у б Д ж. Л. Вероятностные процессы.— М.: ИЛ, 1956.
30. З а к с Ш. Теория статистических выводов.— М.: Мир, 1975.
31. И б р а г и м о в И. А., X а с ь м и н с к и й Р. 3. Асимптотическая
теория оценивания.— М.": Наука, 1979.
32. К и ф е р Д ж . ( K i e f e r J.), On m inim um varianco estim ators.—
Anu. Math. Statist., 1952, 23, 627—629.
33. К и ф е р Д ж . ( K i e f e r J.). On large deviations of the identically
distributed functions of vector chance -variables and LIL.— Pacif. J. Math.,
1961, 11, 2, 649—660.
34. К о л м о г о р о в A. II. Несмещенные оценки.— Изв. A ll СССР, сер.
мат., 14, 1950, 303.
35. К о л м о г о р о в А. II. Основные понятия теории вероятностей.—
М.: Наука, 1974.
36. К р а м е р Г.- ( C r a m e r II.). A contribution to the theory of statis­
tical estim ation.— Aktuariestidslcrift, 1946, 29, 458—463.
37. К р а м е р Г. Математические методы статистики.— М.: Мир, 1975.
38. К у л ь б а к С., Л е й б л е р P. ( K u l l b a c k S., L e i b i e r R. A.).
On inform ation and sufficiency.— Ann. Math. Statist., 1951, 22, 79—86.
39. Л а н к а с т е р ( L a n c a s t e r II. O.). The chi-squared distribution.—
Xew York: John W ilev and Sons, 1969.
40. Л е м а н Э. Проверка статистических гипотез.— М.: Наука, 1964.
41. Л е м а н Э., Ш е ф ф е Г. ( L e h m a n n Е. L., S c h e f f e П.).
Completeness, sim ilar regions and inbiased estim ation.— Pt. I. Sanldiya,
1950, 10, 305—340.
42. Л и и д л и Д. ( L i n d i e у D.). The use of prior -probability distribu­
tio n s in statistical inference and decision. Proc. 4-th Berkeley Sympos. Math.
Statist. Prob., Berkeley — Los Angeles, v. 1, 1960, 453—468.
43. JI о э в М. Теория вероятностей.— М.: ИЛ, 1962.
44. М о р а н П. ( M o r a n P. А. P.). The random division of an inter­
val.— J. Roy.. Stat. Soc*., Suppl., 1947, 9, 92—98.
45. Н е й м а н 10. ( X e y m a n J.). Sur un teorems concerente le co-
sidette statistiche sufficienti.— Inst. Ital. Atti. Giorn., 1935, 6, 320—334.
46. H с й if a ii 10. Вводный курс теории вероятностей! и математиче­
ской статистики.— М.: Наука, 1968.
464 ЛИТЕРАТУРА

47. I I е й м а п 10., П и р с о н Е. ( N e y m a n J., P e r s o n Е. S.). On

th e use and interpretation of certain test criteria.— Biometrika, 1928, 20A,
175—240, 263—294.
48. Н е й м а н 10., П и р с о н E. ( N e y m a n * J., P e r s o n E. S ) . On
the problem of the m ost efficient tests of statistical hypotheses.— Phil. Trans.
Roy. Soc., Ser. A, 1933, 231, 289—337.
49. О о с т е р х о в Д ж., в а н Ц в е т (О о s t е г h о f f J., W. R. v a n
Z w e t ) . The likelihood ratio test for the m ultinom ial distribution. P ro c.'6 -th
Berkeley Sympos. Math. Statist. Prob., Berkeley — Los Angeles, v. 1, 1970,
31—50.
50. П а р з е и E. ( P a r z e n E.). On estim ation of a probability den­
sity function and mode.— Ann. Math. Statist., 1962, 33, 3, 1065—1076.
51. П и т м е н E. ( P i t m a n E. J. G.). The estim ation of the location
and scale param eters of a continuous population of any given form.— Bio­
m etrika, 1938, 30, 391—421.
52. Р а о C. ( R a o C. R.). Inform ation and accuracy attainable in esti­
mation of statictical param eters.— Bull. Calcutta Math. Soc., 1945, 37,
8 1 -9 1 .
53. Р а о C. ( R a o C. R.). Sufficient statistics and m inim um variance
estim ates.— Proc. Cambr. Phil. Soc., 1949, 45, 213—218.
54. P а о С. Линейные статистические методы п их применения.— М.:
Наука, 1968.
55. Р о з е п б л а т т М. ( R o s e n b l a t t М.). Remarks on some non-
param etric estim ates of a density function.— Ann. Math. Statist., 1956, 27, 3,
832—837.
56. Р о з е н б л а т т M. ( R o s e n b l a t t M.). Curve estim ation.— Ann.
Math. Statist., 1971, 42, 6, 1815—1842.
57. Р у с а с Д ж . Контигуальность вероятностных мер.— М.: Мир, 1975.
58. С к о р о х о д А. В. Случайные процессы с независимыми приращ е­
ниями.— 3^1.: Наука, 1964.
59. С м и р н о в Н. В. О распределении ы2-критерия Мизеса.— В кн.:
С м и р н о в Н. В. Теория вероятностей и математическая статистика.
Избранные труды.— М.: Наука, 1970.
60. У и л к с С. ( W i l k s S. S.). The large sample distribution of the
likelihood ratio for testing composite hypotheses.— Ann. Math. Statist., 1938,
9, 60—62.
61. У и л к с С. Математическая статистика.— М.: Наука, 1967.
62. Ф е л л е р В. Введение в теорию вероятностей и ее приложения,
т. 1, 2,— М.: Мир, 1967.
63. Ф е р г ю с о н Т. ( F e r g u s o n Т. S.), M athem atical statistics.
A decision theoretic approach.— New York and London: Academic Press,
1967.
64. Ф и ш е р P. ( F i s c h e r R. A.). On the m athem atical foundations
of theoretical statistics.— Phil. Trans. Roy. Soc. A, 1922, 222, 309—368.
65. Ф и ш е р P. ( F i s c h e r R. A.). Theory of statistical estim ation.—
Proc. Camb. Phil. Soc., 1925, 22, 700—725.
66. Ф и ш е р P. ( F i s c h e r R. A.). Inverse probability.— Proc. Camb­
ridge Phil. Soc., 1930, 26, 528—535.
67. Ф р е ш е M. ( F r e e h e t М.). Rev. Intern, de Stat. 1943, 182.
68. X а л м о iu П., С э в и д ж Л. ( H a l m o s P. R., S a v a g e L. J.).
A pplication of the Radon — Nikodym theorem to the theory of sufficient
statistics.— Ann. Math. Statist., 1949, 20, 225—241.
 ЛИТЕРАТУРА 405

09. Х е ф ф д и н г В. ( I l o e f f d i n g W.) A sym ptotically optim al test

for m ultinom ial distributions.— Ann. Math. Statist., 1965, 36, 2, 369—401.
70. X о д ж e с Д ж., Л е м а н Э. (Н о d g е s J., L e h m a n E.). Some
problem s in m inim ax estim ation.— Ann. Math. Statist., 1950, 21, 2, 182—197.
71. X о т e л л и и г X. ( H o t e l l i n g H .). The generalization of student’s
ratio.— Ann. Math. Statist., 1931, 2, 300—378.
72. Х ы о б е р II. ( H u b e r P. J.). Robust statistics: a review.— Ann.
Math. Statist., 1972, 43, 1041—1067.
73. Ч е п ц о в II. II. Об оцепке неизвестного среднего многомерного
нормального распределения.— Теория вероятп. и ее п р и м ет, 1967, 12, 4,
619—633.
74. Ч е н ц о в II. Н. Статистические’ решающие правила и оптималь­
ные выводы.— М.: Наука, 1972.
75. Ч е п м е н Д., Р о б б и н с Г. ( C h a p m a n D. G., R о b b i n s IT. Е.).
Minimum variance estim ation w ithout regularity assym plions.— Ann. Math.
Statist., 1951, 22, 581—586.
76. Ч и б и с о в Д. М. О критериях согласия, основанных на выбороч­
ных промежутках.— Теория вероятп. и ее при м ет, 1961, 6, 1, 354—358.
77. Ч и б и с о в Д. М. ( C h i b i s o v D. М.). Transition to the lim iting
process for deriving asym ptotically optim al tests.— Sankhya, 1969, A31,
3, 241—258.
78. Ч и б и с о в Д. М., Г в а н ц e л а д з e Л. Г. О критериях согласия,
основаппых на сгруппированных данных.— В кн.: III Советско-японский
симпозиум по теории вероятностей.— Ташкент: Фан, 1975, 183—185.
79. Ш и р я е в А. Н. Вероятность.— М.: Наука, 1980.
80. К е н д а л л М. Дж., С т ю а р т А. Статистические выводы и связи.—
М.: Наука, 1973.
 СПИСОК ОСНОВНЫХ ОБОЗНАЧЕНИЙ
Обозначения расположены в алфавитном порядке: сначала русский ал­
фавит, затем латинскпй и греческий. В конце помещены математические
символы.
а. б. к .— асимптотически байесовский критерий 375, 382
а. п. оценка — асимптотически нормальная оценка 78
а. р. н. м. к .— асимптотически равномерно наиболее мощный крите­
рий 382
а. э. оценка — асимптотически эффективная оценка 106
a. R -э. оценка — асимптотически /?-эффективная оценка 154
к. о. п.— критерий отношения правдоподобия 349
и. м. к.— наиболее мощный критерий 272, 279
о. м. п.— оценка максимального правдоподобия 87
• р. п. м. к.— равномерно наиболее мощный критерий 302
у. м. о.— условное математическое ожидание 110

(/4 о )— условие взаимнооднозначного соответствия между параметри­

ческим множеством 0 и семейством распределений £Р ~ {Ре}оев (**0* ^
ф Р {) , если 0, ф 02) 83
(Лс) — условие, состоящее в том, что параметрическое множество 0
компактно 199
(Л„) — условие, в силу которого все распределения семейства
= {Ро} доминируются мерой р, (существует плотность / 0 — dPe/dp) 85
b, 6(G) — смещение 94, 104
23 — о-алгебра борелсвскнх множеств на прямой R 2 1
®36— о-алгебра в фазовом пространстве 86 (борелевскпх множеств,
еслн 86 = R m) 17
В р — полиномиальное распределение (в том число распределение Бер­
нулли) 73
С(а,Ь) — пространство непрерывных на [а, Ь] функций 40
D(a, b) — пространство функций на [а, Ь], непрерывных слева (в точке
а справа) и имеющих лишь конечное число скачков 40
□0 — дисперсия по распределению Ре 103
К — единичная матрица 158
— экспоненциальное семейство распределений 146
/ о(х) — плотность распределения Ре относительно меры р, 85
П
/ 0( Х ) — функция правдоподобия, равная по определению П М ч ) S9
г=1
 СПИСОК ОСНОВНЫХ ОБОЗНАЧЕНИЙ 467

F(x) — как правило, функция распределения, соответствующая распре­

делению Р 18
F* (х) — эмпирическая функция распределения 22, 29
F/ii h2 ~ РаспРеДелеН11е ФишеРа 66
G — группа преобразований S6 в себя, соответствующая инвариантно­
му семейству 180
Ле — квантиль распределения у} 265, 375
Hi — гипотеза 270
Ил — распределение %2 65
I , — распределение, сосредоточенное в точке х 21, 72
/ ( 0) — информация Фишера 150, 164
I а — индикатор множества А 111
Кь — класс оценок со смещением b — &(0) 105
Ко — класс несмещенных оценок 104, 109
Ко — класс асимптотически несмещенных оценок 155
К ° — класс асимптотически центральных оценок 223
К ф , 2— класс асимптотически нормальных оценок 0*, для которых
М е«(0* — 0 )2- > о 2(0), где о2( 0 ) — дисперсия предельного для У п(0*— 0)
нормального распределения 107
К е — (в гл. З) класс критериев размера е (уровня 1 — е) 281, 300
К е — класс несмещенных критериев размера е 316
К е — класс критериев асимптотического уровня 1 — е 375
К S?1 —класс критериев размера е для частично байесовского подхода 337
Ае 1 — класс критериев асимптотического размера е для частично оаие-
совского подхода 382
К a r_ j — класс критериев с фиксированными значениямиа,-
вероят­
ностей ошибок i-ro рода, i — 1, . . г — 1 272
К«, о — распределение Коши 72
Цх, 0} = In /е (я) 89
L (X, 0) = In fe(X) — логарифмическая функция правдоподобия 89
Lа о2 — логнормальное распределение 72
Ме — математическое ожидание по распределению Ре 103
М (£/®) — условное математическое ожидание £ относительно о-ал-
гебры Я 112
М (£/г|) — условное математическое ожидание £ относительно случайной
величины ц 114
п — объем выборки 18
N f — носитель распределеиня Р с фупкцией распределения К
26, 194
Р — символ распределения, употребляемый в разных смыслах, указан­
ных на стр. 19
Р* — эмпирическое распределение 21
Р 0 — распределение, зависящее от параметра 0 73
Р( В/ у) — условное распределение 116
& — семейство распределений 62
468 СПИСОК ОСНОВНЫХ ОБОЗНАЧЕНИЙ

Qx — апостериорное распределение 121, 273

q ( t / X ) — плотность апостериорного распределения 121
R — вещественная прямая 17
R"1— «i-мернос евклидово пространство 17
R э. оценка — //-эффективная (регулярно-эффсктивпая) оценка 154
(R) — условие регулярности параметрического семейства, в силу кото­
рого функция У/е (я) непрерывно дифференцируема по 0, а информация
Фишера положительна и непрерывна 150, 158
(RR) — условия регулярности параметрического семейства, требующие
выполнения условии (Л0), (Лс), (/?), а такж е непрерывной дифференци­
руемости второго порядка функции i(x, 0) н существования мажоранты
1(х) ^ \ Г ( х , t) |, для которой интеграл (хг) сходится равпомерио в
в 213, 238
5 = S (Л7) — статистика 26
S 2 — эмпирическая дисперсия 25
S? = — — S 2 96
0 п—1
ТЛ — распределение Стыодеита 67
и „ , ь — равномерное распределение на [а, Ь] 69
и * ~ ~ [ / п ( д * — б) — нормированная оценка максимального правдопо­
добия 216, 221, 250
w(t) — (не везде) винеровский процесс 39
ю° (t) — броуновский мост 39
w n (t) — эмпирический процесс 39
Xi — элемент выборки 18 ч
X — Хп п
— (хь . .. , х„) — выборка объема 18
[ Х о с ] я = Х „ — часть бесконечной выборки, состоящая из первых п ее
элементов 20
х ^ — i-й элемент вариационного ряда 22
х — эмпирическое среднее 25
S6 — пространство, которому принадлежат наблюдения (фазовое про­
странство выборки) 17
($?, Р ) — выборочное вероятностное пространство, соответствую­
щее одному наблюдению 17
(# ? п» 53^, Р ) — выборочное вероятностное пространство, соответствую­
щее выборке объема
х = ( хи
п
19 .
х п) — элемент S6п 20
(дт) — вероятность ошибки i-ro рода критерия л 276
р(6) — мощность критерия б 280
Рл(6) — функция мощности критерия л 301
— бэта-распределение 69
Га я — гамма-распределение 64
6 = б(Х) — (в гл. 3) решающее правило (критерий) 271
— квантиль порядка р 26
£*— выборочная квантиль порядка р 26
О — параметр 61, 73
 СПИСОК ОСНОВНЫХ ОБОЗНАЧЕНИЙ 409

А* — границы доверительного интервала для параметра G 254

0* — оценка параметра 0 62
0q— байесовская оценка параметра 0, соответствующая априорному
распределению Q 121
6* — минимаксная оценка параметра 0 122
6* — оценка максимального правдоподобия параметра 0 87
© — множество возможных значений параметра 0 62, 73
©* — доверительное множество 264
А* — кваптиль нормального распределения 256
я — л(Х ) — (в гл. 3) рандомизированный критерий 275, 300
Яр — байесовский критерий, соответствующий априорному распреде­
лению Q 303
ЯС>1<?2 — байесовский критерий для частично байесовского подхода 337
я — минимаксный критерий 278, 304
я — критерий отношения правдоподобия 349
зх° — равномерно наиболее мощный критерий 302
Их — распределение Пуассона 73
Ф —нормальное распределение 63, 64
Ф (ж) — функция стандартного нормального распределения 66
= — знак, означающий совпадение распределений выборок или случай-
•I
пых величин 18
—>— знак сходимости по вероятности 31
г
—у- — знак сходимости почти наверное (с вероятностью 1) 21
и. и.
=> — знак слабой сходимости распределений (употребляется как между
случайными величинами, так и между распределениями) 32
— знак, употребляемый между обозначениями выборки (или случай­
ной величины) и распределения и означающий, что выборка извлечена
из данного распределения (случайная величина имеет данное распреде­
ление) 18
— знак слабой сходимости. Соотношение £„ £=}Р означает, что рас­
пределение слабо сходится при п -> оо к Р 32
 ПРЕДМ ЕТН Ы Й УКАЗАТЕЛЬ
Асимптотический подход к сравне­
нию оценок 96, 100, 106
— доверительный интервал 256
Асимптотическое дбверительное мно­
жество 264
Байесовский подход полный 303, 336
частичный 303, 337
Близкие гипотезы 290, 380
Броуновский мост 39
Бэта-распрсделение 69
Варнацнонпын ряд 22
Вероятность ошибки i-ro рода 271,
276
первого рода 300
Виперовский процесс 39
Выборка 18
Выборочная квантиль 26
— медиана 25
Выборочные моменты 25, 30
— характеристики 25, 30
Выборочный коэффициент корреля­
ции 31
Гамма-распределслие 64 _
Гипотеза основная 280, 299
— простая 270
— слож ная'299
Границы доверительных интерва­
лов 254
Группировка данных 404
Доверительное мпожсство 264, 326
— — инвариантное 333
наиболее точное 327
несмещенное 332
Доверительный интервал 254
Достаточная оценка 140
— статистика 127
— о-алгебра 133 ' подобия 89
Закоп повторного логарифма для эм­
пирических распределений 30
—• о. м. п. 222
Ппвариаитпое семейство 180, 321
Интервальное оценивание 254
Информация Фишера 150, 164, 197
Источник излучения 17S
Кваптиль 26
Классификация частиц 227
Критерий 271
— асимптотически байесовский 375,
382, 383
минимаксный 382, 383
наиболее мощный 292
несмещенный 379
равномерно наиболее мощный
382
эквивалентный 292, 384
— асимптотического уровня 286,375
— байесовский 273, 303, 304, 336
— зпаков 368
— инвариантный 321 ' •
— Колмогорова 366
— минимаксный 278, 304
— Морана 369
— наиболее мощный 272, 279
— пепараметричсскнй 368
— несмещенный 316
— отпошепня правдоподобия 349
— равпомерно наиболее мощный 302,
304
— состоятельный 364
— х 2 400 -
— (о2 (Мизсса — Смирнова) 367
Критическая область 280
Лемма Неймана — Ппрсопа 282
— — — обобщенная 313
Логарифмическая функция правдо­
 ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ 4 71

Максимальный инвариант 325 Плотность условная 117

Медиана 25 Полное семейство распределении 143
Метод максимального правдоподобия Последовательное оценивание 253
85 Последовательный анализ 352
— минимального расстояния 83 — критерии 354
— моментов 80, 81 Приближенпоо вычисление о. м. п.
— подстановки 74 225
Минимальная достаточная о-алгебра Принцип достаточности 171
134 " — инвариантности 171
Мопотопное отношение прав доно до- — несмещенности 171, 317
бия 304 Пуассоповскпй процесс 36
Мощность критерия 280, 301

Равномерпая сходимость интеграла

Неравенство Иенсепа для у. м. о. 115 213
— Коши — Буняковского для мат­ — — по вероятности 246
риц 156 распределений 246
: у. м. о. 115 — центральная предельная теорема
— Гао — Крамера 150, 158 248
— интегральное 183 Равно мерный закон больших чисел
— разностное 203 247
Носитель распределения 26 Размер критерия 280, 300
Распределение 17
— апостериорное 121, 273
— априорное 120, 273
Орбита 182 — Бернулли 72
Отпошение правдоподобия 208, 237 — вырождеппое 72
Оценка 62, 74 — Коши 72
— асимптотически байесовская 126, — логнормальное 72
127, 191 — лаимепсе благоприятное (наихуд­
мш ш макспая 126, 127, 192 шее) 123, 278, 315, 339
— — иормальпая 78 — нормальное 63, 64
— — эффективная 106, 222 — полиномиальное 73
— — /?-байесовская 191 — Пуассона 73
Д-эффектпвная 154 — равномерное 69
— байесовская 121, 127 — Стыодента 67
— достаточная 140 — Фишера 66
— максимального правдоподобия 87, — экспоненциальное 66
221 — X2 (хп-квадрат) 65
— минимаксная 122, 127 Расстояние Кульбака — Лейблера
— недопустимая 104 194, 289
— несмещенная 94 — Хсллпнгера 194
— параметра масштаба 1/1 — х2 194
— — сдвига 175 Робастность 416
— Питмеиа 173
— плотности 57
— подстановки 75
— сверхэффектпвиая 184 Смещение 94
— сильно состоятедьпая 77 Средпсквадратнческий подход к
— состоятельная 77 сравнению оценок 93, 100
— эквивариаптпая 172, 182 Статистика 26
— эффективная 104, 105, 109 — достаточная 128
— /^-эффективная 154 — минимальная достаточная 133
— непараметрпческая 55
— полная 142
Плотность апостериорная 121 — тривиальная достаточная 133
— априорная 120 — X2 43, 53
472 ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Статистики I и II типов 27
Сужение метода подстановки 76
Теорема Гливепко — Каптелли 22, 29
— Неймана — Фишера (факториза-
ционная) 129
Теоремы непрерывности 31
Уровень доверия 251
— значимости критерия 300
Условие (А0) 83, 85
— (Ас) 199
— (Ац) 85
— (# ) 150, 158
— (R R ) 213, 238
Условная вероятпость 114
— плотность 117
Условное математическое ожидание
112, ИЗ
— распределение 116
Устойчивость статистических реше­
ний 415
Фактически достигаемый уровень
301
Формула Байеса 121
— полной вероятности 115
Функционал непрерывно дифферен­
цируемый 48
Функционалы I и II типов 26
Функциональная предельная теоре­
ма для эмпирических процессов
40
Функция логарифмическая 89
— Правдоподобия 89
Эквивариаптное оценивание 180
Эллипсоид рассеивания 102
Экспоненциальное семейство распре­
делении 146
Эмпирическая функция распределе­
ния 22, 29
Эмпирический процесс 39
Эмпирическое распределение 21, 29
сглаженное 56