Probabilitate și statistică aplicată

Prelegere nr. 9
Tema: Оценки. Метод максимального правдоподобия

Titularul cursului conf. univ. dr. Galina Marusic

Chișinău, 2022
1
Оценка для - статистика
.

Как только мы заметили значения выборки , наблюдаемая оценка

имеет численную величину и называется оценкой параметра .

2
 Несмещенная оценка
Оценка называется несмещенной для если
,
и смещенной в противном случае.

Смещение оценки определяется следующим образом:

3
 Минимальная дисперсия
Пусть - несмещенная оценка для .
Эта оценка называется несмещенной оценкой минимальной дисперсии,
если для всех остальных несмещенных оценок для из той же выборки
имеем

Если имеем две несмещенные оценки для заданного параметра, тогда

будем работать с несмещенной оценкой минимальной дисперсии,так как
меньшее значение дисперсии означает что наблюдаемые значения оценки
стремятся быть поближе к среднему значению, то есть к истинному
значению параметра.

4
Теорема (неравенство Rao-Cramer (RC)):
Пусть - выборка длины n из популяции X с плотностью , где –
неизвестный параметр, и пусть

является несмещенной оценкой для . Тогда, дисперсия удовлетворяет

неравенству

если среднее значение и частная производная существуют.

5
Нижняя граница для дисперсии любой несмещенной оценки
представляется неравенством RC, является функцией параметра и
называется нижняя граница Rao-Cramer:

Пусть - несмещенная оценка для параметра . Эффективность

определяется как

Эффективность любой несмещенной оценки является .

Эффективная оценка – несмещенная оценка с эффективностью равной 1.
Из неравенства Rao-Cramer следует что любая эффективная оценка
является несмещенной оценкой минимальной дисперсии. Обратное
утверждение верно только если существует эффективная оценка.
6
 Согласованность
Оценка базирующаяся на выборке размера n является согласованной
оценкой для если

Теорема: Пусть - оценка базирующаяся на выборке размера n. Если

тогда является согласованной оценкой для .

7
 Достаточность
Пусть - выборка популяции X, распределение которой зависит от
неизвестного параметра .
Если является статистикой, так что для любой другой статистики
,
условное распределение Z, исходя из того что , не зависит от , тогда Y
называется достаточной статистикой для параметра .
Если , тогда Y называется достаточной оценкой для .

8
Теорема (критерий факторизации Фишера-Неймана):
Пусть
статистика базирующаяся на выборке размера n непрерывной популяции
X. Тогда Y является достаточной статистикой для тогда и только тогда, если
общая плотность распределения для может быть факторизована
(разложена) как

Если X –дискретная величина, тогда

Достаточность была продемонстрирована Фишером в 1922, а

необходимость – Нейманом 1935.

9
 Метод максимального правдоподобия
(Maximum Likelihood Estimation (MLE))
Введен Фишером в 1922.
Пусть – плотность популяции X, где – единственный параметр, который
нужно оценить из набора значений выборки .
Функция правдоподобия набора n значений популяции – это

Если X – дискретная величина, тогда функция правдоподобия имеет вид:

10
Если даны значения выборки, тогда функция правдободобия L является функцией
зависящей от одной переменной . Процедура оценки параметра на основе метода
максимального правдоподобия состоит в выборе, как оценки для , конкретного значения
которое максимизирует L. Максимум в большинстве случаев появляется для значения
где . Следовательно, в подавляющем числе случаев, оценка максимального
правдоподобия (ОМП) для , на основе значений выборки , может быть определена
следующим образом:

Как мы видели выше, функция L имеет вид произведения 𝜃-функций. Поскольку L всегда
неотрицательна и достигает максимума при том же значении , что и ln𝐿, а ln𝐿 имеет
форму суммы, в общем случае проще получить EVM , решив уравнение

которое называется уравнением правдоподобия.

11
Желаемое решение - это решение, в котором корень является функцией от ,
если такой корень существует. В случае когда существует больше корней
уравнения правдоподобия, оценкой максимального правдоподобия (ОМП)
является корень, соответствующий глобальному максимуму L или .
В случае m параметров, функция правдоподобия имеет вид
,
и ОМП для получаются, решив систему уравнений правдоподобия
.
Возвращаясь к случаю с одним параметром, решение уравнения правдоподобия
представляется в виде

Тогда оценкой максимального правдоподобия (ОМП) для является

12
 Пример
1. Niculescu, pag. 104 – 105

2. https://www.youtube.com/watch?v=Dn6b9fCIUpM&t=631s

13