Вы находитесь на странице: 1из 49

Математическая статистика

Антон Андрейцев
Одна из основная задача математической статистики – это оценка пара-
метров различных моделей (в том числе и распределений) и проверка гипотез.
Если в тервере вам была дана например плотность pξ (x) = 5·e−5x , при x > 0 и
надо было посчитать различные моменты распределения (Матожидание, дис-
персию и так далее), то в математической статистике вопрос скорее такой:
Допустим мы знаем, что наша случайная величина подчиняется Нормально-
му закону распределения или экспоненциальному, но мы не знаем параметры
этого закона распределения и надо оценить эти параметры и сказать, какими
хорошими свойставами обладают эти оценки.

Основные определения:

Оценка θ̂n называется несмещённой, если Mθ̂n = θ

Оценка θ̂n называется эффективной, если её дисперсия минимальна,


среди всех оценок в этом классе: Dθ̂n → min
θ̂

Оценка θ̂n называется состоятельной,


  если она стремится по вероятности
к истинному параметру: P |θ̂n − θ| <  → 1 при n → ∞

1
Оценка параметров и вычисление эф-
фективности
Пример : Доказать для показательного распределения, с функцией
плотности p(x, θ), что выборочное среднее является эффективной оценкой
матожидания. (M̂ x = x̄)
 1 −x
e θ , если x ≥ 0,
p(x, θ) = θ
0 , если x < 0
θ̂ = x̄
Информационное неравенство:
1
Dθ̂ ≥ n·I(θ)
 n
 n
1
P 1
P n·Dxi
Dθ̂ = Dx̄ = D xi n = n2 Dxi = n2 =
( i=1 ) i=1
+∞
 +∞ 2
θ2
R 2 −x x
1
x e θ dx − 1θ xe− θ dx = θ2 =
R
Dxi = θ n
0 0

I(θ) = −M (ln p(x, θ)00θθ )


x
ln p(x, θ) = − ln θ − θ

x 0
ln p(x, θ)00 = − 1θ + 1 2x

θ 2 = θ2 − θ3

I(θ) = −M (ln p(x, θ)00θθ ) = M 2x 1 2·Mx 1 2·θ 1 1



θ3 − θ2 = θ3 − θ2 = θ3 − θ2 = θ2
2 W 2
Итак: Dθ̂ = θn nI(θ) 1
= θn ⇒ Dθ̂ = 1
n·I(θ) ⇒ θ̂ =
x̄- эффективная оценка параметра θ

Пример: В случае распределения Парето проверить эффективность


оценки параметра θ : θ̂ = x̄2
θ 3
 
F (x, θ) = 1 − x , если x ≥ θ
0 , если x < θ
Информационное неравенство:

2
1
Dθ̂ ≥ n·I(θ)

p(x, θ) = −θ3 · (−3) · x−4 = 3θ3 x−4 при x ≥ θ


+∞ +∞
−3 3θ3 3θ 3θ
3
R
Mx = 3θ x dx = −2x2 θ =0+ 2 = 2
θ
+∞ +∞
−2 −3θ3
2 3
R
Mx = 3θ x dx = x θ = 0 + 3θ2 = 3θ2
θ
2 2
Итак : Dx = Mx2 − (Mx)2 = 3θ2 − 9θ4 = 3θ4
 n  n 3θ 2
1 1 3θ2
P P
Dθ̂ = D 2n xi = 4n2 Dxi = 4n
4
= 16n
i=1 i=1

I(θ) = M ln2 p(x, θ)0θ




ln p(x, θ) = ln 3 + 3 ln θ − 4 ln x

ln p(x, θ)0 = 3
θ

3 2 9

I(θ) = M θ 2 = θ2

3θ2 1 θ2
Итак : Dθ̂ = 16n > nI(θ) = 9n ⇒ θ̂ - неэффективная оценка параметра θ

Пример : Доказать, что выборочное среднее является эффективной


x
оценкой параметра λ в распределении Пуассона p(x, λ) = λx! e−λ

λ̂ = x̄

Информационное неравенство:
1
Dλ̂ ≥ n·I(λ)

Mx = λ, Dx = λ
 n 
Dλ̂ = D n1 1 λ
P
xi = n2 · nλ = n
i=1

I(λ) = −M (ln p(x, λ)00λλ )

ln p(x, λ) = x ln λ − ln x! − λ

3
0
ln p(x, λ)00 = x
λ − 1 = − λx2
x 1

I(λ) = M λ2 = λ

λ 1 λ
Итак : Dλ̂ = n = nI(λ) = n ⇒ λ̂ = x̄- эффективная оценка параметра λ

Пример : Доказать, что для геометрического распределения


p(x, p) = p(1 − p)x−1 c p = 1θ выборочное среднее является эффектив-
ной оценкой параметра θ
x−1
1 1 x−1 (θ−1)

p(x, θ) = θ 1− θ = θx , θ̂ = x̄
1− 1
Mx = 1
p = θ, Dx = 1−pp2 = 12 = θ (θ − 1)
θ

θ
 n 
1
xi = n12 · nDxi = θ(θ−1)
P
Dθ̂ = D n n
i=1

I(θ) = −M (ln p(x, θ)00θθ )

ln p(x, θ) = (x − 1) ln (θ − 1) − x ln θ
x 0
(ln p(x, θ))00 = x−1 1−x x

θ−1 − θ = (θ−1)2 + θ2

 
x−1 x 1
I(θ) = M (θ−1)2 − θ2 = θ−1 − 1θ = θ(θ−1)
1

θ(θ−1) 1 θ(θ−1)
Итак : Dθ̂ = n = nI(θ) = n ⇒ оценка θ̂ - эффективная

Пример : Пусть F (x, θ) = ex−θ , при x < θ. Построить несмещённую


оценку параметра θ на основе xmax , доказать её сверхэффективность.

Fxmax (x, θ) = F n (x, θ) = enx−nθ при x < θ.

pxmax (x, θ) = nenx−nθ при x < θ.

Rθ Rθ
M(xmax ) = x · pxmax (x, θ)dx = n xenx−nθ dx =
n −∞ −∞ o
nx−nθ enx−nθ
интегрирование по частям: u = x, du = dx, dv = e dx, v = n =
nx−nθ θ
θ
xenx−nθ −∞ − e n = θ − 0 − n1 + 0 = θ − n1
−∞

Вывод: Если в качестве оценки параметра θ мы возьмём xmax , то это


будет смещенная оценка , так как M(xmax ) 6= θ. Если же θ̂ = xmax + n1 , то

4
1 1
Mθ̂ = θ + n − n = θ ⇒ θ̂ - несмещенная оценка параметра θ.

Проверим эту оценку на эффективность.


1
Mx2max − (Mxmax )2 =

Dθ̂ = D xmax + n = D (xmax ) =

Rθ 1 2
θ 2
2
xenx−nθ dx − θ − n1 =

n x2 enx−nθ dx − θ − n = x2 enx−nθ −∞ − n ·n
−∞
| −∞ {z }
θ− n1
2 1 1 2 1 2 1
   
θ2 − n θ− n − θ− n = θ2 − θ − n 1+ n = n2

I(θ) = M (ln p(x, θ)0θ ) = M (−1)2 = 1




ln p(x, θ)00 = (x − θ)0θ = −1


1 1 1
W
Итак : Dθ̂ = n2 nI(θ) = n

1 1
Dθ̂ < nI(θ) ⇒ оценка θ̂ = xmax + n - сверхэффективна

Пример : Найти по выборке x1 , x2 , . . . , xn точечную оценку параметра p


геометрического распределения p(x, p) = p(1 − p)x−1 , x ≥ 1
n
p(1 − p)xi −1 = p(1 − p)x1 −1 · p(1 − p)x2 −1 · · · · · p(1 − p)xn −1 =
Q
L(p) =
i=1
n
P
xi −n
pn (1 − p)i=1 → max
p
n 
P
ln L(p) = n ln p + xi − n ln(1 − p) → max
i=1 p
n
P
xi −n
(ln L(p))0p = n
p − i=1
1−p =0
n
P
n−6np−p xi +6pn n
1 1
P
i=1
p(1−p) =0⇒n=p xi ⇒ p̂ = 1
n
P ⇒ p̂ = x̄
i=1 n xi
i=1

Пример : Найти оценку методом моментов параметра λ распределения


Лапласа, заданного плотностью p(x, λ) = λ2 e−λ|x|
n
n
P
−λ |xi |
λ −λ|xi | λn
Q
L(λ) = 2e = 2n e
i=1 → max
i=1 λ

5
n
P
ln L(λ) = n ln λ − n ln 2 − λ |xi | → max
i=1 λ
n
(ln L(λ))0λ = n n
P
λ − |xi | = 0 ⇒ λ̂ = n
P
i=1 |xi |
i=1

Пример : Функция распределения случайной величины ξ имеет вид


θ
F (x, θ) = e− x2 , x > 0, θ > 0. Найти оценку параметра θ методом максималь-
ного правдоподобия.
θ θ
p(x, θ) = e− x2 (−θ)(−2x−3 ) = 2θx−3 e− x2 , x > 0
n
n 1
P
− θ2 −θ
x2
2θx−3 = 2n θn (x1 · x2 · · · · · xn )−3 · e
Q
L(θ) = i e x
i i=1 i → max
i=1 θ
n n
1
P P
ln L(θ) = n ln 2 + n ln θ − 3 ln xi − θ x2i
→ max
i=1 i=1 θ
n
(ln L(θ))0θ = n 1 n
P
θ − x2i
= 0 ⇒ θ̂ = n
P 1
i=1 x2
i=1 i

Пример: Для сдвинутого показательного распределения, найти оценки


x−µ
параметров µ и θ, p(x, µ, θ) = 1θ e− θ , θ > 0, x ≥ µ
n
P
xi −nµ n
1 − i=1
⇒ ln L(µ, θ) = −n ln θ − 1θ xi + n µθ → max
P
L(θ, µ) = θn e
θ

i=1 µ,θ
 n 
ln L(µ, θ)0θ = − nθ + θ12
P
xi − nµ = 0

i=1
ln L(µ, θ)0µ = nθ > 0 ∀n ∈ N ⇒ по µ задача неограничена


µ → maxµ
Итак получаем задачу: ⇒ µ̂ = xmin
µ ≤ xmin
n
P
Подставляем в первое уравнение: −nθ + xi − nµ̂ = 0 ⇒ θ̂ = x̄ − xmin
i=1

Ответ: θ̂ = x̄ − xmin , µ̂ = xmin

Пример : Доказать эффективность оценки параметра θ полученной


методом максимального правдоподобия для Гамма распределения при
α−1 x
известном параметре α: p(x, α, θ) = θxα Γ(α) e− θ , x > 0
n
n 1
P
Q xα−1 x
− θi (x1 ·x2 ·····xn )α−1 − θ xi
L(θ) = α
i
θ Γ(α) e = θnα Γ(α)n e i=1 → max
i=1 θ

6
n n
1
P P
ln L(θ) = (α − 1) ln xi − nα ln θ − n ln Γ(α) − xi → max θ
i=1 i=1 θ
n
n
(ln L(θ))0θ = − nα

+ θ12 xi = 0 · θ2 > 0 ⇒ −nαθ +
P P
θ xi = 0 ⇒ θ̂ =
i=1 i=1
n
1
P
n xi
i=1 x̄
α , θ̂ = α

Нашли оценку, теперь выясняем, эффективна ли она?

Информационное неравенство (Рао-Фреше-Крамера):


1
Dθ̂ ≥ n·I(θ)
 n
 n
1 1
P P
Dθ̂ = D nα xi = n2 α 2 Dxi =
i=1 i=1
nαθ2 θ2

xi ∼ Gamma(α, θ) ⇒ Mxi = αθ, Dxi = αθ2 = n2 α 2 = nα

I(θ) = −M (ln p(x, α, θ)00θθ )


x
ln p(x, α, θ) = (α − 1) ln x − α ln θ − ln Γ(α) − θ

x 0
(ln p(x, α, θ))00θθ = − αθ + α 2x

2
θ θ = θ2 − θ3

2x α 2αθ α α

I(θ) = M θ3 − θ2 = θ3 − θ2 = θ2

θ2 1 θ2
Итак: D(θ̂) = nα = nI(θ) = nα ⇒ θ̂ - эффективная оценка параметра θ

Пример: Распределение Кэптейна имеет плотность вида p(x, a, σ 2 ) =


2
g 0 (x) − (g(x)−a)

2πσ 2
e 2σ2
, где g(x)- дифференцируемая функция. Найти методом мак-
симального правдоподобия точечную оценку параметра a, при известном σ.
n
n 2 1
(g(xi )−a)2
P
g 0 (x ) (g(xi )−a)
g 0 (x1 )·g 0 (x2 )·····g 0 (xn ) − 2σ2
√ i e− 2σ2
Q
L(a) = 2πσ 2
= n e i=1 → max
σ n (2π) 2 a
i=1
n n
g 0 (xi ) − n ln σ − n2 ln 2π − 1
(g(xi ) − a)2 → max
P P
ln L(a) = 2σ 2
i=1 i=1 a
n n
(ln L(a))0a = 2 1
P P
2σ 2 (g(xi ) − a) = 0 ⇒ â = n g(xi )
i=1 i=1

Пример: Найти оценки методом максимального


 правдоподобия логнор-
2
мальной случайной величины ξ ∈ exp N (a, σ )

7
(ln x−a)2
1 −
p(x, a, σ) = xσ


e 2σ 2

n
n (ln xi −a)2 − 2σ12 (ln xi −a)2
P
1√
e− 1 −1
Q
L(a, σ) = xi σ 2π
2σ 2 = n
n · (x1 · x2 · · · · · xn ) e i=1
σ (2π) 2
i=1
n n
ln L(a, σ) = −n ln σ − n2 ln 2π − ln xi − 2σ1 2 (ln xi − a)2 → max
P P
i=1 i=1 a,σ
 n n
 ln L(a, σ)0a = σ12 (ln xi − a) = 0 ⇒ â = n1
P P
ln xi


i=1 i=1
n n
0 n 1 1
(ln xi − a)2 = 0 ⇒ σ̂ 2 = (ln xi − â)2
P P
 ln L(a, σ)σ = − σ +

σ3
 n
i=1 i=1

Пример: Доказать, что не существует эффективных оценок дисперсии


для нормального распределения.

Теорема 1 ( о существовании эффективных оценок) Если эф-


фективная оценка существует, то она является оценкой по методу
максимального правдоподобия

Следствие: Если оценка по методу максимального правдоподобия –


неэффективна, то эффективных оценок не существует вообще.
(x−a) 2

p(x, a, σ) = √1 e− 2σ2
σ 2π
n
2 1
(xi − x̄)2 = x¯2 − x̄2
P
σ̂ = n
i=1
2
s (n−1)
Dσ̂ 2 =? ⇒ Известно,
 что
 σ2 ∼ χ2 (n − 1), так же известно, что
2
(n−1)2 Ds2 2σ 4
D χ2 (n) = 2n ⇒ D s (n−1)
 2
σ 2 = σ 4 = 2(n − 1) ⇒ Ds = n−1

n−1 2
 (n−1)2 2σ 4 2σ 4 (n−1)
Dσ̂ 2 = D n s = n2 · n−1 = n2

I(σ 2 ) = −M ln p(x, a, σ 2 )00σ2 σ2




2
ln p(x, a, σ 2 ) = − 21 ln 2π − 12 ln σ 2 − (x−a)
σ2
 0
2 00 1 (x−a)2 2(x−a)2
= 2σ1 4 −

ln p(x, a, σ ) σ2 σ2 = − 2σ2 + σ4 σ6
 
2 2(x−a)2 1 2σ 2 1 3
I(σ ) = M σ 6 − 2σ 4 = σ 6 − 2σ 4 = 2σ 4

8
2σ 4 (n−1) 2σ 4 n−1 1
Итак: n2 > 3n ⇐ n > 3n ∀n > 1

Вывод: оценка метода максимального правдоподобия неэффективна ⇒6 ∃


эффективных оценк дисперсии нормального распределения. Доказать её
несмещенность.

Пример: Найти методом максимального правдоподобия оценку пара-


1
метра θ для геометрического распределения, где p = 1+θ ,θ ≥ 0
1 θ x−1 θx−1

p(x, p) = p(1 − p)x−1 , p(x, θ) = 1+θ 1+θ = (1+θ)x

1
Mx = p ⇒ Mx = 1 + θ
n
P
n xi −n
θxi −1 θi=1
Q
L(θ) = (1+θ)xi = n
P → max
i=1 xi θ
(1+θ)i=1
 n
 n
P P
ln L(θ) = xi − n ln θ − xi ln (1 + θ) → max
i=1 i=1 θ
n
P n
P
xi −n xi n n n
(ln L(θ))0θ =
P P P
i=1
θ − i=1
1+θ =0⇒ xi + θ xi − n − nθ − θ xi = 0,
i=1 i=1 i=1
θ̂ = x̄ − 1
 n
 n
1
P 1
P n(1+θ)
Mθ̂ = M n xi − 1 = n Mxi − 1 = n − 1 = θ ⇒ оценка θ̂
i=1 i=1
является несмещённой

Пример: В случае сдвинутого показательно распределения


x−µ
p(x, θ, µ) = 1θ e− θ , при x > µ, (µ > 0, θ > 0) найти оценки параметров
µ, θ методом моментов.
x
В случае обычного показательного распределения p(x, λ) = λ1 e− λ , x ≥ 0 ⇒
+∞
x
Mx = 1θ xe− θ dx = θ, Dx = M x2 − (Mx)2 = θ2
R 
0
+∞ x−µ
1
xe−
R
Mx = θ
θ dx = {x − µ = t, dx = dt, t ∈ [0, +∞)} =
µ
Z+∞ +∞
1 − θt µ
R −t −
+∞
t
te dt + θ e θ dt = θ − µe θ =θ+µ
θ 0 0
0
| {z }
θ

9
+∞ +∞
Z+∞ Z+∞
x−µ t t 2 t
1
x2 e− 1
t2 e− θ dt + 2µ
te− θ dt + µθ e− θ dt =
2
 R R
M x = θ
θ dx = θ θ
µ 0
|0 {z } |0 {z }
  θ2 θ

 Z+∞ 
t +∞
t
2 −θ −θ 

1

θ −θt e +2θ te dt + 2µθ + µ2 = 2θ2 + 2µθ + µ2
{z 0 }

| 
0 |0 {z }
θ2
Dx = 2θ2 + 2µθ + µ − θ2 − 2µθ − µ2 = θ2
2

ˆ = s2
Метод моментов: M̂x = x̄, Dx
 
θ̂ + µ̂ = x̄ µ̂ = x̄ − s

θ̂2 = s2 θ̂ = s

Пример: Найти оценку параметра θ методом моментов и мето-


дом максимального правдоподобия распределения Рэлея с плотностью
−x2
p(x|θ) = θx2 e 2θ2 , x ∈ R+

Метод Максимального Правдоподобия


n
n −x2 − 2θ12 x2i
P
Q xi i x1 ·····xn
L(θ) = θ2 e
2θ 2 = θ2n e
i=1 → max
i=1 θ
n n
1
x2i → max
P P
log L(θ) = log xi − 2n log θ − 2θ2
i=1 i=1 θ
v
n
n
u n
u1 X
log L(θ)0θ = − 2n 1 2 2 2 2
x2i
P P
θ + θ3 xi = 0 · θ ⇒ 2nθ = xi ⇒ θ̂ = t
i=1 2n i=1 i=1

Метод Моментов
+∞ x2 2 √ √
1
x2 e− 2θ2 dx = { 2θ
x x
R
Mx = θ2 2 = t, dt = θ2 dx, x = 2θ2 t} =
0
Z+∞
+∞ x2
− 2θ x √ 3 √ √ √
t 2 −1 e−t dt = 2 θΓ( 32 ) = 2θ 12 π = θ π2 ⇒
R p
x·e 2
· 2 dx = 2θ
0 |θ {z }
dt |0 {z }
Γ( 23 )

10
r
pπ 2
θ̂ 2 = x̄ ⇒ θ̂ = x̄
π
Пример: Найти оценку параметра θ методом моментов и методом
θ
максимального правдоподобия распределения p(x|θ) = (1+x) θ+1 , x ≥ 0

Метод Максимального Правдоподобия


θn
L(θ) = n → max
θ
Q
(1+xi )θ+1
i=1
n
P n
P
log L(θ) = n log θ−(θ+1) (1+xi ) = n log θ−(θ+1)n−(θ+1) xi → max
i=1 i=1 θ
n 1
log L(θ)0θ n n
P
= θ −n− xi = 0 ⇒ θ̂ = n ⇒ θ̂ =
i=1 n+
P
xi 1 + x̄
i=1

Метод Моментов
+∞
x · (1 + x)−θ−1 dx = {1 + x = t, x = t − 1, dx = dt, t ∈
R
Mx = θ
0
+∞ +∞
 
1−θ +∞ −θ +∞

[1, +∞)} = θ (t − 1)t−θ−1 dt = θ t−θ − t−θ−1 dt = θ · t1−θ + t θ
R R
=
1 1 1 1

1 1
 θ 1 1 1 + x̄
θ 0+ θ−1 − θ = θ(θ−1) = θ−1 ⇒ = x̄ ⇒ θ̂ =
θ̂−1 x̄
Пример: Найти оценку параметра αметодом максимального правдопо-
добия распределения p(x|α) = Γ(2α)
Γ(α)2 x
α−1
(1 − x)α−1
n
Γ(2α)n
xα−1 (1 − xi )α−1 → max
Q
L(α) = Γ(α)2n i
i=1 α
n
P n
P
log L(α) = n log Γ(2α) − 2n log Γ(α) − (α − 1) log xi − (α − 1) log(1 −
i=1 i=1
xi ) → max
α
n
nΓ(2α)0α 2nΓ(α)0α
log L(α)0α =
P
Γ(2α) − Γ(α) − log xi (1 − xi ) = 0
i=1

Пример: Два Геометрических распределения

Пусть X, Y ∼ Geom(p), X и Y - независимы. Доказать, что


U = min(X, Y ) и V = X − Y независимы.

Решение:

11
Напомним, что X ∼ Geom(p) → P(X = x) = p · (1 − p)x−1 , x = 1, 2, . . .
Найдём совместное распределение Uи V :
P(X − Y = v, Y = u), v ≥ 0
P(U = u, V = v) = =
  P(X − Y = u, X = u), v < 0
P(X = u + v, Y = u), v ≥ 0 p(1 − p)u+v−1 · p(1 − p)u−1 , v ≥ 0, u = 1, 2, . . .
=
P(X = u, Y = u − v), v < 0 p(1 − p)u−1 · p(1 − p)u−v−1 , v < 0, u = 1, 2, . . .
Итак:
P(U = u, V = v) = p2 (1 − p)2u−2+|v| , u = 1, 2, 3, . . . , v =
. . . , −2, −1, 0, 1, 2, . . .
p2
P(U = u, V = v) = (1−p)2 · (1 − p)2u · (1 − p)|v| , u ∈ Z+ , v ∈ Z
+∞ +∞
2u
(1 − p)|v|
P P
Найдём (1 − p) и
u=1 v=−∞
+∞ +∞
(1 − p)2u (1 − p)2 } qu
P P
= {q = = =
u=1 u=1
q (1−p)2 (1−p)2
{сумма геометрической прогрессии} = 1−q = 1−(1−p)2 = p(2−p)

+∞ +∞
1−p 2−p
(1 − p)|v| = (1 − p)0 + 2 · (1 − p)v = 1 + 2 ·
P P
1−(1−p) = p
v=−∞ v=1

Тогда перепишем P(U = u, V = v) в виде:


p2 2u p(2 − p) (1−p)2 |v| p 2−p
P(U = u, V = v) = (1−p)2 · (1 − p) · · p(2−p) (1 − p) · ·
(1 − p)2 2−p p
| P
{z } | P
{z }
=1 =1
u v

Итак:
p(2 − p) |v| p
P(U = u, V = v) = (1 − p)2u · · (1 − p) · .
(1 − p)2 2−p
| {z } | {z }
P(U =u) P(V =v)
Следовательно U и V - независимы.

Пример: (Игра в дартс)

Пусть дана выборка (x1 , y1 ), . . . , (xn , yn ) ∼ Uniform(A), A = {(x, y) ∈


R |x2 + y 2 ≤ θ2 } - круг радиуса θ (неизвестный параметр).
2

1. Найдите оценку параметра θ на основе ММП.

12
2. Является ли оценка из пункта 1 несмещённой? Если нет, исправьте её,
чтобы она стала несмещённой.

Решение:

1. px,y (x, y) = πθ1 2 , при (x, y) ∈ A


n p
px,y (xi , yi ) = πn1θ2n , при x2i + yi2 ≤ θ, i = 1, . . . , n
Q
L=
i=1 (
θ → min
log L = −2n · log θ − n · log π → max ∼ p 2 θ
θ xi + yi2 ≤ θ , i = 1, . . . , n
p p
x2i + yi2 ≤ θ ∼ θ ≥ max x2i + yi2
i

θ → min
( q
θ
Итак: p ⇒ θ̂ = max x2i + yi2
θ ≥ max x2i + yi2 i
i

2. p
Проверим оценку θ̂ на несмещённость,p
для этого найдём распределение
xi + yi , а затем распределение max x2i + yi2 .
2 2
i

2 −x2
p Rz θR
1
Ui = x2i + yi2 , FUi (z) = dx πθ2 dy = {x = z · sin t} = · · · =

−z − θ2 −x2
2
z 2z
, z ∈ [0, θ] ⇒ p U (z) = , z ∈ [0, θ]
θ2 i
θ2
z 2n 2n·z 2n−1
Fmax Ui (z) = FUi (z)n = θ2n , ⇒ pmax Ui (z) = θ2n
i i

2n
Rθ 2n 2n
θ
x2n+1 2n · θ
Тогда: Eθ̂ = E(max Ui ) = θ2n x dx = θ2n · 2n+1 0 = 6= θ ⇒ θ̂ -
i 0 2n + 1
смещённая оценка.

2n + 1
q
Несмещённая оценка будет выглядеть так: θ̃ = · max x2i + yi2
2n i

Пример: Доказать, что для распределения Бернулли p(ξ = x) =


− p)n−x оценка p̂ = nx̄ является эффективной.
Cnx px (1

x ∼ Bern(p) ⇒ Mx = np, Dx = np(1 − p)

13
 n

1
P 1 p(1−p)
Dp̂ = D n2 xi = n4 · n · np(1 − p) = n2
i=1

I(p) = −M ln p(x, p)00pp




ln p(x, p) = ln Cnm + x ln p + (n − x) ln(1 − p)


 0
00 x n−x
(ln p(x, p))pp = p − 1−p = − px2 − (1−p) n−x
2
p
 
n−x x n−np np n n np+n−np n
I(p) = M (1−p)2 + p2 = (1−p) 2 + p2 = 1−p + p = p(1−p) = p(1−p)

p(1−p) p(1−p) 1
Итак: Dp̂ = n2 = n2 = nI(p) ⇒ p̂ - эффективная оценка
λ −λ|x|
Пример: Для распределения Лапласа p(x, λ) = 2e найти оценку
параметра λ методом максимального правдоподобия.
n
n
P
n −λ |xi |
λ −λ|xi | λ
Q
L(λ) = 2e = 2n e
i=1 → max
i=1 λ
n
P
ln L(λ) = n ln λ − n ln 2 − λ |xi | → max
i=1 λ
n
n n
P
λ − |xi | = 0 ⇒ λ̂ = n
P
i=1 |xi |
i=1

Пример: Случайная величина ξ имеет распределения Стьюдента с n


степенями свбоды, найти рапсределение случайной величины η = ξ 2

Γ( n+1
− n+1
2 )

x2 2
x ∼ t(n) ⇒ p(x) = n √
Γ( 2 ) nπ
1+ n
−1
pη (y) = pξ (ψ (y)) dψ dy(y)
−1


−1
y = x ⇒ x = ± y, dψ dy(y) =
2 1


2 y

−1 Γ( n+1
2 )
 n+1
y − 2
pξ (ψ (y)) = n √
Γ( 2 ) nπ
1+ n

Γ( n+12 )
 n+1 1
y − 2
pη (y) = √
Γ( n2 ) nπ
1+ n

y

Пример : Найти матожидание и дисперсию распределения χ2n .


n x
p(x) = n
1
x 2 −1 e− 2 , x > 0
( )
2 2 Γ n2

14
+∞ n
Z+∞
n x n
1
x 2 e− 2 dx = {t = x
⇒ dt = 12 dx} = 2·2 2
t 2 e−t dt =
R
Mx = n
2 n
0
2 2 Γ n2 ( ) ( )
2 2 Γ n2

|0 {z }
Γ( n
2 +1 )
(
Γ n2 +1 ) n
2Γ 2
n
( )
2· =2· =n
Γ n2( ) Γ n2( )
Dx = M(x2 ) − M(x)2 = n(n + 2) − n2 = 2n

+∞ n
Z+∞
n
n
− x2 22 2 2
1
dx = { x2 = t, 2t = x} = t 2 +1 e−t dt =
R
M(x2 ) = n x 2 +1 e n
2 2 Γ( n2 ) ( )
2 2 Γ n2
0
|0 {z }
Γ( n
2 +2 )
4 n n 4 n n n
    
Γ( n2 ) 2 +1 Γ 2 +1 = Γ( n2 ) 2 +1 2 Γ 2 = n(n + 2)

Пример : Доказать, что распределение χ2n сходится к нормальному со


средним n и дисперсией 2n при n → ∞
n x
x ∼ χ2n ⇒ p(x) = n
1
x 2 −1 e− 2 , x > 0
( )
2 2 Γ n2
√ n n

Вспомним формулу Стирлинга : n! ∼ 2πn e ,
p n−1
Γ (n) = (n − 1)! ∼ 2π(n − 1) n−1
e

n
 n
 q
n
  n2 −1  n2 −1
Следовательно Γ 2 = 2 −1 ! ∼ 2π 2 −1 e =
1  n−1 n
(2π) 2 n2 − 1 2 e− 2 +1
n x
x 2 e− 2
p(x) ∼ n 1 n−1 n
2 2 (2π) 2 ( n2 −1) 2
e− 2 +1

Пример : Для показательного распределения с плотностью


p(x, λ) = λe−λx , x ≥ 0 доказать несмещённость и асимптотическую эф-
фективность оценки λ̂ = n−1
nx̄ параметра λ.
x
Введём новый параметр λ = 1
θ ⇒ p(x, θ) = 1θ e− θ , x ≥ 0
nx̄
Тогда θ̂ = n−1

1
Информационное неравенство: D(θ̂) ≥ nI(θ)

15
 n

nx̄ n2 1 n2 ·n·θ2 nθ2
 P
D(θ̂) = D n−1 = (n−1)2 D n xi = (n−1)2 n2 = (n−1)2
i=0

I(θ) = M (− ln p(x, θ)00θθ )


x 0
ln p(x, θ) = − ln θ − xθ , (ln p(x, θ))00θθ = − 1θ + 1 2x

2
θ θ = θ2 − θ3

I(θ) = M − θ12 + 2x 2θ 1 1

θ3 = θ3 − θ2 = θ2

1 θ2 θ2 1
Итак: nI(θ) = n , D(θ̂) ∼ n при n → ∞ ⇒ D(θ̂) ∼ nI(θ)

nx̄
Итак: θ̂ = n−1 – эффективная оценка параметра θ

Несмещенность: M(θ̂) = θ?
n
nx̄ n 1 nθ
 P
M(θ̂) = M n−1 = n−1 n θ = n−1 6= θ, но M(θ̂) → θ при n → ∞ ⇒ θ̂ –
i=1
асимптотически несмещенная оценка.

Пример: Для оценивания параметра σ Нормального распределения


n
2 c
P
N (0, σ ) намереваются использовать оценку вида σ̃ = n |xi |, найти
i=1
константу c при которой оценка σ̃ является несмещённой , вычислить её
эффективность.

Несмещённость: M(σ̃) = σ

 n  n
cnσ
√ 2
M(σ̃) = M nc |xi | = nc
P P pπ
M (|xi |) = n π
=σ⇒c= 2
i=1 i=1
+∞ x2
√1 |x|e− 2σ2 dx –под интегралом чётная функция ⇒
R
M (|xi |) = σ 2π
−∞
+∞ x2 x 2
x 2 2 R0 √ √
√2 − 2σ − 2σ
− σx2 e− 2 −2σ √2σ t|10 σ√ 2
R
σ 2π
xe 2
dx = {e 2
= t, dt = dx} = √
σ 2π
dt = π
= π
0 1
√ P n
Итак : несмещённая оценка имеет вид σ̃ = √π |xi |
2n
i=1
√ n  n
π P π
P π 2
 2 σ 2 (π−2)
D(σ̃) = D √
2n
|x i | = 2n 2 D (|x i |) = 2n 2 n 1 − π σ = 2n
i=1 i=1

D(|xi |) = M(x2 ) − M(|xi |)2 = σ 2 − σ 2 π2 = 1 − 2



π σ2
+∞ x 2 √ +∞
R 2 − x2
√1 2 − 2σ √2
2
R
M(x ) = σ 2π
xe 2
dx = σ π
x e 2σ2 dx =
−∞ 0

16
√ +∞   x − x2  x2 x2
2 2
= {e− 2σ2 = v, dv = − σx2 e− 2σ2 dx, u = −σ 2 x, du =
R

σ π
−σ x − 2 e 2σ2 dx
0 | {z } | σ {z }
u
 dv 
 +∞

√ 
 +∞
Z 
x2 x2

− 2σ2 − 2σ2

−σ 2 dx} = σ√2π  −σ 2
xe + σ 2
e dx  = σ2

 0 

 |0 √{z }
π
σ 2
2
Можно проще: D |xi | = Mx2 − (Mx) , x ∼ N (0, σ 2 ) ⇒ Mx = 0, Dx =
| {z }
=0
M(x ) = σ ⇒ в данном случае D |x| = Dx = σ 2
2 2

+∞ √ +∞ x2
2 π
e−x dx = e− 2σ2 dx = { σ√
x
R R
2 - интеграл Пуассона ⇒ 2
= t, dx =
0 0
√ √ +∞
2 √ √
π
e−t dt =
R pπ
σ 2dt} = 2σ 2σ 2 =σ 2
0

Информация по Фишеру: I(σ) = M (− ln p(x, σ)00σσ )


2
ln p(x, σ) = − ln σ − 21 ln(2π) − 2σ
x
2

 0
00 x2 2
1
ln p(x, σ)σσ = − σ + σ3 = σ12 − 3x σ 4
σ
 2 
3σ 2
Итак: I(σ) = M 3x 1
σ4 − σ2 = σ4 − σ2 =
1 2
σ2
2
σ2
Dσ̃ = σ (π−2)
2n > 1
nI(σ) = 2n ∀n ∈ N ⇒ σ̃ – неэффективная оценка
параметра σ.

Пример: Если x1 ∼ P oisson(λ1 ), x2 ∼ P oisson(λ2 ), то как распределе-


на случайная величина x1 + x2 ?
λk1
P (x1 = k) = · e−λ1 ⇒ P (x1 + x2 = k) =?
k!
k k
λj1 k−j
λ2
· e−λ1 · (k−j)! · e−λ2 =
P P
P (x1 + x2 = k) = P (x1 = j) · P (x2 = k − j) = j!
j=0 j=0
k k
k! X
e−(λ1 +λ2 ) · 1
·λj1 · λk−j = e−(λ1 +λ2 ) · 1
Ckj · λj1 · λk−j
P
k! · 2 k! · 2 =
j=0 j! · (k − j)! j=0
| {z }
Ckj
| {z }
Бином Ньютона

17
(λ1 + λ2 )k −(λ1 +λ2 )
·e
k!
Итак: x1 + x2 ∼ P oisson(λ1 + λ2 )

Пример: (Вычисление плотности Распределения χ2 )


n
χ2n = ξi2 ,
P
ξi ∼ N (0, 1)
i=1
x 2
pξi (x) = √1 e− 2 ⇒ pη (y) = pξ (ψ −1 (y)) · ψ −1 (y)0


η = ξ 2 ⇒ y = x2 ⇒ x = ± y
1 −y 1 −y 1 −y
pη (y) = √ √ e 2
2 y 2π
+ √ √ e 2
2 y 2π
= √ √ e 2
y 2π
x
Итак: pξi2 (x) = √ 1 e− 2 , x ≥0
2πx

Найдём характеристическую функцию:


+∞ +∞
1
itξi2 2 −1 − x2 1 1
√1 √1 x 2 −1 e−x( 2 −it) dx =
R itx
R
φξi2 (t) = M(e )= 2π
·x ·e · e dx = 2π
0 0
+∞ 1
dy ( 12 −it) 2
{( 12 − it) · x = y, dx = √1 e−y ( 1dy √1 · √ 11
R
( 12 −it)
} = 2π

y −it)
= 2π
·
0 2 2 −it

Z+∞
1 1
y 2 −1 e−y dy = (1 − 2it)− 2
|0 {z √
}
Γ( 12 )= π

По свойству характеристической функции: pξ1 +ξ2 (x) → φξ1 (t) · φξ2 (t)
n n n 1 n
ξj2 (1 − 2it)− 2 = (1 − 2it)− 2
P Q Q
→ φξj (t) =
j=1 j=1 j=1

При подсчёте характеристической функции нам понадобилось значение


Гамма функции, возможно распределение χ2 имеет к нему какое-то отноше-
ние.

Найдём характеристическую функцию Гамма распределения:


x
x ∼ γ(α, λ) ⇒ px (x) = 1
λα Γ(α) · xα−1 e− λ , x ≥ 0

18
+∞ +∞
xα−1 e−x( λ −it) dx = {x( λ1 − it) =
1
1 α−1 − λx +itx 1
R R
φx (t) = λα Γ(α) x e dx = λα Γ(α)
0 0
Z+∞
y, 1
dy
= x} = 1
λα Γ(α) · 1
α · y α−1 e−y dy = (1 − λit)−α
λ −it ( )
1
λ −it

|0 {z }
Γ(α)

Заметим, что характеристическая функция распределения χ2n переходит


в характеристическую функцию Гамма распределения при α = n2 и λ = 2.
То есть:

1 n x
χ2n = γ( n2 , 2) ⇒ pχ2n (x) = x 2 −1 e− 2 , x ≥ 0
n
2 Γ( n2 )
2

Пример (вывод распределения выборочной дисперсии):


n
1
Пусть xi ∼ N (a, σ 2 ), и пусть s2 = (xi − x̄)2 . Найти распределение
P
n−1
i=1
n
2
P
(xi −x̄)
(n−1)·s2
σ2 = i=1
σ2 ∼?

Решение:
n
xi −a 2
P 
Рассмотрим случайную величину ξ = σ , которая по определению
i=1
имеет распределение ξ ∼ χ2n (Так как xiσ−a ∼ N (0, 1)).
n  2 n
(xi −x̄)+(x̄−a) 1 2
(xi − x̄)2 +
P P
Преобразуем её: ξ = σ = σ2 · σ 2 (x̄ − a) ·
i=1 i=1
n n
n n
P
(xi −a)2
P
(xi −a)2  2
n·(x̄−a)2
X
x̄) + σ12 2 x̄−a
P
(xi − · (x̄ − a) = i=1
σ2 + σ2 = i=1
σ2 + √σ
.
n
i=1
|i=1 {z }
0
 2
 
σ2
 x̄ − a 
Заметим, что если xi ∼ N (a, σ 2 ) ⇒ x̄ ∼ N (a, n) ⇒ 2
 √σ  ∼ χ1 .

 n 
| {z }
∼N (0,1)

Получаем:

19
n
(xi − x̄)2
n !2 P
(xi −a)2
P
x̄ − a i=1
ξ= i=1
σ2 + ∼ χ2n ⇒ ∼ χ2n−1 .
√σ σ2
n
| {z }
∼χ21

Последнее следствие может быть сделано например на основе свойств


характеристических функций: φη1 +η2 (t) = φη1 (t) · φη2 (t)
n
Если η1 ∼ χ2n ⇒ φη1 (t) = (1 − 2it)− 2
n 1
Получаем: φ Pn (x −a)2  2 (t) = (1 − 2it)− 2 = (1 − 2it)− 2 · φ Pn (x −a)2 (t),
i i
i=1 x̄−a i=1
σ2
+ √σ σ2
n
n−1
откуда получаем, что φ Pn (x −a)2 (t) = (1 − 2it)− 2 и получаем, что интересую-
i
i=1
σ2
щая нас случайная величина имеет распределение χ2n−1 .

1 +ξ2 ·ξ3
Пример: ξ1,2,3 ∼ N (0, 1), η = ξ√ . Найти pη (x).
1+ξ32
R R
Заметим, что pη (x) = pη,ξ3 (x, y)dy = pη|ξ3 (x|y) · pξ3 (y)dy
ξ3 R
2
− y2
pξ3 (y) = √12π · e , Найдём распределение pη|ξ3 (x|y). При фикси-
рованном значении случайной величины ξ3 , η|ξ3 = α · ξ1 + β · ξ2 , где
| {z } | {z }
N (0,α2 ) N (0,β 2 )
α = √1 , β = √ ξ3
1+ξ32 1+ξ32

Известно, что сумма двух нормальных – нормальна: N (µ1 , σ12 ) +


N (µ2 , σ22 ) = N (µ1 + µ2 , σ12 + σ22 ), поэтому:
1 ξ32
η|ξ3 = N (0, α2 + β 2 ) = {α2 + β 2 = 1+ξ32
+ 1+ξ32
= 1} = N (0, 1)
R∞ x 2 y 2
x 2
Итак: pη (x) = √1 e− 2 · √1 e− 2 dy = √1 e− 2 ⇒ η ∼ N (0, 1)
2π 2π 2π
−∞

Пример: (Преобразование Бокса-Мюллера)

ξ1 , ξ2 ∼ Uniform
√ [0, 1] × [0, 1]. Найти распределение
√ вектора η1 , η2 , где
η1 = sin(2πξ1 ) · −2 log ξ2 , η2 = cos(2πξ1 ) · −2 log ξ2

Формула преобразование многомерной плотности:

pη1 ,...,ηn (y1 , . . . , yn ) = pξ1 ,...,ξn (s1 (y1 , . . . , yn ), . . . , sn (y1 , . . . , yn )) · |J|

20
 
ξ = s1 (η1 , . . . , ηn )
 ∂s ∂s1
1
∂y1 ... ∂yn  1


ξ2 = s2 (η1 , . . . , ηn )
Где J = det  ... . . . ... ,

∂sn ∂sn  ...
∂s1 . . . ∂y n


ξn = sn (η1 , . . . , ηn )
В нашем случае: η12 + η22 = sin(2πξ1 )2 · (−2 log ξ2 ) + cos(2πξ1 )2 · (−2 log ξ2 ) =
−2 log ξ2
2 +η 2
η1
arcsin √ η21 2
2
ξ2 = e− 1
⇒ ξ1 = 2π
2
η1 +η2
 0
ξ1η1 ξ10 η2

Итак: J = det 0
ξ2η1 ξ20 η2
Однако данные производные  0 считать долго. Можно пойти более быстрым
0 
η η
путём: |J| = |J 1−1 | , J −1 = det 10 ξ1 10 ξ2 , а это уже гораздо проще посчитать:
η2ξ1 η2ξ2

η10 ξ1 = 2π · cos(2πξ1 ) · −2 log ξ2 , η10 ξ2 = ξ− sin(2πξ1 )

2 · −2 log ξ2

√ − cos(2πξ1 )
η20 ξ1 = −2π · sin(2πξ1 ) · −2 log ξ2 , η20 ξ2 = √
ξ2 · −2 log ξ2

2π · cos(2πξ ) · √−2 log ξ


− sin(2πξ1 )

1 2 √
ξ2 · −2 log ξ2 2π·cos(2πξ1 )2
Итак: |J −1 | = √ = +

− cos(2πξ1 ) ξ2
−2π · sin(2πξ1 ) · −2 log ξ2 √
ξ2 · −2 log ξ2

2π·sin(2πξ1 )2 2π
ξ2 = ξ2
2 +y 2
y1
x2 2
Получаем: pη1 ,η2 (y1 , y2 ) = pξ1 ,ξ2 (x1 , x2 ) · 1
|J −1 | =1· 2π = 1
2π · e− 2 , ~y ∈ R2
     
η1 0 1 0
То есть: ∼N ,
η2 0 0 1
Пример:

ξ, η ∼ N (0, 1), i.i.d. Найти совместное распределение (u, v), u =


√ ξ·η ξ 2 −η 2
v= √
, . Являются ли случайные величины u и v независимыми?
ξ 2 +η 2 2 2
2· ξ +η

Решение:

x = r · cos θ, y = r · sin θ

pu,v (U, V ) = pξ,η ()


Пример (Wigner’s surmise)

21
 
ξ1 ξ3 1
ξ1 , ξ2 ∼ N (0, 1), ξ3 ∼ N (0, X = , s = λ2 − λ1 , где
2 ),
ξ3 ξ2
λ1,2 −собственные значения матрицы X (λ2 ≥ λ1 ). Найти распределение s
(ps (x) =?).

Решение:

Найдём корни характеристического многочлена χλ (X) = (ξ1 − λ)(ξ2 −


λ) − ξ32 = λ2 − λ · (ξ1 + ξ2 ) + ξ1 ξ2 − ξ32 = 0

(ξ1 +ξ2 )2 ± (ξ1 +ξ2 )2 −4ξ32 p
Получаем: λ1,2 = 2 ⇒ s = λ2 − λ 1 = (ξ1 − ξ2 )2 − 4ξ32

ξ1 − ξ2 ∼ N (0, 2) ⇒ p(ξ1 −ξ2 )2 (y) = p(ξ1 −ξ2 ) (f −1 (y)) · f −1 (y)0 , где

f (x) : y = x2 ⇒ f −1 (y) : x = ± y, f −1 (y)0 = 2√1 y

y 1 x
p(ξ1 −ξ2 )2 (y) = √ 1√
2π 2
· e− 2·2 · √1
y ⇒ p(ξ1 −ξ2 )2 (x) = √ · e− 4 , x≥0
4πx

p4ξ32 (y) = pξ3 (f −1 (y)) · f −1 (y)0 , где f (x) : y = 4x2 ⇒ f −1 (y) : x =

y
± 2 , f −1 (y)0 = 4√1 y

y 1 x
p4ξ32 (y) = √
1√
· e− 2·2 · 2

4 y ⇒ p4ξ32 (x) = √ · e− 4 x≥0
2π 12 4πx
R∞ Rx
p(ξ1 +ξ2 )2 +4ξ32 (x) = p(ξ1 +ξ2 )2 (x − y) · p4ξ3 (y) dy = 1
4π · √ dy =
−∞ 0 xy−y 2
x
e− 4

y− x2
 x x 1 −x
· arcsin = 1
· e− 4 ⇒ p(ξ1 −ξ2 )2 +4ξ32 (x) = · e 4, x ≥ 0

x
4π 2 0 4 4
p√(ξ +ξ )2 +4ξ 2 (y) = p(ξ1 +ξ2 f (y) , f (x) : y = √x ⇒ f −1 (y) :
−1
−1 0
2
) +4ξ 2
3
(f (y))·
1 2
2 −1
3
0
x = y , f (y) = 2y
2
1 − y2
Получаем: ps (y) = p(ξ1 +ξ2 )2 +4ξ32 (y 2 ) · 2y = 4e · 2y ⇒
x x2
ps (x) = · e− 2 , x ≥ 0
2
Пример: (Вывод плотности распределения Стьюдента)

Известно, что случайная величина tn = s ξ0 имеет распределение


n
1
ξi2
P
n
i=1

Стьюдента, где ξi ∼ N (0, 1), i = 0, 1, 2, . . . , n. Найдём ptn (x)

22
n
ξi2 имеет распределение χ2n
P
В предыдущей задаче мы вывели, что x =
i=1
n
1 2 −1 − x2
px (x) = ,x ≥ 0 n x e
2 2 Γ( n2 )
q
Найдём распределение y = n1 x ⇒ x = ny 2 , x0 = 2ny
−1 0 n n 2
−1
py (y) = px (ψ (y)) ψ (y) = 2ny · n
1
n2 · 1
n · y n−1 · 1
y · e− 2 y =
2 2 Γ( n2 )
n
( n2 ) 2
n 2
2· n y n−1 e− 2 y
2 2 Γ( n2 )

ξ0
Осталось найти tn = y как свёртку отношения двух случайных величин.

Формула свёртки отношения имеет вид:

Z+∞
p ξ (x) = |y|pξ (y · x)pη (y)dy
η
−∞

В нашем случае:
2 n n
x
√1 e− 2 21− 2 n 2 n 2
pξ (x) = 2π
, x ∈ R, pη (x) = Γ( n2 ) xn−1 e− 2 x , x ≥ 0

Так как pη (y) > 0 только при y ≥ 0, то область y ∈ (−∞, 0] в интеграле


можно не рассматриать и соответственно снять модуль.
n n +∞
21− 2 n 2 1 2 2 n 2
e− 2 y y n−1 e− 2 y dy
R x
Итак: ptn (x) = √
2πΓ( n2 )
y · · =
0
n n +∞ √ 1
21− 2 n 2 1 2
)y 2 df 2f 2
y n e− 2 (n+x dy = {f = 12 (n + x2 )y 2 ,
R

2πΓ( n2 ) n+x2 = ydy, y= 1 }=
0 (n+x2 ) 2

+∞ n n−1
Z+∞
1− n n n n+1
− n+1
2 n2 22f 2 df
e−f n+x n2
f 2 −1 e−f df =
R
√ 2
2πΓ( n2 )
· √ n−1 2 = √
πΓ( n2 )
· (n + x2 ) 2 ·
0 2(n+x2 ) 2
|0 {z }
Γ( n+1
2 )
n n 2
n+1 n+1 x − n+1
√ n 2 n · Γ( n+1 )(n + x2 )− 2 √ n2 n · Γ( n+1 −
= 2 ) · n · (1 + n) =
2 2
πΓ( 2 ) 2 πΓ( 2 )
Γ( n+1
2 ) x2 − n+1
(1 + 2 ,x ∈ R
n √
Γ( 2 ) nπ n)

Итак:

23
Γ( n+1
2 ) x2 − n+1
ptn (x) = n √ (1 + ) 2 , x ∈ R
Γ( 2 ) nπ n
Пример: (Вывод плотности распределения Коши)
ξ1
Доказать, что η = ξ2 , где ξi ∼ N (0, σ 2 ) имеет стандартное распределение
Коши.

Формула плотности отношения выписана в предыдущей задача:


+∞ 1 2 2 1 2
+∞ 1 2
)y 2
1
|y|e− 2σ2 x y
e− 2σ2 y dy 1
ye− 2σ2 (1+x
R R
p ξ1 = 2πσ 2 = πσ 2 dy =
ξ2
−∞ 0
Z+∞
2 2
{ 2σ1 2 (1 + x2 )y 2 = t, dt = 1
σ 2 (1 + x2 )ydy ⇒ ydy = σ dy
1+x2 } = 1
πσ 2 · σ
1+x2 e−t dt =
|0 {z }
Γ(1)
1
π(1+x2 ) , x ∈R

1
Итак: p ξ1 = , x ∈ R – это и есть плотность стандартного
ξ2 π(1 + x2 )
распределения Коши.

Пример: (Другой вывод плотности распределения Коши)

Пусть ξ ∼ Uniform[− π2 , π2 ] это угол, отложенный от точки с координатами


(0,1) в осях (x,y). Пусть η – точка пересечения прямой, выходящей из точки
(0,1) и составляющей с осью OY угол ξ с осью OX (рисунок ниже). Найти
распределение случайной величины η.

24
y

x
η

ξ ∼ Uniform[− π2 , π2 ] ⇒ pξ (x) = π1 , x ∈ [− π2 , π2 ]

η = tan ξ ⇒ y = tan x, x = arctan y ⇒ x0y = 1


1+y 2

1 1
Итак: pη (y) = π · 1+y 2 , y ∈ (−∞, ∞) ⇒ η имеет стандартное распределе-
ние Коши
1
Пример: Дана выборка x1 , . . . , x2n+1 ∼ p(x) = π·(1+(x−θ) 2 ) , x ∈ R.

Доказать, что выборочное среднее x̄ не является состоятельной оценкой


параметра θ, но такой оценкой является выборочная медиана xmed .
ξR
med
1 1 1
ξmed → P(ξ ≤ ξmed ) = 2 → π·(1+(x−θ)2 ) = 2
−∞
1 1 1
Получаем: π · arctan(ξmed − θ) + 2 = 2 ⇒ ξmed = θ ⇒ θ̂ = xmed

По теореме Слуцкого: θ̂ = xmed →p ξmed = θ

Плотность распределения k-ой порядковой статистики:


n!
pk (x) = (k−1)!·(n−k)! ·p(x)·F k−1 (x)·[1−F (x)]n−k , где p(x), F (x) – плотность
и функция распределения случайной величины ξ соответственно.

25
Rx 1 1 1
F (x) = π·(1+(x−θ)2 ) dx = π · arctan(x − θ) + 2
−∞

Так как у нас 2n + 1 наблюдений, то медиана это ровно n–ная порядковая


статистика, поэтому её плотность распределения:
(2n+1)! 1 1 1 n−1

pn (x) = (n−1)!·(n+1)! · π·(1+(x−θ)2 ) · π · arctan(x − θ) + 2 ·
1 1
n+1
2 − π · arctan(x − θ)

Пример (Вероятностная постановка PCA):

p(t) = N (t|0, I), p(x|t) = N (x|W t + µ, σ 2 · I), t ∈ Rd , x ∈ RD

Найти p(x)
R R
p(x) = p(x|t) · p(t) dt = p(x, t) dt
Rd Rd
1
p(x, t) = D+d · exp{− 2σ1 2
· (x − W t − µ)T (x − W t − µ)} · exp{− 21 tT t} =
(2π) 2 ·σ D
1
· exp{− 2σ1 2

D+d tT (W T W + σ 2 · I)t + 2(µ − x)T W t + kx − µk22 }
(2π) 2 ·σ D

xT Ax + bT x + c = (x + 12 A−1 b)A(x + 21 A−1 b) + c − 41 bT A−1 b


Заметим, так как:
n 1
exp{− 21 (x − a)T · Σ−1 · (x − a)} dx = (2π) 2 · Det(Σ) 2 , то
R
RRn
exp{− 12 tT At + bT t + c } dt =

Rd
exp{− 21 (c − 41 bT A−1 b)} · exp{− 12 (t + 21 A−1 b)A(t + 21 A−1 b) } dt =
R 
Rd
1 T −1 d 1
exp{− 21 (c − 4 b A b)} · (2π) 2 · Det(A) 2

Получаем, что:
kx−µk2 1 T 2 T
c= σ2 , A= σ2 W W + I, b = σ 2 W (µ − x)

c − 14 bT A−1 b = 1
− µ)T I − W (W T W + σ 2 I)−1 W T (x − µ)
 
σ 2 (x
R
p(x) = p(x, t) dt = N (x|µx , Σx )
Rd
1 1  T 2 −1 T
· exp{− 12 (x − µ)T

D 1
2
I − W (W W + σ · I) W (x − µ)}
(2π) 2 ·Det(W T W +σ 2 ·I) 2 σ
| {z }
Σ−1
x

26
Докажем, что Σx = (W W T + σ 2 · I), то есть:

(W W T + σ 2 · I)−1 = 1
I − W (W T W + σ 2 · I)−1 W T
 
σ2

Подсказка, The Kailath Variant:


−1
(A + B · C)−1 = A−1 − A−1 B I + CA−1 B CA−1

(W W T + σ 2 I)−1 =  1
σ2 I − 1
σ 2 W (I + 1 T −1 1
σ2 W W ) σ2 W
T
=
1 2 −1
 T T
σ 2 I − W (W W + σ I) W

Кроме того:

Det(W T W + σ 2 I) = Det(W W T + σ 2 I)

Получаем, что p(x) = N (x|µ, W W T + σ 2 · I)

Пример (Проклятье размерности)


h i
~ 2 kxi −xj k22
Пусть xi ∼ N (0, σ · In ). Найти D Ekxi −xj k2 для i 6= j.
2

Решение
h i
kxi −xj k22
Заметим, что xi − xj ∼ N (~0, 2σ 2 · In ). Перепишем D Ekxi −xj k22
= {d =
h 1 ·kdk2 i  d 2
k σ √2 k 2
h 2i
kdk2 2 2
xi − xj } = D Ekdk2 = D 2σ1 2
·Ekdk2
= D Ek σ√ d
k2
.
2 2σ 2 2 2
 2
(k) (k) 
d
n x
 i − xj n
k σ 2 k22 N (0, 1)2 ⇒
P P
Заметим так же, что √ = √ =

 
k=1 
| σ{z2 }
 k=1
∼N (0,1)
d
k σ 2 k22
√ ∼ χ2n

Используя Eχ2n = n и Dχ2n = 2n получаем:


h i h 2 i h 2i
kxi −xj k22 χn
D Ekxi −xj k2 = D Eχ2 = D χnn = n12 · Dχ2n = 2n
n2 = 2

n n→∞ 0
2 n

Пример
1 √
Докажите, что если η ∼ Gamma(x|n, 7), и θ̂n = 7 n
√ · η − n, то

27
 √ 
θ̂n ∼ Gamma x + n| n, √1 и θ̂n ∼n→∞ N (0, 1)
n
p n−1
Воспользуемся тем фактом, что Γ(n) ∼ (n − 1)! ∼ 2π(n − 1) · n−1 e ,
тогда: √
n2
n √ n−1 −n−√nx n √
n 2 ·(x+ n)n−1 ·e− nx ·6e−n
pθ̂n (x) = Γ(n) · (x + n) ·e →n→∞ √ 1
−n
= e·√12π ·
2π·(n−1) ·e·6e
2
n √ n−1 −√nx
n · (x + n)
2 ·e
1
(n − 1) 2
| {z }
φ
√ √
= exp n2 ln n + (n − 1) ln(x + n) − nx − (n − 12 ) ln(n− 1) =

ln φ

φ= e

 

 √ 1 1 √ √ 
exp −(n − 1) ln n − (n − 2 ) ln(1 − ) +(n − 1) ln(x + n) − nx =

 | {z n} 

 
− n1 +o( n1 )
 

 


 


1 √ x  n
1 √ √ 2
exp 1 − 2n − nx + (n − 1) ln(1 + √ ) = exp 1 − 2n − nx + nx − x2 − √x
n
+

 n 

 | {z }


 x x 2 1 

n
− 2n +o( n )
2
− x2
e1 · e
x2 x2
Итак: pθ̂n (x) →n→∞ 6e·√12π · 6 e·e− 2 = √1 ·e− 2

- это плотность стандартного
нормального распределения

Пример:

Построить несмещённую оценку параметра σ для нормального распре-


деления (x ∼ N (a, σ 2 )) на основе s и доказать её состоятельность, где
n
1
s2 = n−1 (xi − x̄)2
P
i=1
(n−1)s2
Известно, что σ2 ∼ χ2n−1
q
Тогда: s ∼ √σ χ2n−1
n−1
n−3 x
pχ2n−1 (x) = n−1
1
x 2 e− 2 , x ≥ 0
2 2 Γ( n−1
2 )

ps (y) = pχ2n−1 (ψ −1 (y)) · |ψ −1 (y)0 |



y = ψ(x) ⇒ y = √σ x, x= n−1 2
n−1 σ2 y

28
 n−1 n−1 2
ps (y) = n−3
1 n−1
σ2
2
y n−2 e− 2σ2 y , y ≥ 0
2 2 Γ( n−1
2 )
+∞  n−1 +∞ n−1 2
1 n−1
y n−1 · e− 2σ2 y dy =
R R
Тогда: M(s) = x · ps (x)dx = n−3 σ2
2
·
0 2 2 Γ( n−1
2 ) 0
σ 2 dt
 n−1 R  2σ2 t  n−2
+∞
2
σ2
{ n−1
2σ 2 y
2
= t, n−1 = ydy} = n−3
1 n−1
σ2
2
· n−1 e−t n−1 dt =
2 2 Γ( n−1
2 ) 0

Z+∞ √
n 2Γ( n2 )
√ 2σ
t 2 −1 −t
e dt = √ ·σ
n−1Γ( n−1
2 ) Γ( n−1
2 ) n−1

|0 {z }
Γ( n2 )

Тогда насмещённая оценка будет иметь вид:



Γ( n−1
2 ) n−1
σ̂ = √ ·s
2Γ( n2 )
Достаточное условие состоятельности:

Eσ̂ → σ
Dσ̂ → 0
Первое условие выполнено, так как σ̂ – несмещённая оценка параметра σ

Найдём дисперсию Dσ̂ :


√ 2
2Γ( n2 )

2 2 2
Es −(Es) = σ −
Ds = |{z} n−1

Γ( 2 ) n−1
· σ2
2
σ √
Γ( n−1 ) n−1 2 (n−1)Γ( n−1
  2

2 )
Dσ̂ = √2
2Γ( n2 )
· Ds = 2·Γ( n2 )2 − 1 · σ2
√ n n

Всполмним формулу Стирлинга: n! ∼ 2πn e

Заметим, что Гамма функция это обобщение факториала, то есть:


Γ(n) = (n − 1)!

Тогда: Γ( n−1 n−3


Γ( n2 ) = n−2
2 2
2 ) = 2 !, 2 !

Итак:
n−3
(n−1)Γ( n−12 )
2
n−1 ( n−3
2 )!
2
n−1 2 ·( 2e )
2π· n−3 n−3
n−1 n−3 n−2

n 2
2·Γ( 2 ) = 2 · n−2 → 2 · n−2 = n−2 ·e· n−2 =
( 2 )!2 2 ·( 2e )
2π· n−2 n−2

29
 n−2
n−1 1
n−2 ·e· 1− =1
n−2
| {z }
e−1
Итак: Dσ̂ → 0, следовательно σ̂ – состоятельная оценка параметра σ.

Пример: По выборке x1 , . . . , xn из генеральной совокупности, имеющей


плотность:
2x
p(x) = C · e− α+1 , x ≥ 0

найдена оценка: α̂ = 2 · s − 1. Найти C и проверить α̂ на несмещённость


и состоятельность.

Заметим, что предложенное распределение совпадает с экспоненциаль-


1 − xθ α+1
, где θ = 2 ⇒ C = 1θ = α+1
2

ным p(x) = θ · e
2x
Итак: p(x) = 2
α+1 · e− α+1

Проверим оценку на несмещённость:

Eα̂ =√
E (2 · s − 1) = 2 · Es − 1. Из предыдущей задачи известно, что
2Γ( n )
Es = Γ( n−1 )√2n−1 · σ, где σ – это корень из дисперсии. Для нашего распреде-
2
(α+1)2 α+1
ления Dx = 4 ⇒σ= 2

2Γ( n2 ) α+1
Итак: Eα̂ = 2 · n−1 √ · − 1 6= α ⇒ α̂ = 2s − 1 – смещённая
Γ( 2 ) n − 1 2
оценка.

Проверим оценку на состоятельность.

Достаточное условие состоятельности:



Eα̂ →n→∞ α
⇒ α̂ – состоятельная оценка.
Dα̂ →n→∞ 0


Проверим первое условие (Eα̂ →n→∞ α). Для этого нужно проверить
2Γ( n2 )

Γ( n−1 ) n−1
→ 1?.
2
√ n n

Формула Стирлинга: n! ∼n→∞ 2πn · e , Γ(n) = (n − 1)!

30
q  n−2  n−2 √ n−1
n n−2 π·(n−2) 2
! ∼ 2π · n−2
 
Γ =2 22 · 2e
2
= n−2 n−2
2 2 ·e 2
q  n−3  n−3 √ n−2
π·(n−3) 2
Γ 2 = 2 ! ∼ 2π · n−3
n−1 n−3
 
2 · 2e
2
= n−3 n−3
2 2 ·e 2

√ √
  n−2  1
2Γ( n2 )
n−1 n−3 n−3
2 ·2 2 ·e 2
π·(n−2) − 12 n−2 2
n−2 2
Итак: Γ( n−1
√ = n−2 n−2 √ n−2 =e · · →1
2 ) n−1 2 2 ·e 2 · π·(n−3) 2 n−3 n−1
| {z } | {z }
1 →1
→e 2
Получаем, что Eα̂ → 2 · 1 · α+1
2 − 1 = α + 1 − 1 = α ⇒ α̂ – асимптотически
несмещена.

Проверим второе условие (Dα̂ →n→∞ 0):


 √ n 2
2Γ( )
Dα̂ = 4 · Ds = 4 · σ − 4 · Γ( n−1 )√2n−1 · σ 2 (результат предыдущей задачи),
2
2
2 (α+1)2
где σ = 4
 √ 2 
2Γ( n )

Итак: Dα̂ = (α + 1)2 · 1 − Γ( n−1 )√2n−1
2

2Γ( n )
Выше было доказано, что Γ( n−1 )√2n−1 → 1 ⇒ Dα̂ → (α + 1)2 · (1 − 1) = 0
2

Следовательно оценка α̂ = 2 · s − 1 – состоятельная оценка параметра α

Пример: Доказать. что χ2 (n) → N (n, 2n) при n → ∞.

Из доказанного выше: x ∼ χ2 (n), Mx = n, Dx = 2n


n
P
η−Mη·n n
η = ξ 2 , χ2 (n) = ξ 2,
P
Из ЦПТ следует, что i=1
√ √
n Dη
→ N (0, 1), Mη =
i=1
χ2 (n)−n
Mξ 2 , Mξ 4 = 2 ⇒ √
2n
→ N (0, 1) ⇒ χ2 (n) → N (n, 2n)

Пример: Доказать, что в случае нормального распределения N (a, σ 2 )


4
неисправленная выборочная дисперсия σ̂ 2 имеет дисперсию: Dσ̂ 2 = 2σ (n−1)
n2

s2 (n−1)
Из Теоремы Фишера известно, что σ2 ∼ χ2 (n − 1)

Так же известно, что Dχ2n x = 2n


 
(n−1)s2 (n−1)2 2 2 n 2
D σ 2 = 2(n − 1) ⇒ σ 4 D(s ) = {s = n−1 σ̂ – по определению} =

31
n2 2 2(n−1)σ 4
σ 4 Dσ̂ = 2(n − 1) ⇒ Dσ̂ 2 = n2

Пример: Пусть x1 , . . . , xn , y1 , . . . , ym – независимые случайные выборки


объёмов n и m соответственно из нормального распределения с параметрами
N (a, σ 2 ) , с исправленными выборочными дисперсиями s2x , s2y . Доказать, что
(n−1)s2 +(m−1)s2
оценка s2x,y = x
n+m−2
y
является эффективной оценкой в классе всех
линейных несмещённых оценок параметра σ.

Класс линейных оценок выглядит как σ̂ 2 = α1 s2x + α2 s2y


(
Dσ̂ 2 → min (1)
Перед нами стоит задача: α1 ,α2
Mσ̂ 2 = σ 2 (2)

(2) Mσ̂ 2 = M α1 s2x + α2 s2y = α1 σ 2 + α2 σ 2 = σ 2 ⇒ α1 + α2 = 1

Решается задача условного экстремума с помощью функции Лагранжа:



L(α1 , α2 , λ) = D α1 s2x + α2 s2y + λ (α1 + α2 − 1) → extr

Побочный результат, как следствие вывода из номера выше:


n 2σ 4 2σ 4
Ds2x = D n−1 σ̂ 2 = n−1 , Dŝ2y = m−1
4
2σ 2σ 4
Итак: L(α1 , α2 , λ) = α12 · n−1 + α22 · m−1 + λ (α1 + α2 − 1)
2σ 4
 L0α1 = 2α1 · n−1

+ λ = 0 (1)
0 2σ 4
Lα2 = 2α2 · m−1 + λ = 0 (2)
L0λ = α1 + α2 − 1 = 0 (3)

σ4
(1) 4α1 · n−1 = −λ ⇒ α1 = − λ·(n−1)
4σ 4

σ4
(2) 4α2 · m−1 = −λ ⇒ α2 = − λ·(m−1)
4σ 4

λ·n−λ+λ·m−λ n+m−2 −4σ 4



(3) − 4σ 4 = 1, λ· 4σ 4 = −1 ⇒ λ = n+m−2

−4σ 4
n+m−2 (n−1)
n−1 m−1
Итак: α1 = − = n+m−2
4σ 4 , α2 = n+m−2 , получается, что оценка
2 2 2
σ̂ = α1 · sx + α2 · sy , является эффективной оценкой в классе линейных
несмещённых оценок. Эта оценка совпадает с предложенной в задании.

Пример: Найти дисперсию распределения Стьюдента при n > 2.

32
Γ( n+1
− n+1
2 )

x2 2
x ∼ tn ⇒ ptn (x) = n √
Γ( 2 ) nπ
1+ n

Z+∞
Γ( n+1
2 ) xdx
Mx = √
Γ( n2 ) nπ n+1 =0
2
−∞ 1 + xn 2
| {z }
интеграл от нечётной функции по симметричному промежутку
+∞ +∞
Γ( n+1 ) R x2 dx 2Γ( n+1
2 )
R x2 dx x2
Dx = Mx2 = Γ n 2√nπ n+1 = √ n+1 = { n = y, dy =
(2) 2
−∞ (1+ xn ) 2
Γ( 2 ) nπ
n
0 (1+ xn )
2 2

Z+∞
2Γ ( n+1
) +∞ √
ny n 3/2
Γ( n+1
) y 1/2
2xdx
= ndy ndy
R
n , xdx 2 } = 2

Γ( n2 ) nπ
n+1 2 = √
2
Γ( n2 ) nπ n+1 dy =
0 (1+y) 2
(1 + y) 2
0
| {z }
B( 32 , n2 −1)
+∞ √
R xa−1 dx n nΓ( n+12 ) Γ(3/2)Γ( n2 −1) n 21 Γ(1/2)Γ( n2 −1)
{B(a, b) = (1+x)a+b
} = √ √
Γ( n2 ) n π
· Γ( n+1
= √
πΓ( n2 −1+1)
=
2 )
√ 0
n 12 πΓ( n2 −1) n/2 n

( n2 −1)Γ( n2 −1) π
= n/2−1 = n−2

Пример: Найти центральные моменты k−ого порядка для нормального


распределения.
(x−a)2
x ∼ N (a, σ ), 2
p(x|a, σ ) = 2 √1 e− 2σ 2
σ 2π
Центральный момент k-ого порядка: M (x − Mx)k
+∞ (x−a)2
k 1
R k − 2σ2
M (x − Mx) = σ 2π
√ (x − a) e dx = {x − a = t, dt = dx, t ∈
−∞
+∞ t2
√1 tk e− 2σ2 dt
R
(−∞, +∞)} = σ 2π
−∞
Если k- нечетное, то интеграл равен 0, потому что подинтегральная функ-
ция нечетная. Иначе:
+∞
R k − t2 +∞
R k − t2
√1 t e 2σ 2 dt = √2 t e 2σ2 dt = G(k)
σ 2π σ 2π
−∞ 0
t 2 t 2
− 2σ − 2σ
e 2
= v, dv = − σt2 e 2
dt
+∞
R k − t2 +∞ t − t22
√2 √2 2 k−1
R
σ 2π
t e 2σ2 dt = σ 2π
−σ
| {z } σ 2 )e
t (− 2σ dt =
0 0 u | {z }
  dv

+∞
 2 k−1 − 2σt22 +∞ R k−2 − t2 

√2  −σ t ·e 2
+σ · (k − 1) t e 2σ2 dt = σ 2 · (k −
σ 2π 0
| {z } 0
0

33
+∞ t2
1) σ√22π tk−2 e− 2σ2 dt = σ 2 · (k − 1) · G(k − 2)
R
0
Итак: G(k) = σ 2 · (k − 1) · G(k − 2)
Z+∞
+∞ t2
− 2σ
√ √ 2
√2 dt = { σ√t 2 = y, σ 2dy = dt} = σ√22π · σ 2 e−y dy =
R
G(0) = σ 2π
e 2

0
|0 {z

}
π
√ √
π
2

√2 ·σ 2· =1
σ 2π 2

Ответ: M (x − Mx)k = σ 2 (k − 1)M (x − Mx)k−2


1
Пример: Для распределения Коши с плотностью p(x|θ) = π(1+(x−θ) 2)

строится оценка параметра θ по двум наблюдениям. Определить, при каких


x1 , x2 эта оценка существует и единственна
1 1
L(θ|x1 , x2 ) = π(1+(x1 −θ)2 ) · π(1+(x2 −θ)2 ) → max
θ

log L(θ|x1 , x2 ) = − log π −log(1+(x1 −θ)2 )−log π −log(1+(x2 −θ)2 ) → max


θ
2(x1 −θ) 2(x2 −θ)
log L(θ|x1 , x2 )0θ = 1+(x 1 −θ)
2
2 + 1+(x −θ)2 = 0 → (x1 − θ)(1 + (x1 − θ) ) + (x2 −
2
θ)(1 + (x2 − θ)2 ) = 0

x1 − θ + (x1 − θ)3 + x2 − θ + (x2 − θ)3 = 0

x1 +x2 −2θ+(x1 +x2 −2θ)(x21 −2x1 θ+θ2 −(x1 −θ)(x2 −θ)+x22 −2x2 θ+θ2 ) = 0

(x1 + x2 − 2θ)(1 + x21 + x22 − 2θ(x1 + x2 ) + 3θ2 − x1 x2 + θ(x1 + x2 )) = 0

(x1 + x2 − 2θ)(3θ2 − θ(x1 + x2 ) + 1 + x21 + x22 ) = 0


| {z }
(∗)

Оценка будет единственна, если у (∗) нет решений, то есть дискриминант


должен быть меньше нуля:

D = (x1 + x2 )2 − 12(1 + x21 + x22 ) < 0

x21 + 2x1 x2 + x22 − 12 − 12x21 − 12x22 < 0 → −11x21 − 11x22 + 2x1 x2 −12 < 0
| {z }
Q(x)
  
−11 1 ∆1 = −11 < 0
Q : ⇒ ⇒ Квадратичная форма отри-
1 −11 ∆2 = 120 > 0

34
цательно определена ⇒ дискриминант будет меньше нуля для ∀x1 , x2 ∈ R

x1 + x2
Итак: θ̂ =
2
Пример: Построить оценки методом моментов и методом максимального
правдоподобия для параметра θ для распредления p(x|θ). Найти асимптоти-
ческий доверительный интервал для θ (оценка построена методом моментов).
 1−θ
 3 , x = −1
1
p(x|θ) = , x=0 θ ∈ [−1, 1]
 1+θ3
3 , x=1
3
Mx = −1 · 1−θ 3 + 1+θ
3 · 1 = θ−1+θ+1
3 = 2θ
3 ⇒ θ̂ = x̄
2
2 2
Mx2 = 1−θ 1+θ 2 2
= 23 − 94 θ2

3 · 1 + 3 · 1 = 3 ⇒ Dx = 3 − 3 θ
[x =0] [xi =−1] 1+θ [xi =1] 1, если xi = a
p(xi |θ) = 31 i · 1−θ · 3 , где [xi = a] =
3 0, если xi 6= a
n
1 [xi =0] 1−θ [xi =−1] 1+θ [xi =1] 1 n1 1−θ n2 1+θ n3
Q      
L(θ) = 3 · 3 · 3 = 3 · 3 · 3 → max,
i=1 θ
где n1 – количество x = 0, n2 – количество x = −1, n3 – количество x = 1,
n1 + n2 + n3 = n

log L(θ) = −n1 log 3 + n2 log(1 − θ) − n2 log 3 + n3 log(1 + θ) − n3 log 3 → max


θ

n2 n3 −n2 −n2 θ+n3 −n3 θ n3 − n2


log L(θ)0θ = − 1−θ + 1+θ =0⇒ 1−θ2 = 0 ⇒ θ̂ =
n2 + n3
Асимптотический доверительный интервал:
u u
g(θ̂) − √γ
n
< g(θ) < g(θ̂) + √γ
n
2
где θ̂ ∼ N (θ, σ(θ)

R
g(θ) = σ(θ) , n )
 n
 n
3 1 9 9 2
− 49 θ2 = 1
 
· 6 − 4θ2 ⇒
P P
Dθ̂ = D 2 · n xi = 4n2 Dxi = 4n2 ·n 3 4n
q i=1 i=1

σ(θ) = 32 − θ2

√ dθ √2θ
R
g(θ) = 3 2
= arcsin 3
2 =θ
√ √ √
u u
Итак: arcsin √3x̄ − √γ < arcsin √2θ < arcsin √3x̄ + √γ
2 n 3 2 n

35
√ √ ! √ √ !
3 3x̄ uγ 3 3x̄ uγ
√ sin arcsin √ − √ < θ < √ sin arcsin √ + √
2 2 n 2 2 n

Пример: Для равномерного распределения на отрезке x ∼ U ni[θ, 3θ]


найти оценку методом максимального правдаподобия. Построить на основе
её несмещенную оценку и доказать её сверхэффективность.
1
x ∼ U ni[θ, 3θ] ⇒ p(x|θ) = 2θ , x ∈ [θ, 3θ]

1 θ ≤ xmin
L(θ) = → max,
θ ≤ xmin , xmax ≤ 3θ ⇒
θ2n θ n θ ≥ xmax
3

θ → min
Задача эквивалентна задаче: xmax ⇒ θ̂ = xmax
θ ∈ [ 3 , xmin ] 3

Для того, чтобы построить на основе θ̂ несмещённую оценку, надо вначале


выяснить, как смещена оценка θ̂ и смещена ли вообще. Для этого вычислим
Mθ̂
n n−1
Fxmax (x) = Fx (x)n = x−θ

n
⇒ pxmax (x) = (2θ)n (x − θ)

R3θ
Mθ̂ = 31 Mxmax = pxmax (x) · xmax dxmax = 3·2nn θn (x − θ)n−1 xdx = {x − θ =
R
R θ
n
R2θ n

2n+1 θn+1 n n

t, dt = dx, t ∈ [0, 2θ]} = 3·2n θn
n
t + θt n−1
dt = 3·2n θn n+1 + θ 2 nθ =
0
2nθ θ 3n+1
3n+3 + 3 = 3n+3 θ

3(n+1) xmax
Итак: Mθ̂ = 3n+1

3n+3 θ ⇒ несмещённая оценка будет θ̂ = 3n+1 3 =
(n + 1)xmax
3n + 1
 
(n+1)2 (n+1)2
Dθ̂ = D (n+1)x
3n+1
max
= (3n+1) 2 Dx max = 4n
(3n+1)2 · (n+1)2 (n+2) θ
2
=
4n
2
θ2
(3n + 1) (n + 2)
9n2 +15n+2 2 3n+1 2 2 4n
 
Dxmax = M x2max − M(xmax )2 = (n+2)(n+1) θ − n+1 θ = (n+1)2 (n+2) θ
2

R3θ n
R2θ R2θ
(x−θ)n−1 x2 dx = 2nnθn tn−1 (t2 +2θt+θ2 )dt = 2nnθn tn+1 +

M x2max = 2n θn
θ  0  0
n 2 n−1 n 2n+2 θn+2 2n+1 θn+1 2 2n θ n 9n2 +15n+2 2
2θt + θ t dt = 2n θn n+2 + 2θ · n+1 + θ n = (n+2)(n+1) θ

I(θ) = M[(log p(x|θ)0θ )2 ] = 1


θ2

36
log p(x|θ)0θ = (− log 2 − log θ)0θ = − 1θ
1 4n 2 θ2 θ2
W
Сравним: Dθ̂ nI(θ) ⇒ (3n+1)2 (n+2) θ ∼ n2 < n ⇒ θ̂ – сверхэффективная
оценка

Пример: Построить несмещённую оценку параметра θ распределения


p(x|θ) = 21 e−|x−θ| , x ∈ R на основе xmed
k−1
Порядковая статистика: pk (x) = nCn−1 p(x)F k−1 (x)[1 − F (x)]n−k , где k –
номер порядковой статистики
Например: для xmin , k = 0 для xmax , k = n, для xmed , k = n2 , в случае
если в выборке чётное число членов и k = n+1
2 иначе

Итак, выясним, будет ли оценка θ̂ = xmed несмещённой. Для этого


вычислим матожидание этой оценки:
 1 x−θ
x  2e ,x ≤ θ
F (x|θ) = 12 e−|x−θ| dx = Rθ x−θ Rx θ−x
R
1 1 =
−∞  2 e dx + 2 e dx, x > θ
−∞ θ
1 x−θ

2e ,x ≤ θ
1 θ−x
1 − 2e ,x > θ
n!
pxmed (x) = (k−1)!(n−k)!
+∞
R +∞
R
Mθ̂ = Mxmed = xmed · pxmed (x)dxmed = x·
−∞ −∞
Пример: Найти оценку параметра θ для показательного распределения
x
p(x|θ) = 1θ e− θ ,  где мы наблюдаем не выборку (x1 , . . . , xn ), а выборку
xi , если xi ≤ c
(y1 , . . . , yn ), yi =
c , еслиxi > c
[xi ≤c]
 Заметим, что yi можно представить как xi · c[xi >c] , где [xi > c] =
1 , xi > c
0 , xi ≤ c
n
[xi ≤c]
− θ1 ·c[xi >c]
P
xi
1
L(θ) = θn e
i=1 → max
θ
n
1 [xi ≤c]
· c[xi >c] → max
P
log L(θ) = −n log θ − θ xi
i=1 θ
n n
[x ≤c] [xi ≤c]
log L(θ)0θ − nθ 1 [xi >c] 1
· c[xi >c]
P P
= + θ2 xi i ·c = 0 ⇒ θ̂ = n xi
i=1 i=1

37
Такая оценка полезна, только в случае если мы знаем c (иногда оно
понятно из постановки задачи: опрос жителей по заработной плате и т.д),
если же мы не знаем c то его хотелось бы оценить, и это само по себе
является интересной задачей. (Её можно решить с помощью ЕМ-алгоритма,
который в курсе математической статистики не рассматривается)

38
Доверительные интервалы
Пример: Построить асимптотический доверительный интервал для
x
параметра λ распределения Пуассона P (ξ = x) = λx! · e−λ

M(ξ) = λ, D(ξ) = λ ⇒ σ(λ) = λ, λ̂ = x̄
λ
M(λ̂) = λ, D(λ̂) = n

du
λ−1/2 du = 2 λ
R R
g(u) = σ(u) =
u u √ u √ √ u
g(λ̂) − √γ
n
< g(λ) < g(λ̂) + √γ
n
⇒ 2 x̄ − √γ
n
< 2 λ < 2 x̄ + √γ
n
2 2
√ √
 
uγ uγ
x̄ − √ <λ< x̄ + √
2 n 2 n
Пример: Построить асимптотический доверительный интервал для θ
случайной величины ξ ∼ U nif orm[0, θ], θ̂ найти методом моментов.
 n  2
4n θ 2
θ̂ = 2x̄, M(θ̂) = θ, D(θ̂) = D n2 xi = n212 = θ n/3 ⇒ σ(θ) = √θ3
P
i=1
R √
3du

g(u) = u = 3 ln(u)
u u √ u √ √ u
g(θ̂) − √γn < g(θ) < g(θ̂) + √γn ⇒ 3 ln(2x̄) − √γn < 3 ln(θ) < 3 ln(x̄) + √γn
u u
√γ √γ
2x̄e− 3n < θ < 2x̄e 3n

Пример: Построить асимптотический доверительный интервал для


неизвестного параметра λ при известном α Гамма распределения ξ ∼ γ(α, λ)

M(x) = αλ , D(x) = α
λ2 , θ= α
λ

θ2
M(x) = θ, D(x) = α,
θ̂ = x̄
 n 
nθ2 θ2
D(θ̂) = D n1 √θ
P
M(θ̂) = θ, xi = αn2 = αn ⇒ σ(θ) = α
i=1
√ R du √
g(u) = α u = α ln(u)
u u √ u √ √ u
g(θ̂) − √γn < g(θ) < g(θ̂) + √γn ⇒ α ln(x̄) − √γn < α ln(θ) < α ln(x̄) + √γn

39


− √αn
αu
√ γ α − √uαn
γ α √uγ
x̄e < |{z}
θ < x̄e n ⇒ e < λ < e αn
α x̄ x̄
λ

P.S. То же самое, для неизвестного α известного λ



x̄ − √n 1
u
√γ λ − √uγn λ √uγ
λe < α < λx̄ e n ⇒ e <α< e n
x̄ x̄
Пример: Построить асимптотический доверительный интервал для
числа степеней свободы χ2m распределения
n x
x ∼ χ2 ⇒ p(x) = n
1
x 2 e− 2 при x > 0
( )
2 2 Γ n2

M(x) = m ⇒ m̂ = x̄, D(x) = 2m



 n 
D(m̂) = D n1 n2m 2m
P
M(m̂) = m, xi = n2 = n ⇒ σ(m) = 2m
i=1
√ √ √
√1 du √1 2 u
R
g(u) = 2

u
= 2
= 2 u
u u √ √ u √ √ √ √ u
g(m̂) − √γ
n
< g(m) < g(m̂) + √γ
n
⇒ 2 x̄ − √γ
n
< 2 m < 2 x̄ + √γ
n
 2  2
uγ uγ
x̄ − √ <m< x̄ + √
2n 2n
Пример: Построить асимптотический доверительный интервал для
вероятности p, при известном числе испытаний m в рапределении
x x
Pm (x) = Cm p (1 − p)m−x

M(x) = mp, D(x) = mp(1 − p), p̂ = m
 m
 q
1
xi = m2 ⇒ σ(p) = p(1−p)
p(1−p)
P
M(p̂) = p, D(p̂) = D m2 m
i=1
√ √ R
√ du = {p = t2 , dp = 2tdt} = 2 m √ 2tdt 2 =
R
g(p) = m
√ √ p(1−p) √ t (1−t )
2 m arcsin(t) = 2 m arcsin p
√ q
x̄ uγ √ √ √ q
x̄ uγ
2 m arcsin m − m < 2 m arcsin p < 2 m arcsin m
√ + √m

q q
x̄ uγ x̄ u
arcsin m − 2m < arcsin p < arcsin m + 2mγ

40
r ! r !
x̄ uγ x̄ uγ
sin2 arcsin − < p < sin2 arcsin +
m 2m m 2m

Пример: Построить доверительный интервал  (методом подстановки)


−α
1−x , x≥1
для параметра α распределения Парето: F (x) = α>2
0, x < 1
+∞ +∞
−α−1
R −α 1 α
p(x) = αx , Mx = α x dx = α · (1−α)xα−1 = α−1

1 1
+∞ +∞
1 α
2
R 1−α
M(x ) = α x dx = α (2−α)xα−2 =

1 α−2
1
α2 α3 −2α2 +α−α3 +2α2
Dx = M(x2 ) − (Mx)2 = α
α−2 − (α−1)2 = (α−1)2 (α−2) = α
(α−1)2 (α−2)

α̂−1+1 1 x̄ α
α̂−1 = x̄, 1+ α̂−1 = x̄, α̂ = x̄−1 , {Замена α−1 = θ}
 n

θ
1
P 1 nα 1 1 θ(θ−1)2
θ̂ = x̄, Dθ̂ = D n xi = n2 · (α−1)2 (α−2) = n · 1
θ−1
· 2−θ
= n · 2−θ ⇒
i=1 (θ−1)2 θ−1
q
2
σ(θ) = θ(θ−1)
2−θ

σ(θ̂) σ(θ̂)
θ̂ − √ uγ
n
< θ < θ̂ + √ uγ
n
q q
x̄(x̄−1)2 1 x̄(x̄−1)2
x̄ − n(2−x̄) uγ <1+ α−1 < x̄ + n(2−x̄) uγ

q1 >α−1> q1
x̄(x̄−1)2 2
x̄−1− n(2−x̄) uγ x̄−1+ x̄(x̄−1)
n(2−x̄) uγ

1 1
1+ q <α< q +1
x̄(x̄−1)2 x̄(x̄−1)2
x̄ − 1 + n(2−x̄) uγ x̄ − 1 − n(2−x̄) uγ

Пример: Построить асимптотический доверительный интервал для


параметра θ нормального распределения ξ ∼ N (θ, θ4 ), θ > 0
 n 
4
θ̂ = x̄, Mθ̂ = θ, Dθ̂ = D n1 xi = n12 · nθ4 = θn ⇒ σ(θ) = θ2
P
i=1
du
= − u1
R
g(u) = u2

u u u u
− x̄1 − √γ
n
< − 1θ < − x̄1 + √γ
n
⇒ 1
x̄ + √γ
n
> 1
θ > 1
x̄ − √γ
n

1 1
1 u < θ < 1 u
x̄ + √γn x̄ − √γn

41
Проверка гипотез
Пример: Пусть случайная величина ξ ∼ N (a, σ 2 ). a – известно, σ 2
– неизвестна. Проверить гипотезу H0 : σ = σ0 , против альтернативной
H1 : σ = σ1 > σ0 . Построить критерий отношения правдоподобия

Решение: Имеем выборку X = (x1 , . . . , xn ), если верна нулевая гипотеза,


то функция правдоподобия нашей выборки выглядит:
n
1
n (xi −a)2
P
 − 2
1 2σ0
L(X|H0 ) = √
σ0 2π
e i=1 , если же верна альтернативная гипоте-
n
1
n (xi −a)2
P
 − 2
1 2σ1
за, то L(X|H1 ) = σ1 2π
√ e i=1

n
 
 n 1 2 1 1
P
L(X|H1 ) (xi −a) 2 − σ2
σ0 2 σ0
L(X|H0 ) = σ1 e i=1 1

   n

L(X|H1 )
(xi − a)2 > C 0 |H0
P
P > C|H0 = α ⇒ P
L(X|H0 ) что равносильно
i=1
2 00
C0
P (n − 1)s2 > C 0 |H0 = P ( s (n−1) 1 − Fχ2n−1 ( C (n−1)

σ2
> σ02
σ02
)=
)=α
0
 00 
C (n−1)
Обозначим через χ2crit решение уравнения Fχ2 σ2
=1−α
0

C0
σ02
= χ2crit ⇒ C 0 = χ2crit σ02
n
(xi −a)2
P

Тогда критическая область: i=1


σ02
> χ2crit

Пример: Имеется последовательность независимых испытаний Бернулли


с неизвестной вероятностью успеха p. На уровне значимости α проверить
нулевую гипотезу H0 : p = p0 против гипотезы H1 : p1 > p0 . Построить кри-
терий отношения правдоподобия, используя нормальное приближение для
числа успехов. Вычислить объём выборки n необходимый, для достижения
заданных ошибок первого и второго рода α β.

Решение:

x ∼ px (1 − p)x−1 ⇒ Mx = p, Dx = p(1 − p)

42
n
P n
xi n−
P
xi
i=1
L0 = p0 (1 − p) i=1

n
P n
xi n−
P
L1 = p1i=1 (1 − p) i=1

n
 P xi
n n i=1
 P xi  n− P xi  p1 1 − p0   n
L1 p1 1−p1 1−p1
=  p0 · 1 − p1 
=
i=1 i=1 
L0 p0 1−p0 1−p0
|{z} | {z }
>1 >1
L1
Замечаем, что – монотонно зависит от x̄, то есть, при рости x̄
L0
 
L1 L1
L0 – так же растёт, тогда условие P L0 > C|H0 можно заменить на
P (x̄ > C 0 |H0 ) = α
p(1−p)
n ) = N (p,
Используем нормальное приближение: x̄ ∼ N (Mxi , Dx i
n )
  !
0 0
P x̄−Mx
√ > C√−Mx |H0 =1−P q x̄−p0 < qC −p0 =α
√Dx Dx p0 (1−p0 ) p0 (1−p0 )
n n n n
!
0
P q x̄−p0 < qC −p0 =1−α
p0 (1−p0 ) p0 (1−p0 )
n n
! !
0 0
1
+ Φ0 q x̄−p0 < qC −p0 = 1 − α ⇒ Φ0 q x̄−p0 < qC −p0 = 12 − α
2 p0 (1−p0 ) p0 (1−p0 ) p0 (1−p0 ) p0 (1−p0 )
n n n n
0
Обозначим за uα решение уравнения выше, тогда qC −p0 = uα ⇒ C 0 =
p0 (1−p0 )
n
q
p0 + uα · p0 (1−p
n
0)

q
p0 (1−p0 )
Критическая область выглядит, как: x̄ > p0 + uα · n

Теперь найдём требуемый объём выборки:

α– ошибка первого родаq = P (H1 − принимается |H0 − верна) =


P (x̄ > C 0 ) ⇒ C 0 = p0 + uα · p0 (1−p
n
0)

β– ошибка второго рода = P!(H0 – принимается|H


!1 – верна) =
0 0
P (x̄ ≤ C 0 |H1 ) = P q x̄−p1 < qC −p1 = 1
+ Φ0 qC −p1 =β
p1 (1−p1 ) p1 (1−p1 ) 2 p1 (1−p1 )
n n n

43
!
0
Φ0 qC −p1 = −( 12 − β) ⇒ решение этого уравнения (−uβ )
p1 (1−p1 )
n
q
Тогда: C = p1 − uβ p1 (1−p
0
n
1)

q
Получаем, что должно выполняться C 0 = C 0 ⇒ p1 − uβ p1 (1−p n
1)
=
q  p 
p0 + uα · p0 (1−p 0)
p
⇒ √1 · uα p0 (1 − p0 ) + uβ p1 (1 − p1 ) = p1 − p0
n n
 √ √ 2
uα p0 (1−p0 )+uβ p1 (1−p1 )
n= (p1 −p0 )2

Пример: Случайная величина имеет распределение Пуассона с па-


x
раметром λ: x ∼ P oi(λ) → p(x|λ) = λx! e−λ . На уровне значимости α
проверить нулевую гипотезу H0 : λ = λ0 против альтернативной гипотезы
H1 : λ = λ1 > λ0 . Построить критерий отношения правдоподобия, используя
нормальное приближение. Вычислить объём выборки n, необходимый для
достижения заданных ошибок первого и второго рода α, β.

Решение:
n
P n
P
xi xi
λi=1 −nλ0 λ1i=1 −nλ1
L0 = x1 !·····xn ! e
0
, L1 = x1 !·····xn ! e
n
 P xi  
L1 λ1 n(λ0 −λ1 ) L1
L0 = λ0
i=1
e ⇒P L0 > C|H0 = α ⇔ P (x̄ > C 0 |H0 ) = α

В случае распределения Пуассона Mx = λ = Dx ⇒ x̄ ∼ N (λ, nλ )


! !
0 0
1−P x̄−λ
q 0
λ0
< Cq−λ
λ0
0
= α ⇒ Φ0 Cq −λ0
λ0
= 1
2 − α (uα )
n n n
q
λ0
C 0 = λ0 + uα n
q
λ0
Критическая область: x̄ > λ0 + uα n
q
0 0 λ0
α = P (x̄ > C |H0 ) ⇒ C = λ0 + uα n
! !
0 0
Cq −λ1 Cq −λ1
β = P (x̄ < C 0 |H1 ) = 1 1

2 + Φ0 λ1
⇒ Φ0 λ1
=− 2 −β (−uβ )
n n

44
q q q
0 λ1 λ1 λ0
C = λ1 − uβ n, откуда λ1 − uβ n = λ0 + uα n
√ √
√ √  (uα λ0 +uβ λ1 )
2

√1 uα λ0 + uβ λ1 = λ1 − λ0 ⇒ n =
n (λ1 −λ0 )2

Пример: Случайная величина имеет показательное распределение с


параметром λ: x ∼ exp(λ), p(x|λ) = λe−λx . На уровне значимости α
проверить нулевую гипотезу H0 : λ = λ0 против альтернативной гипотезы
H1 : λ = λ1 > λ0 .

Решение:
n
P n
P
−λ0 xi −λ1 xi
L0 = λn0 e i=1 , L1 = λn1 e i=1

n
 n n
P
(λ0 −λ1 ) xi
L1 λ1 P L1
L0= eλ0
i=1 , Заметим, что λ0 − λ1 < 0 ⇒ при просте xi , L0
i=1
уменьшается.
n
xi ∼ Γ λ1 , n
 P
Кроме того, если x ∼ exp(λ), то y =
  i=1
L1
Тогда: P L0 > C|H0 ∼ P (y < C |H0 ) = α ⇒ FΓ( λ1 ,n) (C 0 ) = α(uα )
0

C 0 = uα
n
P
Критическая область: xi > uα
i=1

Пример: Проверяется нулевая гипотеза о том, что случайная величина


имеет равномерное распределение на отрезке [−1, 1], против альтернативной
гипотезы, что она имеет распределения Лапласа. Построить критерий
отношения правдоподобия при n = 2 и α < 21

H0 : x ∼ U nif rom[−1, 1], H1 : x ∼ Laplas(λ)

p(x|H0 ) = 12 , x ∈ [−1, 1], p(x|H1 ) = λ2 e−λ|x|


n
P
n −λ |xi |
1 λ
L0 = 2n , L1 = 2n e
i=1

n
P
−λ |xi |
L1 n
L0 =λ e i=1

45
   2

L1
|xi | < C 0
P
P L0 > C|H0 = α ⇔ P =α
i=1

Дополнительные вычисления: Если x ∼ U ni[−1, 1] ⇒ |x| ∼ U ni[0, 1]

Если |x1 | = ξ, |x2 | = η, то |x1 | + |x2 | ∼ pξ+η (x)


 Rx
+∞


 1 · 1dy = x, x ∈ [0, 1]
0
R
pξ+η (x) = pξ (x − y)pη (y)dy = R1
−∞ 

 1 · 1dy = 2 − x, x ∈ [1, 2]
 x−1
 0 , x ∈ (−∞, 0]
x2

, x ∈ [0, 1]

Fξ+η (x) = 1
2
2
(−2 + 4x − x ) , x ∈ [1, 2]
 2


1 , x ∈ [2, +∞)
pξ (x − y) = 1, 0 ≤ x − y ≤ 1 ⇒ x − 1 ≤ y ≤ x

pη (y) = 1, 0 ≤ y ≤ 1
2 
C 02
|xi | < C 0 = α ⇒ F|x1 |+|x2 | (C 0 ) = |{z}
P
Итак: P α ⇒ 2 =α
i=1
< 21

C0 = 2α

Итак: критическая область выглядит, как |x1 | + |x2 | < 2α ⇒ принима-
ется H1

Пример: Проверяется нулевая гипотеза о том, что случайная величина


имеет равномерное распределение на [−1, 1], против альтернативной гипоте-
зы, что она имеет нормальное распределение N (0, σ 2 ). Построить критерий
отношения правдоподобия при n = 2 и α < π4
n
− 2σ12 x2i
P
1 1
L0 = 2n , L1 = n e i=1
σ n (2π) 2
n
− 2σ12 x2i
P
n
L1 22
L0 = n e i=1
σn π 2  
  n
L1
x2i < C 0 |H0 = α ⇒ Fx21 +x22 (C 0 ) = |{z}
P
P L0 > C|H0 = α ⇔ P α
i=1 < π4

Дополнительные вычисления: Если x ∼ U ni[−1, 1] ⇒ Fx1 (x) =


x+1
2 ,x∈ [−1, 1]

46
√ √ √ √
Тогда Fx21 (x) = P (x21 < x) = P (− x < x1 < x) = Fx1 ( x)−Fx1 (− x) =
√ √ √
x+1 − x+1
2 − 2 = x, x ∈ [0, 1]
1
px1 (x) = √
2 x
, x ∈ (0, 1]

πx2
 4 , x ∈ [0, 1]
  √
Fx21 +x22 (x) = P x21 + x22 < x = − R x2 −1 p √ √

 x2 − x21 dx1 + x2 − 1 , x ∈ [1, 2]
−1
0
Итак: πC
4 = α ⇒ C0 = 4α
π


Критическая область принимает вид: x21 + x22 < π ⇒ H1 принимается

47
48
49