Статистические методы, тема

3. Статистические
эксперименты и проверка
гипотез
Доверительные интервалы
Пусть набор данных x1 , … , xn — реализация выборки X1 , … , Xn , где Xi ∼
F . Пусть θ — интересующий нас параметр распределения F , а α ∈ (0, 1).
Если для любого возможного значения θ верно

P (θ^1 (X1 , … , Xn ) < θ < θ^2 (X1 , … , Xn )) = 1 − α,

то интервал

(θ^1 (x1 , … , xn ), θ^2 (x1 , … , xn ))

называется 100 ⋅ (1 − α)% доверительным интервалом для параметра θ.

Число α — это коэффициент (уровень) значимости, (1 − α) — коэффициент
(уровень) доверия.
Критическое значение (или (1 − α)-квантиль) zα распределения N(0, 1) — это
такое число, что P (Z > zα ) = α. Эквивалентно, FZ (zα ) = P (Z ⩽ zα ) = 1 − α.

Поиск zα по FZ (zα ) с помощью Python:

Метод .ppf применяется к заданной стандартное нормальной случайной
величине. Метод принимает аргумент q — это известная FZ (zα ) или 1 − α, а на
выход выдаёт искомое значение zα .

from scipy import stats

# С помощью параметра loc передадим математическое ожидание,

# а scale — стандартное отклонение.
Z = stats.norm(loc=0, scale=1)

Статистические методы, тема 3. Статистические эксперименты и проверка гипотез 1

 # Вычислим значение z_0.2.
z_02 = Z.ppf(q=1-0.2)

# Выведем полученное значение.

print(z_02)

Пусть X1 , … Xn ∼ N(μ, σ 2 ) — случайная выборка из нормального

распределения, где σ 2 известная. Тогда для заданного α ∈ (0, 1) доверительный
интервал для μ имеет вид:

σ σ
(xn − zα/2 ⋅ , xn + zα/2 ⋅ ).
n n

Пусть X1 , … Xn — случайная выборка из произвольного распределения, где σ 2

известная и n ⩾ 40. Тогда для заданного α ∈ (0, 1) доверительный интервал для
μ имеет вид:
σ σ
(xn − zα/2 ⋅ , xn + zα/2 ⋅ ).
n n

Распределение Стьюдента
Распределение Стьюдента t(m) — распределение колоколообразной формы,
симметричное относительно нуля. Его плотность имеет более толстые и длинные
хвосты, чем у нормального распределения: f(x) стремится к нулю при x,
стремящемся к +∞ и −∞, но медленнее, чем в стандартном нормальном
распределении.
Параметр m называют количеством степеней свободы.
Критическое значение (или (1 − α)-квантиль) tm, α — это такое число, что
P (T > tm, α ) = α, где T ∼ t(m).
Эквивалентно, FT (tm, α ) = P (T ⩽ tm, α ) = 1 − α.
Вычисление критических значений Стьюдента в Python. Пример:

from scipy import stats

# Определим случайную величину.

# С помощью параметра df передадим количество степеней свободы (m).
T = stats.t(df=10)

# Вычислим значение t_10,0.01.

Статистические методы, тема 3. Статистические эксперименты и проверка гипотез 2

 t_001 = T.ppf(q=1-0.01)

# Выведем полученное значение.

print(t_001)

Если
1) Xi ∼ N(μ, σ 2 ) и σ неизвестна или
2) n > 100 и σ неизвестна,
тогда случайная величина

ˉn − μ
X
T =
Sn / n

имеет распределение t(n − 1) вне зависимости от значений μ и σ. И 100 ⋅ (1 −

α)%доверительный интервал для среднего будет равен

(x ).
sn sn
ˉn − t(n−1), α/2 ⋅ ,x
ˉn + t(n−1), α/2 ⋅
n n

А также

sn
(xn − t(n−1), α/2 ⋅ , + ∞)
n

100 ⋅ (1 − α)% односторонний доверительный интервал для μ.

Определение интервала с верхней границей симметрично.

Алгоритм тестирования гипотез

1. Определить нулевую и альтернативную гипотезы:

нулевая обозначается H0 ,

альтернативная обозначается H1 или Ha .

2. Зафиксировать уровень значимости α ∈ (0, 1).

Уровень значимости α — наибольшая допустимая вероятность, с которой мы
можем позволить себе отвергнуть верную нулевую гипотезу.

3. Выбрать статистику критерия T .

Статистические методы, тема 3. Статистические эксперименты и проверка гипотез 3

 Статистика критерия — это любая выборочная статистика T =
f(X1 , … Xn ), чьё наблюдаемое значение t позволяет решить, стоит ли
отвергнуть H0 .

4. На основе α определить критическую область для T .

Множество K ⊂ R, соответствующее всем значениям, для которых мы
отвергаем H0 в пользу H1 , называют критической областью. Значения на
границе критической области называют критическими значениями.

5. Статистика T и критическая область K задают вместе статистический

критерий — правило, позволяющее принять или отвергнуть гипотезу на основе
реализации выборки.

6. Если T = t ∈ K, отвергаем H0 в пользу H1 . Иначе отвергнуть H0 мы не

можем.

Тесты для среднего

Двусторонний тест: нулевая гипотеза имеет простой вид, а альтернативная
включает два варианта: μ > μ0 и μ < μ0 .
Односторонний тест: нулевая гипотеза имеет простой вид, а альтернативная
включает только один из двух вариантов: μ > μ0 или μ < μ0 .
Одновыборочный Z -тест для среднего
Предпосылки:

Xi ∼ N(μ, σ 2 ) и σ известна или

n > 30 и σ известна.
Этапы:

1. Определить нулевую и альтернативную гипотезы для μ.

2. Зафиксировать уровень значимости α ∈ (0, 1).

ˉ − μ0
X
3. Статистика: Z = ∼ N(0, 1).
σ/ n
4. Определяем критическую область:

a. если H1 : μ = μ0 , то K = (−∞, − zα/2 ) ∪ (zα/2 , + ∞);

Статистические методы, тема 3. Статистические эксперименты и проверка гипотез 4

 b. если H1 : μ > μ0 , то K = (zα , + ∞);
c. если H1 : μ < μ0 , то K = (−∞, − zα ).
6. Если Z = z ∈ K, отвергаем H0 в пользу H1 . Иначе мы не можем отвергнуть
H0 .
Одновыборочный T -тест для среднего
Предпосылки:

Xi ∼ N(μ, σ 2 ) и σ неизвестна или

n ⩾ 100 и σ неизвестна.
Этапы:

1. Определить нулевую и альтернативную гипотезы для μ.

2. Зафиксировать уровень значимости α ∈ (0, 1).

ˉ − μ0
X
3. Статистика: T = ∼ t(n − 1).
S/ n
4. Определяем критическую область:

a. если H1 : μ = μ0 , то K = (−∞, − tα/2 ] ∪ [tα/2 , + ∞);

b. если H1 : μ > μ0 , то K = [tα , + ∞);
c. если H1 : μ = μ0 , то K = (−∞, − tα ].
6. Если T = t ∈ K, отвергаем H0 в пользу H1 . Иначе мы не можем отвергнуть
H0 .
p-значение — это наименьший уровень значимости α, на котором отклоняется
нулевая гипотеза.
Если мы проводим тест на уровне значимости α, используя некоторую статистику
критерия T , то

T = t ∈ K ⟺ (p-значение для t) ⩽ α.

A/B тестирование
Z -тест для разницы средних из распределений с известными дисперсиями

Статистические методы, тема 3. Статистические эксперименты и проверка гипотез 5

 Предположим, что есть независимые случайные выборки X1 , … , Xnx и
Y1 , … , Yny . Если
1) Xi ∼ N(μx , σx2 ) и Yi ∼ N(μy , σy2 ), σx2 , σy2 — известны или
2) nx > 30 и ny > 30 и σx2 , σy2 — известны, то
на уровне значимости α можно провести тест

H0 : μx = μy ,
H1 : μx =
 μy .

Тогда статистикой критерия будет:

ˉ − yˉ
x
T = .
σx2 σy2
nx
+ ny

Нулевую гипотезу отклоняют, если ∣T ∣ > zα/2 .

Если H1 : μx > μy , тогда критерий T > zα ;
если H1 : μx < μy , тогда критерий T < zα .

T -тест для разницы средних из распределений с равными дисперсиями

Предположим, что есть независимые случайные выборки X1 , … , Xnx и
Y1 , … , Yny . Если
1) Xi ∼ N(μx , σx2 ) и Yi ∼ N(μy , σy2 ), σx2 = σy2 — неизвестны или
2) nx > 100 и ny > 100 и σx2 = σy2 — неизвестны, то
на уровне значимости α можно провести тест

H0 : μx = μy ,
H1 : μx =
 μy .

(nx − 1) s2x + (ny − 1) s2y

Пусть s = .
nx + ny − 2
Тогда статистикой критерия будет:

ˉ ˉ

Статистические методы, тема 3. Статистические эксперименты и проверка гипотез 6

 ˉ − yˉ
x
T = .
s2 s2
nx
+ ny

Нулевую гипотезу отклоняют, если ∣T ∣ > tα/2, n1 +n2 −2 .

Если H1 : μx > μy , тогда критерий T > tα, n1 +n2 −2 ;
если H1 : μx < μy , тогда критерий T < tα, n1 +n2 −2 .

T -тест для разницы средних из распределений с неравными дисперсиями

Предположим, что есть независимые случайные выборки X1 , … , Xnx и
Y1 , … , Yny . Если
1) Xi ∼ N(μx , σx2 ) и Yi ∼ N(μy , σy2 ), σx2 = 2
 σy — неизвестны или
2) nx > 100 и ny > 100 и σx2 = 2
 σy — неизвестны, то
на уровне значимости α можно провести тест

H0 : μx = μy ,
H1 : μx =
 μy .

Статистикой критерия будет:

ˉ − yˉ
x
T = .
s 2x s 2y
nx
+ ny

Нулевую гипотезу отклоняют, если ∣T ∣ > tα/2, min{n1 , n2 }−1 .

Если H1 : μx > μy , тогда критерий T > tα, min{n1 , n2 }−1 ;
если H1 : μx < μy , тогда критерий T < tα, min{n1 , n2 }−1 .

Ошибка второго рода возникает, если ошибочно не отклонить нулевую гипотезу.

Это значит, что на самом деле тестируемая H0 неверна, но на основе наших
данных мы не отвергли её.
Вероятность ошибки второго рода обозначается греческой буквой β.

Статистические методы, тема 3. Статистические эксперименты и проверка гипотез 7

 Мощность теста — это вероятность, что тест корректно отклонит нулевую
гипотезу, когда альтернативная гипотеза верна.
Чтобы найти мощность теста, нужно вычесть из единицы вероятность ошибки
второго рода: 1 − β.

Для одностороннего T -теста минимальный размер выборки определяется по

формуле

2
zα + zβ
n⩾( ) ⋅ (s2x + s2y )
MDE

Для двустороннего —

zα/2 + zβ 2
n⩾( ) ⋅ (s2x + s2y )
MDE

Статистические методы, тема 3. Статистические эксперименты и проверка гипотез 8