Академический Документы
Профессиональный Документы
Культура Документы
А1 - Пасько - Курс лекций по ТВиМС
А1 - Пасько - Курс лекций по ТВиМС
Политехнический институт
Пасько Н.И.
профессор, доктор технических наук
КОНСПЕКТ ЛЕКЦИЙ
по дисциплине
Тула 2012 г.
2
Содержание
1.Введение
1.1.Предмет теории вероятностей и математической статистики
2.4.Случайная величина
4.2.Функция распределения
4.3.Плотность распределения
5.4.Распределение Симпсона
5.5.Биномиальное распределение
3
5.6.Распределение Пуассона
5.7.Геометрическое распределение
5.5.Биномиальное распределение
5.6.Распределение Пуассона
5.7.Геометрическое распределение
5.8.Распределение Паскаля
5.9.Гипергеометрическое распределение
5.10.Формула Стирлинга
6.Непрерывные распределения
6.1.Нормальное распределение
6.2.Показательное распределение
14.Предельные теоремы
14.1.Понятие о законе больших чисел
14.2.Неравенство Чебышева
1.Введение
1.1.Предмет теории вероятностей и математической
статистики
2.4.Случайная величина
Случайная величина – это важнейшее понятие теории вероятностей. Случайной
величиной называется величина, которая в результате опыта может принимать то или
иное заранее не известное значение. Если возможные значения можно пронумеровать, то
случайная величина называется дискретной, если значением случайной величины может
быть любое действительное число в заданном диапазоне, то случайную величину
называют непрерывной.
Например:
число бракованных деталей в партии из M деталей – дискретная (целочисленная)
случайная величина, она может принимать значения 0, 1, 2,…, M;
диаметр обработанной детали на станке автомате является непрерывной случайной
величиной, так как может принимать любые значения в пределах поля допуска и за
пределами поля допуска, в случае бракованной детали;
случайное событие тоже можно рассматривать как дискретную случайную
величину, которая может принимать только два значения: 0 – если в результате
опыта событие не произошло, и 1 – если событие произошло.
A
A+B
B
a)
A
AB
б)
A
A-B
в)
12
Рис.3.1.Иллюстрация операций над множествами событий. а – сложение событий –
объединение множеств; б – произведение событий – пересечение множеств; в – разность
событий – разность множеств.
-A
A
AB
A
AB
AC ABC
B
BC
C
i 1 i i, j i, j, k
но P( Ai ) 1 P( Ai ) 1 pi (i=1,2,3), поэтому
P (C ) (1 p1 )(1 p2 )(1 p3 ) .
p3
p2
p4
p1
p5
x1 x2 x3 x4 xi
Рис.4.1.1.Многоугольник (полигон) дискретного распределения.
23
p2 pi
p1
pn
X
x1 x2 xi xn
Рис.4.1.2. Столбчатая (решетчатая ) диаграмма распределения дискретной
случайной величины.
0,50
0,40
0,30
0,20
0,10
0,00
0 5 10 15
4.2.Функция распределения
1.0
0 x
Рис.4.2.1.Пример графика функции распределения.
x 0 F x 0;
0 x 1 F x 0,25;
1 x 2 F x 0,65;
2 x 3 F x 0,8;
3 x F x 1.
F(x)
1.0
1ю0
0.80
0.65
0.25
0 1 2 3 x
Рис.4.2.2.Пример интегральной функции распределения дискретной случайной
величины.
F(b)
F(a)
0 a b x
Рис.4.2.3.Пример графика распределения непрерывной случайной величины.
4.3.Плотность распределения
0 x dx x
f(x)
0 x
Рис.4.3.1.Графики плотности распределения непрерывной случайной
величины случайной.
f x dx 1. (4.3.3)
27
f(x)
F(x)
0 x x
Рис.4.3.2.Иллюстрация к формуле (4.3.2)
-
0
2 4 2
Рис.4.3.3.График плотности распределения (4.3.4).
По свойству плотности распределения
2
f x dx a cos xdx 2a 1.
2
1
a .
2
Функция распределения:
28
0 при x ;
2
1
F x sin x 1 при x ; (4.3.5)
2 2 2
1 при x .
2
F
(
x)
x
2 2
Рис.4.3.4.График функции распределения (4.3.5)
Вероятность попадания в интервал от 0 до :
4
1 1 2
P 0 X sin 1 sin 0 1 .
4 2 4 2 4
29
x
Рис.5.1.1.Иллюстрация к определению моды случайной величины.
e x
Рис.5.1.2.Иллюстрация к определению медианы.
n
s X xis pi .
i 1
для дискретной случайной величины и интеграл:
s X x
s
f x dx. (5.2.1)
i 1 i 1 i 1
Моменты центрированной случайной величины называются
центральными моментами. Они аналогичны моментам относительно центра
тяжести в механике.
Центральным моментом порядка s случайной величины Х называется
математическое ожидание s-й степени соответствующей центрированной
случайной величины:
s X M X s M X mx s . .
Для дискретной случайной величины s-й центральный момент:
n
s xi mx s pi ,
i 1
для непрерывной:
x mx f x dx.
s
s (5.2.4)
2 2m x2 m x2 2 m x2 .
Аналогично третий центральный момент.
o n
3 M X 3 xi mx 3 pi
i 1
n n n n
xi3 pi 3m x xi2 pi 3mx2 xi pi m x3 pi
i 1 i 1 i 1 i 1
3 3 2 m x 2m 3x .
Вообще говоря, моменты могут рассматриваться относительно произвольной точки
а:
s M X a s .
Но центральные моменты имеют преимущество: первый центральный момент равен нулю,
а второй центральный момент минимален. Докажем это.
32
n n
2 xi a 2 pi xi mx mx a 2 pi
i 1 i 1
n n
xi mx pi 2 mx a xi mx pi mx a
2 2
i 1 i 1
2 mx a .
2
1 2
x
Рис.5.2.1.Иллюстрация к определению ассиметрии. Распределение 1 имеет положиельную
ассиметрию, а распределение 2 – отрицательную.
Ex=0
Ex<0
x
Рис.5.2.2. Иллюстрация к определению эксцесса.
o
s M X M X m x .
0 x
Рис.5.3.1.График равномерной плотности
Плотность распределения f(x) постоянна и равна С на участке от до . Вне этого отрезка
она равна 0.
c при x ,
f x
0 при x или x .
Так как площадь под кривой распределения равна 1:
c 1,
1
c .
Функция распределения:
0 при x
x
F x при x
1 при x
F(x)
0 x
Рис.5.3.2. График равномерного распределения.
0 a b x
Рис.5.3.3. К определению вероятности P(a X b) .
5.4.Распределение Симпсона
a x
b
Рис.5.4.1. График плотности Симсона.
5.5.Биномиальное распределение
5.6.Распределение Пуассона
0,7
0,6
0,5
a=0,5
0,4 a=1
0,3 a=2
0,2 a=3,5
0,1
0
0 1 2 3 4 5 6 7 8
1
n
n n 1 n m 1
lim m
1
n
m a
n 1
n
a
n n
a a a
lim 1 lim 1 ea
n n n n
am a
Pm e
m!
Что и требовалось доказать.
Мы убедились, что распределение Пуассона возникает там, где точки
располагаются случайно друг от друга и подсчитывается их количество, попавшее в
какую-то область. Мы рассмотрели одномерный случай, но его легко можно
распространить на любую размерность. Например, если для отрезка оси параметр а равен
a l , то для плоского случая a S (здесь S - площадь области), а для объёмного
a V (V – объём области).
Докажем, что закон Пуассона является предельным для биномиального
распределения.
Pm , n Cnm p m 1 p
nm
,
Причём параметр a np .
Предельное свойство биномиального распределения можно записать в виде:
am a
lim Cnm p m 1 p
nm
e
n m!
a
Если подставить p , то получим
n
m nm
a a am a
lim Cnm 1 e ,
n
n n m!
40
что уже было доказано. При большом n приближённо вероятность можно считать:
Pm , n
np m e np .
m!
Из-за малой вероятности события закон Пуассона носит название “закона редких
явлений”.
5.7.Геометрическое распределение
5.5.Биномиальное распределение
5.6.Распределение Пуассона
0,7
0,6
0,5
a=0,5
0,4 a=1
0,3 a=2
0,2 a=3,5
0,1
0
0 1 2 3 4 5 6 7 8
1
n
n n 1 n m 1
lim m
1
n
m a
n 1
n
a
n n
a a a
lim 1 lim 1 ea
n n n n
am a
Pm e
m!
Что и требовалось доказать.
Мы убедились, что распределение Пуассона возникает там, где точки
располагаются случайно друг от друга и подсчитывается их количество, попавшее в
какую-то область. Мы рассмотрели одномерный случай, но его легко можно
распространить на любую размерность. Например, если для отрезка оси параметр а равен
a l , то для плоского случая a S (здесь S - площадь области), а для объёмного
a V (V – объём области).
Докажем, что закон Пуассона является предельным для биномиального
распределения.
Pm , n Cnm p m 1 p
nm
,
Причём параметр a np .
Предельное свойство биномиального распределения можно записать в виде:
am a
lim Cnm p m 1 p
nm
e
n m!
a
Если подставить p , то получим
n
m nm
a a am a
lim Cnm 1 e ,
n
n n m!
что уже было доказано. При большом n приближённо вероятность можно считать:
44
Pm , n
np m e np .
m!
Из-за малой вероятности события закон Пуассона носит название “закона редких
явлений”.
5.7.Геометрическое распределение
5.8.Распределение Паскаля
Распределение Паскаля дискретной случайной величины Х выражается так:
P( X x) C xx k 1 p k (1 p) x , ( x 0, 1, 2, ...) , (5.8.1)
где p и k – параметры распределения. Параметр p имеет смысл вероятности, то есть
0 p 1 . Параметр k – целое положительное число.
Математическое ожидание
x k x k (1 p )
M ( X ) C x k 1 p (1 p ) x .
x 0 p
Дисперсия
k (1 p )
D( X ) C xx k 1 p k (1 p ) x x 2 ( M ( X )) 2 .
x 0 p2
Это распределение связано, как и геометрическое, с повторением опытов.
Если p – вероятность события А в одном опыте, то до появления этого события k раз
потребуется всего k+x испытаний, где конкретное значение x имеет вероятность (5.8.1).
Это распределение обобщает геометрическое распределение. То есть если k=1, то
распределение Паскаля совпадает с геометрическим. Действительно, если в (5.8.1)
подставить k=1, то получим
P ( X x ) C xx p (1 p ) x ,
что совпадает с геометрическим распределением (5.7.1), если положить, что
x=n-1
x
и учесть , что C x 1 .
45
5.9.Гипергеометрическое распределение
Гипергеометрическое распределение дискретной случайной величины Х
выражается так:
n x
C kx C N k
P( X x) , ( x 0, 1, 2, ..., min(k , n)) , (5.9.1)
n
CN
где N,n,k – целые положительные величины, играющие роль параметров распределения,
причем n N , k N .
Это выражение уже встречалось нам раньше в связи с выборкой размера n из
партии деталей размером N, в которой k- число дефектных деталей. Тогда x- число
дефектных деталей в выборке из n деталей, а (5.9.1) – вероятность этого значения.
Математическое ожидание
min(n, k ) nk
M (X ) P( X x) x .
x 0 N
Дисперсия
min(n, k ) nk ( N k )( N n)
D( X ) P( X x) x 2 ( M ( X )) 2 .
x 0 N 2 ( N 1)
5.10.Формула Стирлинга
При расчетах вероятностей в дискретных распределениях часто приходится
вычислять выражение n! , например,
n!
C nm .
m!( n m)!
Стирлинг вывел удобную для практических расчетов приближенную формулу
n! n n e n 2n . (5.10.1)
Эта формула особенно удобна при больших n но она дает хорошее приближения и при
малых n. На пример при n=2 n!=2, а формула (5.10.1) дает значение 1.9. При n=4 точное
значение 4!=24, а приближенное 23.5. При n=8 8!=40320 а приближенное значение
39902.4 с относительной ошибкой 0.01.
46
6.Непрерывные распределения
6.1.Нормальное распределение
Это наиболее часто встречающийся на практике закон распределения. Он
характеризуется плотностью вероятности вида:
x m2
1
f x
2
e 2 .
2
Кривая распределения по нормальному закону имеет симметричный холмообразный вид
(см. рис.6.1.1)
f(t)
0,8 a=5 б=0.5
0,7
0,6
0,2
0,1
0,0 t
0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0
-0,1
1
MX
2
2t m e t dt
2 t2 m t2
te dt
e dt.
e dt 2 e t dt .
0
2 t 2 2
te e t dt .
Первое слагаемое равно нулю, второе , откуда
D X 2 .
Геометрический смысл: m – центр симметрии кривой плотности распределения; -
характеризует степень рассеивания случайной величины и одновременно расплывчатость
кривой, поскольку площадь, ограниченная кривой плотности всегда равна единице.
Размерность m и совпадает с размерностью случайной величины Х. Выведем
общие формулы для центральных моментов любого порядка.
x m f x dx
S
S
x m2
1
x m
S 2 2
e dx.
2
Интегрируем по частям:
2 S
2
t
S 1
S te t dt
2 S
1 t 2 S 1
S 1 S 2 t2
2
e t
2 t e dt .
Первый член в скобках равен нулю. Получаем:
S 1 S
2 2
t
S 2
S e t dt.
2
t
S 2
S 2 e t dt .
Следовательно
S S 1 2 S 2
Т. е. можно выражать чётные моменты через моменты на 2 порядка ниже. Нечетные
моменты в силу симметрии распределения равны нулю. Т. е. для чётных моментов имеем:
2 2 ;
4 3 4 ;
6 15 6 ;
48
Общая формула для момента порядка S при чётном S:
S S 1!! S ,
где под S 1!! понимается произведение всех нечётных чисел от 1 до S-1.
Асимметрия:
3
Sk 0.
3
Эксцесс:
4 3 4
Ex 4 3 4 3 0.
Т.е. эксцесс характеризует крутость конкретного закона распределения по отношению к
нормальному.
Вычислим вероятность попадания случайной величины Х, подчинённой
нормальному закону с параметрами m, на участок от до .
P X F F ,
где F(x) – функция распределения величины Х.
x m 2
x 1 x
F x f x dx e 2 2 dx.
2
Замена переменной
xm
t.
xm
t2
1
F x e 2 dx.
2
Этот интеграл сложный, но существуют специальные таблицы для функций:
x x t2
2 1
Ф X e
t2
dx, Ф X
*
e 2 dx.
2
Ф* есть нормальная функция распределения. Её таблицы приведены в приложениях
учебников и задачников.
xm
F x Ф* .
m * m
P X Ф* Ф .
Свойства функции Ф*:
Ф * 0.
Ф * 1.
Ф * x 1 Ф * x .
Учитывая последнее свойство, рассмотрим вероятность попадания на участок,
симметричный, относительно математического ожидания.
l l l
P m l X m l Ф* Ф* 2Ф* 1.
49
f(x)
0 m x
*
Решим следующую задачу. Отложим от математического ожидания четыре отрезка
длиной и вычислим вероятность попадания случайной величины Х в каждый из них.
P m X m Ф * 1 Ф * 0 0,341;
P m X m 2 Ф * 2 Ф * 1 0,136;
P m 2 X m 3 Ф* 3 Ф * 2 0,012;
P m 3 X m 4 Ф* 4 Ф * 3 0,001.
Вероятностью попадания в четвёртый участок уже практически можно пренебречь. Сумма
же вероятностей для первых трёх равна 0,5 с точностью до 0,01 (1%). Т. е. можно сказать,
что в интервале m 3 укладывается практически всё рассеивание. Такой способ оценки
диапазона возможных значений называется правилом трёх сигм. Это правило позволяет
грубо оценить величину . Берут максимально возможное отклонение и делят его на три.
Часто (особенно в артиллерийской практике) для характеристики рассеяния кроме
среднего квадратичного отклонения используют вероятное (срединное) отклонение,
обозначается Е или В.
Вероятным (срединным) отклонением случайной величины Х, распределённой по
нормальному закону, называется половина длины участка, симметричного относительно
центра рассеивания, вероятность попадания в который равна 0,5.
Т. е. вероятность попадания в интервал m E равна 0,5.
1 1
P X m E ; P X m E .
2 2
Выразим Е через :
E 1
P X m E 2Ф* 1 ;
2
E 3
2Ф * 0,75;
4
E
0,674;
E 0,674 .
6.2.Показательное распределение
f(t)
0,6
0,5
a=2.
0,4 0
a=4.0
0,3
a=7.0
0,2
0,1
0 t
0 1 2 3 4 5 6 7 8 9 10
Математическое ожидание
1 t
m M (T ) exp( )tdt a .
oa a
Дисперсия
1 t 2
D(T ) exp( )t dt a 2 a 2 .
0a a
Квадратичное отклонение
T D(T ) a ,
то есть для показательного распределения математическое ожидание и квадратичное
отклонение совпадают.
Этот закон широко используется в теории надежности благодаря
свойству "отсутствия памяти" (марковскому свойству), которое
значительно облегчает выкладки и упрощает расчетные формулы. Суть
свойства в том, что вероятность безотказной работы объекта в заданном
интервале не зависит от времени предшествующей работы.
Показательный закон является предельным для вероятности
безотказной работы сложных систем, если система состоит из элементов,
каждый из которых отказывает и восстанавливается независимо, но при
отказе хотя бы одного элемента простаивает вся система. Такая ситуация на
практике весьма распространена. Она имеет место, например, для сложных
станков, автоматических линий и др.
51
1,2
1
0,8
d=0.5
0,6 d=1.0
0,4 d=2.0
0,2
0
0 2 4 6 8 1 2 4 6 8 2
0, 0, 0, 0, 1, 1, 1, 1,
Математическое ожидание
1 (ln t ln a ) 2 d2
M (T ) exp tdt a exp( ) .
0 2 dt 2d 2 2
Дисперсия
1 (ln t ln a ) 2 2 2 2 2 2
D(T ) exp t dt ( M (T )) a exp(d ) (exp(d ) 1).
2 dt 2
0 2d
Квадратичное отклонение
T D (T ) M (T ) exp(d 2 ) 1 .
Коэффициент вариации
D (T )
T exp(d 2 ) 1 .
M (T )
Ассиметрия
3
Sk T (exp(d 2 ) 2) .
T3
Мода
o a exp( d 2 ) .
Функция распределения F (t ) выражается через рассмотренную ранее функцию
нормированного нормального распределения ( x) следующим образом:
52
1 (ln t ln a ) 2 x 1 x2 ln t ln a
F (t ) exp( )dt exp( )dx ( ),
0 2 td 2d 2
2 2
где
ln t ln a
x .
d
Здесь используется тот факт, что логарифм случайной величины T, распределенной по
закону (6.3.1) имеет нормальное распределение с математическим ожиданием a и
дисперсией d2, по этому это распределение и называется логарифмически
нормальным.
Если X имеет нормированное нормальное распределение то
T a exp(d X )
будет иметь логарифмически нормальное распределение. После логарифмирования
получаем, что
ln T ln a
X .
d
Медиана определяется из следующего уравнения:
ln e ln a 1
F ( e ) ( ) ,
d 2
решение которого -
e a .
Таким образом, параметр распределения a численно равен медиане распределения.
53
Табл.7.1.1.
Простой статистический ряд
i 1 2 3 4 5 6 7 8 9 10
Ti,мин 35 15 66 43 21 165 300 247 52 35
i 1 2 3 4 5 6 7 8 9 10
T(i) 15 21 35 35 43 52 66 165 247 300
F*(t)
1.0
t
0 100 200 300
Рис.7.1.1.График статистической функции распределения
1 2 … i … k
N
интерв.
x0,x1 x1,x2 … xi-1,xi … xk-1,xk
Интерва
л
Число N1 N2 Ni Nk
случаев
Частота P1* P2* … Pi* … Pk*
Плотость f1* f 2* … f i* … f k*
0,4
0,35
0,3
0,25
Частота
0,2
0,15
0,1
0,05
0
1
13
15
11
Номер интервалов
Рис.7.1.1.Полигон распределения
0,014
0,012
0,01
плотность
0,008
0,006
0,004
0,002
0
1
13
15
11
Номера интервалов
Очевидно, что при увеличении числа опытов можно выбирать всё более и более
мелкие разряды; при этом гистограмма будет всё более приближаться к некоторой кривой,
ограничивающей площадь, равную единице. Нетрудно убедиться, что эта кривая
представляет собой график плотности распределения величины Tв.
Пользуясь данными статистического ряда, можно приближённо построить и
статистическую функцию распределения величины Tв . Построение точной
статистической функции распределения с несколькими сотнями скачков во всех
57
наблюденных значениях трудоёмко и себя не оправдывает. Для практики обычно
достаточно встроить статистическую функцию распределения по нескольким точкам. В
качестве этих точек удобно взять границы разрядов, которые фигурируют в
статистическом ряде. В этом случае
i
F * ( x0 ) 0; F * ( xi ) P*j , (i 1,..., k ); F * ( xk ) 1 .
j 1
Соединяя полученные точки ломаной линией или плавной кривой, получим
приближённый график статистической функции распределения. На рис.7.2.3 приведен
такой график статистической функции распределения, построенный по данным табл.7.2.1.
1
Вероятность F(x)
0,8
0,6
0,4
0,2
0
0
0
60
12
18
42
24
30
36
xi m*x
n S
S* X
. i 1
n
Нетрудно доказать, что для статистических моментов справедливы те же свойства,
что и для математических моментов. Например, статистический первый центральный
момент всегда равен нулю:
xi m*x xi
n n
1* i 1
i 1 m*x m*x m*x 0.
n n
Соотношения между начальными и центральными моментами также сохраняются:
x m x
n n n
* 2 2
xi
i x i
2 2
*
2
i 1
i 1
2m*x i 1 m*x 2* m*x .
n n n
Если число опытов слишком велико и приходится разбивать их на разряды, то получим
приближённые формулы:
k
m* M * X ~
xx p* , i i
i 1
k
Dx* D * X ~
2
xi m*x pi* ,
i 1
k
S* X ~
xiS pi* ,
i 1
k
S* X ~
S
xi m*x pi* ,
i 1
где ~
x i - представитель i-го разряда, pi* - частота i-го разряда, k – число разрядов.
Dx* 2*
m*x
2
2,126 0,028 2,098.
Задаём параметры нормального закона:
m m*x 2 Dx*
m 0,168; 1,448
С учётом сглаживания получим вид закона распределения:
x 0,168 2
1
f x e 4 ,196
.
1,448 2
Можно построить гистограмму и сглаженный график.
Пример 7. С целью исследования закона распределения ошибки измерения
дальности с помощью радиодальномера произведено 400 измерений дальности.
Результаты опытов представлены в виде статистического ряда. Выровнять статистический
ряд с помощью закона равномерной плотности.
Решение. Закон равномерной плотности выражается формулой
1
npu x ;
f x
0 npu x или x .
и зависит от двух параметров и .
Математическое ожидание и дисперсия для закона равномерной плотности:
mx
Dx
2 .
2 12
Инт. 20;30 30;40 40;50 50;60 60;70 70;80 80;90 90;100
,м
mi 21 72 66 38 51 56 64 32
*
pi 0,052 0,180 0,165 0,095 0,128 0,140 0,160 0,080
12
Решение: 23,6 96,9 .
Плотность распределения
1 1
f x 0,0136.
73,3
Гистограмма и плотность равномерного распределения показаны на рисунке.
0,2
0,15
p
0,1
f
0,05
0
25 35 45 55 65 75 85 95
63
d ln L
0. (8.1.2)
d
Это уравнение принято называть уравнением правдоподобия. Решение этого
уравнения дает максимум функции правдоподобия, если для него
выполняется условие
d 2 ln L
0.
d 2
Если распределение имеет два пара параметра 1 и 2 , то есть имеет
вид P (1 , 2 , x) , то для оценки этих параметров используются система из двух
уравнений правдоподобия:
ln L ln L
0; 0. (8.1.3)
1 2
При большем числе параметров число подобных уравнений соответственно
увеличивается.
Проиллюстрируем применение метода наибольшего правдоподобия на
примерах.
Пример 1. При n-кратном повторении опыта событие А проявилось m
раз. Оценим вероятность события А по методу наибольшего правдоподобия.
Будем считать, что случайная величина X принимает значение 1, если
произошло событие А и 0, если произошло противоположное событие A .
Согласно (8.1.1) функция правдоподобия в данном случае имеет вид:
L( , x1 ,..., xn ) m (1 ) n m ,
где - оцениваемая вероятность.
После логарифмирования получаем, что
ln L m ln ( n m) ln(1 ) .
После дифференцирования по получаем следующее уравнение:
1 1
m ( n m) 0,
1
после решения которого получаем, что
m
ˆ . (8.1.4)
n
Крышечкой сверху будем отличать оценку параметра от его точного
значения.
65
Формула (8.1.4) уже известна из предыдущего изложения - это оценка
вероятности как частоты события A. Эта оценка состоятельна, то есть при
n она сходится к вероятности этого события, то есть
ˆ . Эта оценка также эффективна, то есть не существует других более
эффективных оценок. Оценка так же несмещенная, то есть её математическое
ожидание равно точному значению параметра: M (ˆ) . Об этих свойствах
оценок подробнее поговорим позже.
Пример 2. Рассмотрим случай оценки параметра дискретной
случайной величины Х, распределенной по закону Пуассона
ai a
P ( a, i ) e , i 0, 1, 2,...
i!
Согласно (8.1.1) функция правдоподобия равна
n a i a mi
L ( e ) .
i 0 i!
После логарифмирования получаем
n
ln L mi (i ln a a ln i!) .
i 0
После дифференцирования получаем:
d ln L n i
mi ( 1) 0 ,
da i 0 a
Откуда
n
mi i n
aˆ i 0 P * (i ) i M * ( X ) , (8.1.5)
n
i 0
mi
i o
mi
где P* (i) - статистическая вероятность того, что X=i.
N
Таким образом, в качестве оценки параметра а распределения Пуассона
следует брать статистическое среднее выборки.
Пример 3. Рассмотрим случай оценки параметра геометрического
распределения дискретной случайной величины X, которое задается законом
P ( p, i ) p (1 p ) i 1 , (i 1, 2, 3,...) .
Если значение X i в выборке размером N, встретилось mi раз, то функция
правдоподобия
n
L [ p (1 p ) i 1 ]mi .
i 1
n
ln L mi [ln p (i 1) ln(1 p )] .
i 1
После дифференцирования получаем:
d ln L n 1 1
mi [ (i 1) ] 0.
dp i 1 p 1 p
В результате решения этого уравнения получаем оценку для параметра p
66
N 1 1
pˆ
n n
M *( X ) . (8.1.6)
mi i P * (i ) i
i 1 i 1
mi
Здесь P* (i ) - статистическая вероятность того, что X i .
N
Таким образом, оценкой наибольшего правдоподобия параметра p
геометрического распределения является величина, обратная выборочному
среднему M * ( X ) .
1 t t
f (t ) ( ) 1 exp( ), t 0.
( )
Оценку произведем по выборке t1 , t 2 ,..., t N .
Функция правдоподобия
N 1 t t
L( , , t1 ,..., t N ) ( i ) 1 exp( i ) .
i 1 ( )
Уравнения правдоподобия имеют вид:
ln L N t
[ ln ln ( ) ( 1)(lnti ln ) i ]
i 1
N 1
ti 0;
2 i
ln L N( )
ln ti N ln 0.
( ) i
После упрощающих преобразований получаем следующую систему уравнений:
1
ti ;
N i
(8.2.9)
( ) 1
ln ln ti .
( ) N i
Эта система уравнений решается численными методами. Если из первого уравнения
определить и подставить во второе уравнение, то получим уравнение только для :
( ) 1 1
ln ln( ti ) ln ti .
( ) N i N i
Если учесть, что
1
T ( t i )1 / N -
T ti ,
N i i
ln L N
N ln a ln xi a b xi b (lna ln xi ) 0 .
b b i i
После упрощающих преобразований получаем для определения
параметров a и b следующую систему из двух уравнений:
1
a b xi b ;
N i
xi b ln xi
1 1
ln xi i 0,
b N i xi b
i
которая решается численно.
F ( x ) 1 exp[( x / ) ], x 0,
тогда для оценки параметров ρ,α получаем систему из двух уравнений:
exp[( X 1*/ 4 / ) 3 / 4;
exp[( X 3*/ 4 / ) 1 / 4;
которая легко решается. Этот метод в данном случае приводит к более
простому решению, чем метод моментов или метод наибольшего
правдоподобия. Следует однако отметить, что с точки зрения точности
оценки параметров этот метод уступает методу наибольшего правдоподобия.
Метод вероятностной бумаги.
72
U 2 n
k pi* pi 2 .
i 1 pi
* mi
Учитывая, что pi
n
k m np 2
U 2 i i .
(9.2.1)
i 1 npi
К.Пирсон показал, что U как случайная величина с ростом n имеет асимптотическое
распределение с плотностью
1 u u
f (u ) ( ) r / 2 1 exp( ), u 0. (9.2.2)
2( r 2) 2 2
Это распределение называется 2 распределением и является частным случаем
рассмотренного ранее гамма распределения (7.4.8) с параметрами 2 и α=r/2.
Единственный параметр 2 распределения r называется числом степеней свободы и
определяется по формуле
r k s, (8.2.3)
где k – число интервалов в гистограмме, по которым сгруппированы данные выборки, а s
– число условий, накладываемых на частоты pi*.
Примеры условий:
k
pi* 1.
i 1
k
~xi pi* mx .
i 1
i 1
То есть число условий равно числу оцененных по выборке параметров плюс условие
нормировки вероятностей к единице.
Для распределения 2 составлены специальные таблицы, позволяющие
по числу степеней свободы r и уровню значимости определить
допустимое значение меры расхождения U u для принятия гипотезы о
законе распределения (гипотезы H).
Схема применения критерия 2:
1. Выборка значений случайной величины X разбивается по
интервалам и строится статистический ряд и гистограмма.
2. Оцениваются параметры предполагаемого распределения.
3. Рассчитываются теоретические вероятности попадания случайной
величины в соответствующие интервалы
75
xi
pi f ( a , b , x) dx . (9.2.4)
xi 1
4. Определяется мера расхождения U по формуле (9.2.1).
5. Определяется число степеней свободы r по формуле (9.2.3).
6. Принимается соответствующее значение уровня значимости .
7. По и r по таблице для распределения (9.2.2) определяется
допустимое значение меры расхождения u , где u удовлетворяет
уравнению
1 u r / 2 1 u
( ) exp( ) du . (9.2.5)
u 2 ( r / 2) 2
2
8. Если U u ,то гипотеза о законе распределения f (a , b , x)
принимается как непротиворечащая опытным данным. Если U u ,
то гипотеза отбрасывается как неправдоподобная.
Таблица 9.2.1
Интервалы От 5 до 6 От 6 до 7 От 7 до 8 От 8 до 9 От 9 до
10
3
mi 16 19 9 3
pi* 0.06 0.32 0.38 0,18 0.06
f i* ( x ) 0.06 0.32 0.38 0,18 0.06
mi – это частота i-го интервала (число данных выборки, попавшее в i-ый интервал);
pi* mi / n - частость (относительная частота или статистическая вероятность) значений
выборки из i-го интервала; pi - теоретические вероятности попадания значения случайной
величины Х в соответствующий интервал, рассчитанные по формуле (9.2.4). Мера
отклонения статистических вероятностей от теоретических, рассчитанная по формуле
(9.2.1), равная сумме значений пятой строки таблицы 9.2.1, U=2.931.
Если принять уровень значимости 0.01 , то пользуясь уравнением (8.2.5) или
соответствующей таблицей для 2 -распределения для отмеченного значения α и числа
степеней свободы r=5-3=2 получаем, что u 9.2.
Так как U u , то гипотеза о законе распределения Симпсона не противоречит
опытным данным и ее можно принять.
77
0,4
0,35
0,3
0,25
Плотность
0,2
0,15
0,1
0,05
0
1 2 3 4 5
Интервалы
78
(x,y)
Рис.10.2.1.
79
Функция распределения F(x,y) есть неубывающая функция по x и по y,
то есть
при x2 x1 F ( x2 , y ) F ( x1, y ),
при y 2 y1 F ( x, y 2 ) F ( x, y1 ).
При x и y равных бесконечности
F ( x, ) F ( , y ) F (,) 0 . (10.2.1)
Если один из аргументов равен , то
F ( x, ) F1 ( x), F (, y ) F2 ( y ) , (10.2.2)
где F1 ( x ), F2 ( y ) - функции распределения X и Y.
Если x и y , то
F ( , ) 1 . (10.2.3)
Если a X b и c Y d , то вероятность этого события
P((a X b) и (с Y d )) F (b, d ) F (a, d ) F (b, c) F ( a, c) .(10.2.4)
Это правило иллюстрируется рисунком 10.2.2.
(a,d) (b,d)
(b,c)
(a,c)
Безусловные распределения X и Y
x y
F1 ( x ) f ( x, y ) dydx, F2 ( y ) f ( x, y )dxdy .(10.3.5)
Безусловные плотности распределения X и Y
dF1 ( x )
f1 ( x ) f ( x, y ) dy ,
dx
. (10.3.6)
dF2 ( y )
f 2 ( y) f ( x, y ) dx
dy
то есть
ks M [ X k Y s ] k s
f ( x, y )( x m x ) ( y m y ) dxdy . (10.6.1)
D x M [ X 2 Y 0 ] M [ X 2 ] D[ X ],
D y M [ X 0 Y 2 ] M [Y 2 ] D[Y ].
(10.6.2)
f ( x, y )( x m x )( y m y )dxdy.
Этот момент называется корреляционным, так как он характеризует степень
зависимости между X и Y. Действительно, если случайные величины
независимы, то корреляционный момент равен 0. Покажем это. Если X и Y
независимы, то f ( x, y ) f1 ( x) f 2 ( y ) и интеграл (10.6.2) равен в этом случае
нулю.
Для характеристики степени зависимости случайных величин чаще
применяют безразмерную величину – коэффициент корреляции
K xy
rxy , 10.6.3)
x y
x , y -
квадратичные отклонения X и Y соответственно. Если X и Y
независимы, то K xy 0 и, следовательно, rxy 0 . Обратное утверждение
неверно, то есть можно показать, что зависимые величины имеют
83
корреляционный момент и коэффициент корреляции равными нулю.
Например, двумерная случайная величина с плотностью
1
при x 2 y 2 a 2 ,
f ( x, y ) a 2
0 при x 2 y 2 a 2
имеет корреляционный момент равный нулю, но X и Y зависимы.
Коэффициент корреляции характеризует тесноту линейной
зависимости случайных величин. Если случайные величины X и Y связаны
точной линейной зависимостью
Y aX b
то коэффициент корреляции rxy 1 ,
если a>0 и rxy 1 , если а<0.
В общем случае, если X и Y связаны стохастически, то
1 rxy 1
в зависимости от тесноты этой зависимости. Если rxy 0 , то говорят, что
между X и Y имеется положительная корреляция. Если rxy 0 , то говорят, что
между X и Y имеется отрицательная корреляция. Если rxy 0 , то говорят, что
X и Y не коррелированны. Если X и Y стохастически связаны линейно,
отсутствие корреляции равносильно независимости X и Y.
84
2
( y my )
]}.
2
y
1 ( y m y| x ) 2
f ( y | x) exp[ ],
2 y | x 2 2
y| x
где
x y
m x| y m x r ( y m y ), m y| x m y r ( x m x ),
y x
x| y x 1 r 2 , y| x y 1 r 2 .
Условные математические ожидания m x| y , m y | x зависят линейно от y и от x
соответственно. Эти зависимости называют регрессиями X на Y и Y на X
соответственно. Интересно отметить, что условные квадратичные
,
отклонения x| y y | x не зависят от y и x .
85
а дисперсия
D y ( ( x ) m y ) 2 f ( x ) dx 2 2
[ ( x )] f ( x ) dx m y , (12.1.2)
= M ( X ) M (Y ) .
Дисперсия суммы случайных величин X и Y
D ( X Y ) D( X ) D(Y ) 2 K xy . (12.2.6)
Доказательство.
2 2
D( X Y ) ( x y ) f ( x, y ) dxdy ( M ( X ) M (Y ))
x 2 f1 ( x ) dx y 2 f 2 ( y ) dy 2 xy f ( x, y ) dxdy
D ( X ) D (Y ) 2 K xy .
n
D(Y ) ai2 D( X i ) . (12.2.11)
i 1
тогда
M ( X m x ) (Y m y )] M ( X Y ) m x M (Y ) m y M ( X ) m x m y
M ( X Y )
K xy m x m y ,
что равносильно (12.2.12).
Если X и Y не коррелированны, то математическое ожидание их
произведения равно произведению их математических ожиданий, то есть:
M ( X Y ) M ( X ) M (Y ) . (12.2.13)
D ( X ) D (Y ) m x2 D (Y ) m 2 2 2
y D( X ) mx m y .
mz mx m y , M ( 2m z XY ) 2m x2 m 2
y.
0 X
x
1/a
1/b
0 x 0 x
a b
f(x)
ab
1/b
0 а x
b a+b
0 X
x
1/a
1/b
0 x 0 x
a b
f(x)
ab
1/b
0 а x
b a+b
14.Предельные теоремы
14.1.Понятие о законе больших чисел
Из опыта известно, что в массовых явлениях результат мало зависит от
отдельных проявлений. Например, давление, оказываемое газом на стенки
сосуда, складывается в результате ударов молекул газа о стенки. Не смотря
на то, что каждый удар по силе и направлению совершенно случайны
итоговое давление оказывается практически детерминированным. То же
самое можно сказать о температуре тела, которая определяет среднюю
кинетическую энергию движения атомов тела. Сила тока есть проявление
движения элементарных зарядов(электронов). Конкретные особенности
каждого случайного явления почти не сказываются на среднем результате
массы таких явлений. Случайные отклонения от среднего, неизбежные в
каждом отдельном явлении, в массе взаимно погашаются, нивелируются,
выравниваются. Именно этот факт – устойчивость средних - лежит в основе
закона больших чисел: при большом числе случайных явлений средний их
результат практически перестает быть случайным и может быть предсказан с
большой степенью определенности.
В теории вероятностей под законом больших чисел понимается ряд
математических теорем, в каждой из которых при тех или иных условиях
устанавливается факт приближения средних характеристик большого числа
опытов к постоянным величинам или к предельным распределениям.
14.2.Неравенство Чебышева
Чебышев доказал неравенство, лежащее в основе доказательства
законов больших чисел. Это неравенство утверждает, что если случайная
величина X имеет математическое ожидание mx и дисперсию Dx, то каково
бы не было положительное число α , вероятность того, что X отклоняется от
своего математического ожидания не меньше чем на α, ограничена сверху
величиной D x / 2 :
Dx
P(| X m x | ) . (14.2.1)
2
Доказательство. Если f (x ) - плотность распределения X, то
P (| X m x | ) f ( x)dx ,
| x m x |
D x | x m x |2 f ( x)dx 2
| x m x | f ( x) dx
2
f ( x )dx .
| x m x | | x m x |
1
P( X i mx ) 1 , (14.3.4)
n i
где , - произвольные малые положительные числа.
Доказывается этот факт с использованием неравенства Чебышева, если
применить его к случайной величине (14.3.1).
Марков сделал обобщение результата Чебышева. Если у Чебышева
предполагалось, что случайные величины Xi одинаково распределены, то
Марков рассмотрел случай, когда Xi от опыта к опыту могут изменять закон
распределения, оставаясь независимыми.
Результат Маркова состоит в следующем: если независимые случайные
величины
X 1 , X 2 ,..., X n
имеют математические ожидания
m1 , m2 ,..., mn
и дисперсии
D1 , D2 ,..., Dn
ограниченные величиной L, то есть
Di L, i 1,2,..., n ,
то при возрастании n среднее арифметическое значение наблюденных
величин X 1 , X 2 ,..., X n сходится по вероятности к среднему арифметическому
их математических ожиданий, то есть к величине
1
mi .
n i