Компьютерные методы анализа больших данных

Лекция 1. Теория вероятности: основные понятия, комбинаторика.

1
 Ресурсы

1. MITx’s Statistics and Data Science MicroMasters Program ®

https://www.edx.org/micromasters/mitx-statistics-and-data-science

2. MIT OpenCourseWare. Courses: 6.86x, 18.6501x, 6.431x,

6.876x, 18.06x, 18.01x….
https://ocw.mit.edu/

3. Introduction to Probability, 2nd Edition

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Edition / Athena
Scienti c, Belmont, Massachusetts, 2011. 539 c.

4. All of statistics: a concise course in statistical inference

Wasserman, L. (2013). All of statistics: a concise course in statistical inference.
Springer Science & Business Media.

2
fi
Теория вероятности, статистика и данные

Прогнозы
Вероятностный
МИР
Принятия решений анализ

Данные Модели

Статистика и
вывод

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

3 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/
 Пространство элементарных событий

Описывает:
- возможные исходы
- предположения о вероятности этих исходов

Множество всех возможных исходов - Ω (sample space)

Элементы множества должны быть:

- взаимоисключающими
- взаимоисчерпывающими
- корректной ёмкости

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

4 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/
 Пространство элементарных событий

Какое пространство событий задано корректно?

1. Ω = {Орел и идёт дождь, Орел и нет дождя, Решка}

2. Ω = {Орел и идёт дождь, Решка и нет дождя, Решка}

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

5 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/
 Пространство элементарных событий

Дискретное пространство Непрерывное пространство

Y

X - первый бросок 1
Y - второй бросок

1 2 3
1 1,1 2,1

2 1,2

0 1 X
Может быть визуализировано в 0 ≤ X, Y ≤ 1
виде таблицы, дерева исходов

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

6 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/
 Аксиомы вероятности

Событие/исход (event) - это подмножество пространства

элементарных событий.

Вероятность (probability) всегда сопоставлена с событием.

Аксиомы:

- вероятность всегда положительна P(A) ≥0

- нормализация P(Ω) =1
- конечная аддитивность: если A ∩ B = Ø, тогда
P(A ∪ B) = P(A) + P(B)

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

7 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/


 Следствия из аксиом

Аксиома: Следствие:
P(A) ≥ 0 P(A) ≤ 1

P(Ω) = 1 P(∅) = 0
Для не пересекающихся событий:
c
P(A ∪ B) = P(A) + P(B) P(A) + P(A ) = 1

P(A ∪ B ∪ C) = P(A) + P(B) + P(C)

P({s1}, {s2}, . . . , {sk}) = P({s1}) + P({s2}) + . . . + P({sk})

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

8 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/
 Следствия из аксиом

c c c
A∩A =∅ 1 = P(Ω) = P(A ∪ A ) = P(A) + P(A )
c
A∪A =Ω P(A) = 1 − P(A c) ≤ 1
c
1 = P(Ω) + P(Ω )
1 = 1 + P(∅) ⇒ P(∅) = 0
Для пересекающихся событий:

P(A ∪ B) = P(A) + P(B) − P(A ∩ B)

c c c
P(A ∪ B ∪ C) = P(A) + P(B ∩ A ) + P(C ∩ A ∩ B )
P(A ∪ B ∪ C) = A ∪ (B ∩ A c) ∪ (C ∩ A c ∩ B c)
Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

9 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/
 Следствия из аксиом

Пусть A, B, C непересекающиеся события.

Верны ли утверждения:
c c
P(A) + P(A ) + P(B) = P(A ∪ A ∪ B) ?
P(A) + P(B) ≤ 1 ?
c
P(A ) + P(B) ≤ 1 ?
P(A ∪ B ∪ C) ≥ P(A ∪ B) ?

Пусть A, B ∈ Ω и P(A) = 0.4, P(B) = 0.7

Пересекаются ли эти события?

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

10 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/


 Вычисление вероятностей

Дискретный случай

Кол-во возможных исходов = 4*4 = 16

Пусть вероятность 1 исхода = 1/16

X - первый бросок
P(X = 1) = 4/16 = 1/4
Y - второй бросок

1 2 3 4
1
Пусть Z = min(X, Y )
2
P(Z = 4) = 1/16
3
4 P(Z = 2) = 5/16

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

11 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/
 Дискретное равномерное распределение

Пусть Ω содержит n конечных равновероятных элементов

Пусть A содержит k элементов

Тогда: Ω
A
k
P(A) =
n

Discrete uniform law

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

12 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/
 Непрерывное равномерное распределение

Вероятность = Площадь Непрерывное пространство

Y
Вероятность в точке, например,
P({1,1}) = 0! 1
Ω
x + y = 1/2

P({x, y} | x + y ≤ 1/2) = 1/2

1/2 ⋅ 1/2 ⋅ 1/2 = 1/8

0 1/2 1 X
0 ≤ X, Y ≤ 1
Uniform probability law

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

13 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/




 Вычисление вероятностей

1. Определить пространство элементарных исходов

2. Определить распределение вероятностей

3. Определить событие

4. Рассчитать вероятность

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

14 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/

 Вычисление вероятностей

Дискретное, но бесконечно распределение

p
Ω = {1,2,3,...} 1/2

1
P(n) = n 1/4
2
1/8
∞ ∞ 1/16
1 1 1 1 1 ……….
∑ 2n 2 ∑ 2n 2 1 −
= = ⋅ 1 0 1 2 3 4
n=1 n=0 2

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

15 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/
 Аксиома счётной аддитивности

Countable additivity axiom

Если A1, A2, A3, . . . , бесконечная последовательность не

пересекающихся событий, тогда:

P(A1 ∪ A2 ∪ A3 ∪ . . . ) = P(A1) + P(A2) + P(A3) + . . .

Аддитивность применима только к счётным событиям

Единичный квадрат, прямая и т.д. несчётно, так как элементы

этих множеств не могут быть последовательностью

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

16 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/

 Комбинаторика

https://youtu.be/nEEpOu5CMKI

17
 Комбинаторика

Пусть Ω содержит n конечных равновероятных элементов

Пусть A содержит k элементов Ω

A
Тогда:
Anumber k
P(A) = =
Ωnumber n

Discrete uniform law

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

18 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/
 Счётный принцип

У вас в шкафу:
- 4 пары брюк;
- 5 рубашек/блузок
- 3 пиджака

Сколько всего вариантов одеться??

19






 Перестановки
Permutations

Перестановки - это количество способов выстроить n элементов

n элементов

n ⋅ (n − 1) ⋅ (n − 2) ⋅ (n − 3) ⋅ . . . ⋅ 1 = n!

20
 Количество под-множеств
Subsets
Это количество под-множеств, которые можно сделать из n
элементов

Одно множество

n элементов Включаем/не включаем

2 ⋅ 2 ⋅ 2 ⋅ . . . . ⋅ 2 = 2n

21
 Пример 1

Какова вероятность того, что за 6 бросков шести-

стороннего кубика 6 раз выпадет разный номер?
(все исходы равновероятны)

Вероятность всех исходов нашего эксперимента:

1
P(1,2,3,4,5,6) = 6
6
Кол-во перестановок в A:
P(1,2,3,4,5,6) = 6!

Вероятность искомого события:

numbers in A 6!
P(A) = = 6
possible outcomes 6
Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

22 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/








 Комбинации

( k ) k!(n − k)!
n n!
Определение: = количество «способов»

выбрать k под-множеств (элементов) из множества n

( 0 ) 0!n!
n n!
( n ) n!0!
n n! = =1
= =1

0! = 1 - это соглашение

∑ ( k ) (0) (1) (k)

n
n n n n n
= + + ... + =2
k=0
- все подмножества
Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

23 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/


 Биномиальный коэффициент и вероятности

Пусть n≥ 1 раз независимо подбросили монету, и пусть P(H) = p, тогда

(k)
n
вероятность P(k = number of heads) = p k(1 − p)n−k

P(HTTHHH) = p(1 − p)(1 − p)ppp = p 4(1 − p)2 - вероятность

конкретной последовательности орлов/решек, то есть:

P(particular number of k heads) = p k(1 − p)n−k

P(k = number of heads) = p k(1 − p)n−k × кол-во

последовательностей с k-решками

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

24 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/

 Пример 2

Задача: Модель:
Пусть выпало 3 орла в 10 бросках. Независимость,
Какова вероятность того, что P(H) = p,

(k)
первые два броска были орлами?? n
P(k = #heads) = p k(1 − p)n−k

Событие A - первые два броска орёл

Событие B - выпало 3 орла в 10 бросках

( 1 ) (1
2 8 1
A ∩ B P(HH ∩ H . .3,...,10) p p − p)7
P(A | B) = = =
(3)
B P(B) 10
p 3(1 − p)7
(1)
8

= .
(3)
10

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

25 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/








 Полиномиальный коэффициент

Пусть есть n ≥ 1 предметов и r ≥ 1 человек

Мы раздаём ni предметов человеку i

При этом n1, n2, . . . , nr неотрицательные целые числа и

n1 + n2 + . . . + nr = n

n!
«Кол-во разбиений на людей» =
n1 !n2 ! . . . nr !

При r = 2 это биномиальный коэффициент (частный случай):

n1 = k, n2 = n − k

Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

26 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/





 Пример 3

Есть 52 карты, которые раздаются честно на 4 игроков. Найдите

вероятность того, что у каждого игрока будет туз.
Модель: исходы равновероятны.

52!
Всего исходов:
13!13!13!13!
Распределяем 4 туза: 4 ⋅ 3 ⋅ 2 ⋅ 1

48!
Распределяем оставшиеся 48 карт:
12!12!12!12!
48!
4⋅3 ⋅ 2 ⋅ 1 12!12!12!12!
Ответ:
52!
13!13!13!13!
Credit/Reference:

Bertsekas D.P., Tsitsiklis J.N. Introduction to Probability, 2nd Ed

27 https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/