Байесовский классификатор

Евгений Борисов
Байесовский классификатор

методы ML

●
метрические — измеряем расстояния, определить ближайших

●
логические - построить правило (комбинацию предикатов)

●
статистические - восстановить плотность, определить вероятность

●
линейные - построить разделяющую поверхность

●
композиции - собрать несколько классификаторов в один

2
Байесовский классификатор
X - объекты, Y - метки классов

X ×Y - вероятностное пространство
с плотностью
p (x , y)

3
Байесовский классификатор
X - объекты, Y - метки классов

X ×Y - вероятностное пространство
с плотностью
p (x , y)

выборка: ( X '×Y ' )⊂( X ×Y )

Задача: построить классификатор с минимальной ошибкой

a : X ' →Y '

4
Байесовский классификатор
X - объекты, Y - метки классов

X ×Y - вероятностное пространство
с плотностью
p (x , y)

выборка: ( X '×Y ' )⊂( X ×Y )

Задача: построить классификатор с минимальной ошибкой

a : X ' →Y '

принцип максимума апостериорной вероятности

a ( x )=argmax P ( y|x)
y∈Y
5
Байесовский классификатор

принцип максимума апостериорной вероятности

a( x)=argmax P( y|x)=argmax P ( y) p(x| y)

y ∈Y y∈Y

P( y) - априорная вероятность класса y

p (x∣y ) - ф-ция правдоподобия класса y
p ( y∣x) - апостериорная вероятность класса y
формула Байеса :
P ( A ) P (B| A )
P( A|B)=
P (B)

6
Байесовский классификатор
о функционале среднего риска

a : X ' →Y ' - классификатор

A y ={x∈ X∣a( x)= y }, y ∈Y - разбиение X на части

7
Байесовский классификатор
о функционале среднего риска

a : X ' →Y ' - классификатор

A y ={x∈ X∣a( x)= y }, y ∈Y - разбиение X на части

Ошибка: объект x класса y попал в класс s

A s , s≠ y - множество ошибочно классифицированных

8
Байесовский классификатор
о функционале среднего риска

a : X ' →Y ' - классификатор

A y ={x∈ X∣a( x)= y }, y ∈Y - разбиение X на части

Ошибка: объект x класса y попал в класс s

A s , s≠ y - множество ошибочно классифицированных

Вероятность ошибки
P( A s , y)=∫ p(x , y)dx
As
где p (x , y) - плотность вероятностного пространства
9
Байесовский классификатор
о функционале среднего риска

Вероятность ошибки
P( A s , y)=∫ p(x , y )dx
As
где p (x , y) - плотность вероятностного пространства

Определим константы для каждого класса - потеря от ошибки

λ ys >0 , ys ∈Y ×Y

10
Байесовский классификатор
о функционале среднего риска

Вероятность ошибки
P( A s , y)=∫ p(x , y )dx
As
где p (x , y) - плотность вероятностного пространства

Определим константы для каждого класса - потеря от ошибки

λ ys >0 ; y , s∈Y

Средний риск: мат.ожидание потери классификатора

R (a)= ∑ ∑ λ ys P( A s , y)
y∈Y s∈Y

11
Байесовский классификатор
Средний риск: мат.ожидание потери классификатора

R (a)= ∑ ∑ λ ys P( A s , y)
y ∈Y s∈Y

Теорема про оптимальный байесовский классификатор

пусть заданы:

●
априорные вероятности классов P( y)
●
плотности их распределений p (x , y)
●
потери от ошибки λ ys >0
тогда минимум среднего риска R(a) достигается классификатором

a( x)=argmin ∑ λ ys P( y) p(x| y)
s∈Y y∈Y 12
Байесовский классификатор
Теорема про оптимальный байесовский классификатор

пусть заданы:

●
априорные вероятности классов P( y)
●
плотности их распределений p (x , y)
●
потери от ошибки λ ys >0
тогда минимум среднего риска R(a) достигается классификатором

a( x)=argmin ∑ λ ys P( y) p(x| y )
s∈Y y∈Y
Дополнение:

если λ yy =0 ; λ y ≡ λ ys
то a( x)=argmax λ y P ( y) p( x| y)
y∈Y 13
Байесовский классификатор
принцип максимума апостериорной вероятности
формула Байеса :
P ( A ) P (B| A )
a ( x )=argmax P ( y|x) P( A|B)=
P (B)
y∈Y

байесовский классификатор

a( x)=argmax λ y P( y ) p ( x| y )
y∈Y

λy - потеря для объектов y

P( y) - доля примеров класса y (априорная вероятность)

p (x∣y ) - плотность класса y
14
Байесовский классификатор

git clone https://github.com/mechanoid5/ml_lectorium.git

К.В. Воронцов Байесовская теория классификации и

методы восстановления плотности. - Курс "Машинное
обучение" ШАД Яндекс 2014

Борисов Е.С. Байесовский классификатор.

http://mechanoid.su/ml-bayes.html

15