Открыть Электронные книги
Категории
Открыть Аудиокниги
Категории
Открыть Журналы
Категории
Открыть Документы
Категории
Ельцов
2008
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ УКРАИНЫ
Национальный аэрокосмический университет им. Н.Е. Жуковского
"Харьковский авиационный институт"
-3-
Лабораторная работа № 1
Цель работы:
– изучить методику построения решающего правила с использо-
ванием критериев максимального правдоподобия и максимума апо-
стериорной вероятности;
– получить навыки оценивания показателей качества двухаль-
тернативного непараметрического распознавания.
Теоретические сведения
-5-
ческой, а методы распознавания, применяемые в этих условиях, –
непараметрическими. Целью обучения в этом случае является полу-
r
(
чение оценок условных плотностей вероятностей fˆn x a j . )
При непараметрическом оценивании плотности вероятности ис-
пользуются в основном гистограммный метод, метод Парзена, метод
разложения по базисным функциям, метод полигонов Смирнова, ме-
тод локального оценивания по k ближайшим соседям, а также ряд
специальных методов нелинейного оценивания.
-6-
Y1,…,Yg. В других случаях критерий J(Y1,…,Yg) выражает диаметр
или объем области, занимаемый классом в признаковом пространст-
ве, и новые признаки формируются путем минимизации критерия.
Принятие решений
0.6
c
f(x|a1)
0.4
f(x|a2)
0.2
β1 α1 x
0 1 2 3 4 5 6 7 8 9
-9-
Порядок выполнения работы
Номер Номер
варианта m1 σ1 m2 σ2 p1 p2 варианта m1 σ1 m2 σ2 p1 p2
1 2 0.5 4 1 0.3 0.7 5 -1 0.3 1 0.9 0.6 0.4
2 0 0.4 2 1 0.4 0.6 6 -3 1 -1 0.5 0.9 0.1
3 0 1 2 0.8 0.1 0.9 7 -4 0.5 -1 1.2 0.7 0.3
4 -2 0.7 0 0.4 0.2 0.8 8 3 0.8 5 1 0.8 0.2
fx1i
0.5
fx2i
0 1 2 3 4 5 6 7 8
xi
Рис. 1.2. Условные по классу плотности вероятности признака x
fx1i 0.6
fx2i 0.4
fgi
0.2
1 0 1 2 3 4 5 6 7 8
xi
Рис. 1.3. Условные плотности вероятности fx1, fx2
и пороги принятия решения fg
fx1i 0.4
fx2i
0.2
0 1 2 3 4 5 6 7 8
xi
Рис. 1.4. Условные плотности полной вероятности fx1, fx2
с учетом априорных вероятностей классов
- 14 -
1
Q1 i
0.5
Q2 i
0
2 0 2 4 6 8
xi
Рис. 1.5. Апостериорные вероятности Q1, Q2
- 15 -
0.6
fx1i
0.4
fx2i
fgi 0.2
1 0 1 2 3 4 5 6 7 8
xi
Рис. 1.6. Условные плотности полной вероятности fx1, fx2
и пороги принятия решения fg
Цель работы:
– закрепить знания о параметрических методах распознавания;
– исследовать метод распознавания одномерных нормальных
совокупностей с точки зрения оптимизации временных характеристик
распознающей системы;
– получить навыки реализации статистического распознавания
на ЭВМ с использованием системы MathCAD.
Теоретические сведения
- 20 -
m1 + m2
ln c = x gr = . (2.8)
2
1 n
Величина ∑ xi , представляющая собой по условию задачи
n i =1
сумму независимых нормально распределенных случайных величин,
имеет нормальное распределение со средним
⎧1 n ⎫
M ⎨ ∑ xi ak ⎬ = mk (k =1, 2)
⎩ n i=1 ⎭
и дисперсией
⎫ σ
2
⎧1 n
D⎨ ∑ xi ak ⎬ = k (k =1, 2).
⎩ n i=1 ⎭ n
Тогда достоверность распознавания при использовании решаю-
щего правила (2.7) определяется через табулированный интеграл ве-
роятности F(z):
⎡ (m2 − m1 ) n σ ⋅ ln c ⎤
α = β = 1 − F⎢ + ⎥ , m2 > m1 .
⎣ 2 σ ( m2 − m 1 ) n ⎦
- 21 -
А. Вальдом показано, что среди всех правил выбора решения (в
том числе и непоследовательных и, в частности, известных критери-
ев – байесовского, максимума апостериорной вероятности, максиму-
ма правдоподобия, Неймана–Пирсона), для которых условные веро-
ятности ложной тревоги и пропуска сигнала не превосходят α и β, по-
следовательное правило выбора решения, состоящее в сравнении
r
логарифма отношения правдоподобия ln L( x ) (или отношения прав-
r
доподобия L( x ) ) с двумя порогами – нижним c1 и верхним c 2 – при-
водит к наименьшим средним значениям размера выборок M{n a1}
(при справедливости гипотезы H1: a = a1) и M{n a2 } (при справедли-
вости гипотезы H2: a = a2).
Аналитически процедура последовательного анализа может
быть выражена следующим образом: при n-м наблюдении принима-
ется гипотеза H 1 , если
c1 < ln L( x1 , x2 ,K, xk ) < c 2 , k = 1, 2,K, n −1; ln L( x1 , x2 ,K, xn ) ≤ c1 ,
гипотеза H2, если
c1 < ln L( x1 , x2 ,K, xk ) < c 2 , k = 1, 2,K, n −1; ln L( x1 , x2 ,K, xn ) ≥ c 2 .
Таким образом, последовательное правило выбора решения, в
отличие от байесовского, предусматривает сравнение логарифма от-
ношения правдоподобия с порогами c1 и c2 , не зависящими от апри-
орных вероятностей наличия или отсутствия сигнала и от потерь. Эти
пороги с некоторым приближением можно выразить через заданные
значения вероятностей ложной тревоги α и пропуска сигнала β:
c1 = ln[β (1 − α )] ,
c2 = ln[(1 − β ) α ] .
Поскольку при последовательном анализе размер выборки явля-
ется случайной величиной, то даже при сравнительно малых средних
значениях длительности процедуры возможны случаи недопустимо
больших размеров выборки. Типичным примером компромиссного
решения для распределения длительности процедуры является усе-
ченный последовательный анализ, при котором заранее устанавли-
вается максимальное значение объема выборки nmax , при достиже-
- 22 -
нии которого последовательная процедура заканчивается и соответ-
ствующее отношение правдоподобия сравнивается не с двумя поро-
гами ( c1 и c2 ), а только с одним ( cус ), в результате чего обязательно
принимается одно из решений.
- 23 -
Варианты заданий к лабораторной работе № 2
Номер Номер
варианта m1 m2 σ варианта m1 m2 σ
1 1 3 2 5 -1 1 1
2 1 3 1.5 6 -1 1 1.5
3 2 3 1 7 -1 0 1
4 2 3 0.75 8 -2 -1 0.75
Контрольные вопросы
fx1i 0.3
fx2i 0.2
fgi
0.1
2 0 2 4 6 8 10 12
xi
Рис. 2.1. Условные по классу плотности вероятности
признака x и граница между классами
10
x1i
x2i 5
xg
0
0 20 40 60 80 100
i
Рис. 2.2. Реализации наблюдений двух классов x1 и x2
и граница между классами xg
- 26 -
N21:= ∑ if ( y1i > xg, 1, 0 ) .
i
Рассчитаем эмпирические оценки вероятности ошибок распозна-
вания:
N12 N21
P12_e := ; P21_e := ;
N N
P12_e + P21_e
P_e := .
2
8. Для анализа влияния объема n контрольной выборки на дос-
товерность принятия решения, будем проводить расчеты для n = 1, 2,
3, …, 10. При n = 1 результаты полностью соответствуют результа-
там распознавания без накопления информации (yi = xi). При n = 2
решения принимаются по совокупности двух последовательно взятых
отсчетов ( y i = ( x i + x i+1 ) 2 ) и т.д.
Теоретическую вероятность ошибки распознавания можно оце-
нить по формулам
x gr ∞
P12 = ∫ f ( x a2 )dx и P21 = ∫ f ( x a1 )dx .
−∞ x gr
y1i 6
y2i
xg 4
2
0 20 40 60 80 100
i
Рис. 2.3. Реализации статистик y1 и y2
1
fx1i 0.8
fx2i 0.6
f1ni
0.4
f2ni
0.2
2 0 2 4 6 8 10 12
xi
Рис. 2.4. Условные по классу плотности вероятности
данных наблюдений и статистик
- 28 -
значения переменных P_e и P_t и присвоим элементам массивов PE1
и PT1 соответствующие числовые константы:
P_e := 0.25; PE1 := 0.25;
P_t := 0.24; PT1 := 0.24.
12. Повторим исследования, начиная с п. 5, для n = 2, 3, …, 10.
Для каждого последовательно вводимого значения n (1, 2,…, 10)
результаты расчетов P_e и P_t должны присваиваться соответст-
вующим элементам массивов PEj и PTj (j = 1, 2, …, 10), где массивы
{PEj} и {PTj} – экспериментальные и теоретические вероятности
ошибки распознавания при постепенном наращивании объема дан-
ных n.
Сохраненные результаты показаны в табл. 2.1.
Таблица 2.1
n 1 2 3 4 5 6 7 8 9 10
PTj 0.24 0.159 0.11 0.079 0.057 0.042 0.031 0.023 0.017 0.013
PEj 0.25 0.135 0.1 0.06 0.08 0.04 0.015 0.045 0.01 0.0
j := 1..10
0.3
PEj 0.2
PTj
0.1
2 4 6 8 10
j
Рис. 2.5. Зависимости экспериментальной и теоретической
вероятностей ошибок от объема выборки
- 29 -
Лабораторная работа № 3
Цель работы:
– изучить непараметрические методы «обучения с учителем»,
основанные на линейных разделяющих функциях и методику по-
строения кусочно-линейных решающих правил;
– получить навыки статистического оценивания показателей ка-
чества классификации с использованием системы MathCAD для мо-
делирования и представления объектов в виде данных наблюдений.
Теоретические сведения
0
0=
2x
+a
2
+a
1
a1 x
x1
x1
Номер
варианта
1 2 3 4 5 6 7 8
{ξi} i xi yi xi yi xi yi xi yi xi yi xi yi xi yi xi yi
1 0 2 0 2 0 0 0 2 0 0 0 0 0 2 -1 2
Класс
2 1 0 2 0 4 2 1 0 4 -2 2 4 2 0 0 0
a1
3 3 1 4 2 4 -2 3 1 8 0 4 2 4 2 0 2
4 2 2 2 2 0 4 1 1 4 0 2 2 0 4 0 1
Класс
5 3 -2 3 3 4 0 3 -2 4 2 4 0 2 2 2 -2
a2
6 5 1 6 3 6 3 5 1 6 0 6 2 6 3 2 1
- 34 -
Контрольные вопросы
- 35 -
y
x
0 1
S0
S3 S4
S2
S1
S5
координатами ⎜
⎛ 0 + 1 , 0 + 0 ⎞ = (0.5, 0) и параллельна оси 0y:
⎟
⎝ 2 2 ⎠
g2(x, y) = x − 0.5 = 0.
Соответствующее правило принятия решения будет таким:
{если x ≤ 0.5 , тогда γ1, иначе γ2} (3.4)
- 38 -
r r
Расположение данных, их средних значений ( m1 и m2 ) и граница
между классами показаны на рис. 3.6.
r r
m1 m2
y1i
y2i 4 3 2 1 0 1 2 3 4
x1i , x2i
Рис. 3.7. Реализации наблюдений
- 41 -
Лабораторная работа № 4
Цель работы:
– изучить основные принципы «обучения без учителя» и мето-
дики группировки данных в условиях полной апостериорной неопре-
деленности;
– получить навыки иерархической группировки данных с приме-
нением различных мер внутриклассового расстояния.
Теоретические сведения
d max ( X i , X j ) = max
r r
r x − x′ ; (4.5)
xr∈X i ,
x ′∈X j
d mean ( X i , X j ) = mi − m j .
r r
(4.6)
Все эти меры напоминают минимальную дисперсию (4.2) и обыч-
но дают одинаковые результаты, если группы компактны и хорошо
разделены. Однако, если группы близки друг к другу или их форма не
гиперсферическая, результаты группировок с использованием раз-
личных критериев (4.4) – (4.6) могут быть разными.
Номер
варианта i 1 2 3 4 5 6 7 8 9 10
xi 0 1 2 3 4 4 6 6 8 8
1
yi 3 0 3 1 2 5 2 5 2 6
xi 0 1 2 2 3 3 4 5 6 6
2
yi 2 3 0 3 1 4 5 2 2 3
xi 0 1 2 2 4 4 4 5 6 6
3
yi 2 4 0 4 1 4 5 3 3 4
xi 1 2 3 3 4 4 5 5 7 8
4
yi 3 3 0 4 1 6 3 7 3 4
xi 0 1 2 3 3 5 5 7 7 8
5
yi 1 3 -1 -1 2 0 3 0 3 -1
xi 0 2 2 4 4 6 6 8 8 9
6
yi 2 -1 4 -1 3 0 3 -1 4 1
xi 0 1 1 2 2 3 3 4 5 6
7
yi 0 -1 3 0 2 0 3 1 3 1
xi 1 2 3 4 5 5 6 6 7 8
8
yi 1 4 0 5 1 4 0 1 4 3
- 47 -
Контрольные вопросы
0
0 1 2 3 4 5x
Рис. 4.1. Изображение исходных данных
- 49 -
Таблица 4.2
dij 2 3 4 5 6 7 8 9 10
1 3.000 1.414 3.162 2.236 4.472 3.606 5.000 4.123 6.403
2 2.236 1.000 2.828 2.236 3.162 3.162 4.472 4.472
3 2.000 1.000 3.162 2.236 3.606 3.000 5.000
4 2.236 1.414 2.236 2.236 3.606 3.606
5 3.000 1.414 3.162 2.000 4.472
6 2.236 1.000 3.606 2.236
7 2.000 1.414 3.162
8 3.162 1.414
9 4.000
Таблица 4.3
di 1.000 1.414 2.000 2.236 2.828 3.000 3.162
ki 3 5 3 9 1 3 7
0,25
r
0,2
0,15
0,1
0,05
0
1.000
1.414
2.000
2.236
2.828
3.000
3.162
3.606
4.000
4.123
4.472
5.000
6.403
- 50 -
5. Проведем предварительный анализ меры рассеяния dij выбо-
рочного множества. Наиболее удалены друг от друга точки (1) и (10),
предполагаем, что они относятся к различным классам a1 и a2.
Пусть для определенности (1) ∈ a1, (10) ∈ a2.
В качестве начальной точки алгоритмов иерархической группи-
ровки возьмем (1).
6. Выполним группировку данных по алгоритму ближайшего со-
седа. Последовательность шагов алгоритма:
– найдем точку, ближайшую к точке (1). Для этого в строке № 1
табл. 4.2 найдем минимальный элемент d1j ; это d13 = 1.414;
– объединяем точки (1) и (3) в одну группу (класс a1) и перехо-
дим к следующей точке группы – (3);
– находим минимальный элемент d3j в строке № 3; min{d3j} =
d35 = 1.000; считаем, что (5) ∈ a1, и переходим на строку № 5;
– в строке № 5 min{d5j} = d57 = 1.414, относим точку (7) к классу
a1 и переходим на строку № 7;
– в строке № 7 min{d7j} = d79 = 1.414, (9) ∈ a1;
– в строке № 9 находится единственный элемент – d9,10, и мы не
можем отнести точку (10) к группе точек {1, 3, 5, 7, 9}, по-
скольку изначально предполагали, что точки (1) и (10) отно-
сятся к разным классам. Следовательно, обрываем цепочку
последовательных объединений точек в одну группу.
– переходим к одной из точек, не вошедших в первую группу
(класс a1), и повторяем шаги алгоритма.
Таким образом, в результате работы алгоритма ближайшего со-
седа получаем следующее разделение данных:
класс a1: {1, 3, 5, 7, 9}, класс a2: {2, 4, 6, 8, 10}.
7. Определим статистические характеристики рассеяния внутри
каждого класса:
– класс a1: минимальное расстояние d35 = 1.00, максимальное –
d19 = 4.12 , среднее – dа1 = 2.24;
– класс a2: минимальное расстояние d24 = d68 = 1.00, макси-
мальное – d2,10 = 4.47, среднее – dа2 = 2.28.
- 51 -
8. Для визуализации результатов группировки соединим линиями
пары точек, принадлежащих одному и тому же классу (рис. 4.3, а).
9. Выполним группировку данных по алгоритму дальнего соседа.
Считаем, что количество классов объектов не менее двух (K ≥ 2)
и граничные точки (1) и (10) принадлежат разным классам: (1) ∈ a1,
(10) ∈ a2. Для работы алгоритма необходимо оценить диаметр груп-
пы – наибольшее расстояние между точками одной группы. На
рис. 4.2 визуально выделяются четыре моды рассеяния точек:
1
– мода d = 1.414 соответствует в основном несвязанным между
собой парам точек: (1–3), (4–6), (8–10), т.е. указанные ребра не име-
ют общих вершин;
2
– мода d = 2.236 – это расстояние между связанными парами:
{(4–5), (4–7), (4–8)}, {(6–2), (6–7), (6–10)}, {(7–3), (7–4), (7–6)};
2
точки (4), (6) и (7) являются центрами рассеяния с мерой d .
Сравним расстояния от центров рассеяния (4), (6), (7) до гра-
ничных точек (1) и (10) (см. табл. 4.1):
d14 < d17 < d16 (3.16 < 3.61 < 4.47);
d10,6 < d10,7 < d10,4 (2.24 < 3.16 < 3.61);
в качестве критерия разброса внутри класса dmax примем d14;
3
– мода d = 3.126 – расстояние между точками {(8–2), (8–5),
(8–9)}; центр рассеяния – точка (8). Ближайшая к (8) граничная точка
– точка (10) – находится на расстоянии d8,10 = 1.414 < dmax = 3.162,
поэтому точки (10) и (8) относим к одному классу (a2);
4
– мода d = 4.472 характеризует разброс между точками из раз-
ных классов; это означает, что пары (2)–(9), (2)–(10) и (5)–(10) обра-
зуют группы {2, 5} и {9, 10}.
Сгруппируем данные по такому правилу: расстояние от гранич-
ной точки до любой другой точки группы не должно превышать
dmax = 3.162.
Упорядочим расстояния d1i, d10,i (i = 1…10) (табл. 4.4).
Как видно из таблицы, по критерию dmax выделяются две группы:
{1, 2, 3, 4, 5} ∈ a1 и {6, 7, 8, 10} ∈ a2 и отдельная точка (9). Бли-
жайшая к точке (9) – точка (7) и d9,10 = 4.00 < d9,1 = 4.123, поэтому от-
несем точку (9) к классу a2.
- 52 -
Таблица 4.4
Точка (10)
i 8 6 7 4 9 2 5 3 1
dij 1.414 2.236 3.162 3.606 4.000 4.472 4.472 5.000 6.403
Точка (1)
i 3 5 2 4 7 9 6 8 10
dij 1.414 2.236 3.000 3.162 3.606 4.123 4.472 5.000 6.403
а б
Рис. 4.3. Изображение результатов группировки данных:
а – алгоритм ближайшего соседа; б – алгоритм дальнего соседа
- 54 -
Содержание
Введение.......................................................................................... 3
Лабораторная работа № 1. Задача классического обнаруже-
ния. Статистические критерии принятия решения .............................. 4
Лабораторная работа № 2. Исследование эффективности
одноступенчатого алгоритма классификации с накоплением
данных ................................................................................................... 17
Лабораторная работа № 3. Методы разделяющих функций..... 30
Лабораторная работа № 4. Методы группировки данных ......... 42
Библиографический список .......................................................... 54
- 55 -
Васильева Ирина Карловна
Ельцов Павел Евгеньевич
- 56 -