Академический Документы
Профессиональный Документы
Культура Документы
экспериментальных
данных
1
Введение
2
1.1. Введение
Окружающий нас мир насыщен информацией…
1. Планирование и 4. Построение
сбор данных моделей и проверка
гипотез
2. Предварительное
исследование 3. Оценка неизвестной
данных величины
1.3. Структуры данных
Одномерные наборы данных (одна переменная) содержат
только один признак, зарегистрированный для каждой
элементарной единицы.
Количественные данные
Дискретные Непрерывные
Качественные данные
Порядковые Номинальные
Временные ряды
1.3. Структуры данных
Источники данных
Первичные Вторичные
( x m )2
1
f ( x) e 2 2
2
1.5. Основные законы распределения
случайных величин и их назначение
Равномерное распределение полезно при описании
переменных, у которых каждое значение равновероятно,
иными словами, значения переменной равномерно
распределены в некоторой области.
1
, x [ , ]
f ( x)
0, x [ , ]
1.5. Основные законы распределения
случайных величин и их назначение
Экспоненциальное распределение. Имеют место события, которые на обыденном
языке можно назвать редкими. Если T – время между наступлениями редких
событий, происходящих в среднем с интенсивностью λ, то величина имеет
экспоненциальное распределение с параметром λ (лямбда). Экспоненциальное
распределение часто используется для описания интервалов между
последовательными случайными событиями, например интервалов между
заходами на непопулярный сайт, так как эти посещения являются редкими
событиями.
f ( x ) e x , x 0
1.5. Основные законы распределения
случайных величин и их назначение
Распределение Лапласа, или, как его еще называют, двойного
экспоненциального, используется, например, для описания
распределения ошибок в моделях регрессии.
1 x
f ( x ) e , ( x )
2
1.5. Основные законы распределения
случайных величин и их назначение
Случайная величина h называется логарифмически нормальной, или
логнормальной, если ее натуральный логарифм (lnh) подчинен
нормальному закону распределения. Логнормальное распределение
используется, например, при моделировании таких переменных, как
доходы, возраст новобрачных или допустимое отклонение от стандарта
вредных веществ в продуктах питания. Итак, если величина x имеет
нормальное распределение, то величина y=ex имеет логнормальное
распределение.
(ln x ln a ) 2
1
f ( x) e 2 2
2 x
1.5. Основные законы распределения
случайных величин и их назначение
Распределение Пуассона иногда называют распределением редких
событий. Примерами переменных, распределенных по закону Пуассона,
могут служить: число несчастных случаев, число дефектов в
производственном процессе и т д.
x
e
f ( x)
x!
1.6. Краткий обзор современных программных
средств для проведения анализа данных.
MATLAB – это высокопроизводительный язык для технических
расчетов. Он включает в себя вычисления, визуализацию и
программирование в удобной среде, где задачи и решения
выражаются в форме, близкой к математической. Типичное
использование MATLAB – это:
• математические вычисления
• создание алгоритмов
• моделирование
• анализ данных, исследования и визуализация
• научная и инженерная графика
• разработка приложений, включая создание графического
интерфейса
1.6. Краткий обзор современных программных
средств для проведения анализа данных.
Deductor
Аналитическая платформа Deductor реализует практически все
современные подходы к анализу структурированной табличной
информации: хранилища данных (Data Warehouse), многомерный
анализ (OLAP), добыча данных (Data Mining), обнаружение знаний
в базах данных (Knowledge Discovery in Databases). Лучшим
способом изучить и понять целесообразность использования
современных технологий анализа - это испытать все на практике.
1.6. Краткий обзор современных программных
средств для проведения анализа данных.
STATGRAPHICS – это универсальный пакет для анализа и визуализации
данных. Отличительной особенностью пакета является наличие такого
инструмента как StatAdvisor, который помогает пользователям
интерпретировать полученные результаты, обеспечивает возможность
объединения в одном окне нескольких текстовых и графических подокон.
StatAdvisor дает пользователям понятные разъяснения полученных
результатов, определяет, являются ли эти результаты существенными, и
обращает особое внимание на любые возможные ошибки в анализе.
Пользователи получают немедленную интерпретацию результатов в
процедурах, доступных в как основной системе, так и в четырех
специальных модулях, поставляемых по выбору: Quality Control (контроль
качества), Experimental Design (планирование эксперимента), Time-Series
Analysis (анализ временных рядов) и Advanced Multivariate Method
(анализ вариаций).
Вопросы ?
24
КЛАССИФИКАЦИЯ
В РАСПОЗНАВАНИИ
ОБРАЗОВ
25
Схема системы распознавания
Система распознавания образов состоит из нескольких подсистем:
Формирователь
информативных Класси- Решение
Объект Датчики
фикатор
признаков
(x , x )0 x2
1 2
Обучающая выборка и решающее
правило для случая двух G1 ( x , x ) 0
1 2
информативных признаков x1, x2 и
двух классов.
G2
( x , x ) 0
1 2
x1
Байесовская теория принятия решений
при дискретных признаках
Одномерный вариант
P ( | X xi ) max P( j | X xi ) , j 1, m
Байесовская теория принятия решений
при дискретных признаках
Многомерный вариант
P( | xi , y j ) max P ( k | xi , y j ) , k 1, m
Байесовская теория принятия решений
при дискретных признаках
Одномерный вариант
1
X xi Решающее
устройство
m
Многомерный вариант
X xi 1
Решающее
Y yj устройство
m
Байесовская теория принятия решений
при непрерывных признаках
Одномерны вариант: f ( x | i ), i 1, 2,
Апостериорные вероятности классов по формуле Байеса :
f ( x | i ) P (i )
P (i | x) , i 1, 2
f ( x)
P ( j | x)
1 если P (1| x ) P (2| x )
P(1| x ) P( 2| x )
то принимается решение о 1-м классе, иначе о
2-м классе.
0 x
G1 c G2
Байесовская теория принятия решений
при непрерывных признаках
Вероятность ошибки классификации при двух классах:
Pîø1 f ( x | 1) P(1)dx
G2
Pîø2 f ( x | 2) P( 2)dx
G1
P ош.2 P ош.1
x
G1 c G2
Идеи классификации
Случай 1. Известны полностью условные плотности распределения вероятности
для признаков:
f ( x | 1), , f ( x | m)
x2
f ( x |i ) ( x1 , x2 ) 0
f ( x|1) f ( x|2) ( x1 , x2 ) 0
( x1 , x2 ) 0
x
G1 c G2
x1
f ( x)
1) По количеству максимумов
определяем кол-во классов
2) Минимум позволяет разбить выборку
на две части – точка c0 (нулевое
приближение).
f ( x|1) P(1) f ( x|2) P(2)
x 3) Далее строится процедура
c последовательного (итерационного)
расчета порога c.
4) В итоге получаем случай 3.
Прямые методы восстановления
решающей функции
(x)
x
-1
НЕЙРОННЫЕ СЕТИ: еще один
подход к классификации
Идея взята из биологии:
•Клетка - элементарный процессор, способный
к простейшей обработке информации
•Нейрон - элемент клеточной структуры мозга
•Нейрон осуществляет прием и передачу
информации в виде импульсов нервной
активности
•Природа импульсов - электрохимическая
Интересные данные
Тело клетки имеет размер 3 - 100 микрон
Гигантский аксон кальмара имеет толщину 1 миллиметр и
длину несколько метров
Потенциал, превышающий 50 мВ изменяет проводимость
мембраны аксона
Общее число нейронов в ЦНС человека порядка
100.000.000.000
Каждая клетка связана в среднем с 10.000 других нейронов
Совокупность в объеме 1 мм*3 - независимая локальная сеть
Персептроны
1 ( x)
a1 a11 ( x)
1
j (x) ( x, a) Пороговое
aj устройство 1
sgn
M (x)
aM Блок
Преобразователи, обучения
предикаты, Усилители
нейроны
Формальный нейрон
Нелинейное преобразование
Маккалок - Питтс
Линейная
Сигмоидальная
Перцептрон Розенблата
Сети предъявляется
входной образ xв
результате формируется
выходной образ.
STATISTICA Neural Networks
ВОПРОСЫ ?
48
ПЛАНИРОВАНИЕ
ЭКСПЕРИМЕНТА
49
Что такое планирование эксперимента
y (u1 , , um ) h
Эксперименты в науке и промышленности
Экспериментальные методы широко используются как в науке,
так и в промышленности, однако нередко с весьма
различными целями.
j
0 0 , j j u j , j 1, m 0 0 , j , j 1, m
u j
n m
2 2
Параметры βi модели рассчитаем по I y ( yi 0 j x ji ) min
критерию наименьших квадратов : i 1 j 1
j
( x j , y) ( x j , y)
( x k , x j ) x ki x ji , ( x k , y ) x ki yi
(xj, xj ) n i 1 i 1
Крутое восхождение по поверхности
отклика
В планировании эксперимента поверхностью отклика называют уравнение связи
выхода объекта с его входами.
1 0
u1 u u k , где k - величина шага.
Полный факторный эксперимент
Полным факторным экспериментом
называется эксперимент, в котором n x1 x2 x3 x4 yi
реализуются все возможные сочетания 21 1 y1
уровней факторов. Если число факторов 2 y2
равно m, а число уровней каждого фактора 3 y3
равно p. то имеем полный факторный 22 4 y4
эксперимент типа pm. 5 y5
6 y6
7 y7
При построении линейной модели объекта 23 8 y8
9 y9
используется полный факторный
10 y10
эксперимент типа 2 m. Условия 11 y11
эксперимента записываются в таблицы, в 12 y12
4
которых строки соответствуют различным 2 13 y13
опытам, а столбцы – значениям факторов. 14 y14
Такие таблицы называются матрицами 15 y15
планирования эксперимента. 16 y16
Полный факторный эксперимент
2 + – + – y2
3 + + – – y3
4 + – – + y4
Дробные реплики
При большом числе входов объекта полный факторный эксперимент 2m
содержит большое число экспериментов. Можно этот план разбивать на блоки
(дробные реплики) с сохранением ортогональности плана. При этом по
меньшему числу точек определяются (также независимо друг от друга) все
коэффициенты линейной модели.
n x1 x2 x3 X4=x1x2
1 + + + +
Чтобы получить дробную реплику, необходимо
2 – + + –
за основу взять полный факторный эксперимент
(например 23) и в качестве новой переменной 3 + – + –
взять один из столбцов (например x4), 4 – – + +
соответствующий фактору взаимодействия 5 + + – –
(например x4=x1x2). Для данного примера 6 – + – +
дробная реплика обозначается как 24-1. 7 + – – +
8 – – – –
3 (0;2a )
Эти планы центральные и ортогональные.
Насыщенные планы. Симплекс
x1 x2 x3 xm
a1 a2 a3 am
a1 a2 a3 am
0 2a2 a3 am
0 0 3a3 am
0 0 0 mam
Насыщенные планы.
Планы Плаккета – Бермана
Плаккет и Берман в 1946 г. предложили способ построения насыщенных планов (с
единичными координатами) при m=11, 19, 23, 27, 31, 35, 39, 43, 47, 51, 55, 59, 63, 67,
71, ... .
m n Строка
11 12 ++–+++–––+–
19 20 ++––+++–+–+––––++–
23 24 +++++–+–++––++––+–+––––
31 32 ––––+–+–+++–++–––+++++––++–+––+
35 36 –+–+++–––+++++–+++––+––––+–+–++––+–
Разбиение матрицы планирования на
блоки
При проведении эксперимента выход объекта дрейфует. Если этот
дрейф кусочно-постоянный, то его можно нейтрализовать, изменяя
порядок проведения эксперимента во времени. Для этого разбивают
матрицу планирования на блоки и последовательно реализуют (во
времени) эту матрицу: вначале один блок, затем другой и т. д.
2 – + + – y2=y2ист+Δ1 2
3 + – + – y3=y3ист+Δ1 2
4 – – + + y4=y4ист+Δ1 1
5 + + – – y5=y5ист+Δ2 2
6 – + – + y6=y6ист+Δ2 1
7 + – – + y7=y7ист+Δ2 1
8 – – – – y8=y8ист+Δ2 2
Разбиение матрицы планирования на
блоки
Для устранения этого недостатка изменим порядок проведения
эксперимента, разбив план на 2 блока.
n x1 x2 x3 xдр yi Номер блока
1 + + + + y1=y1ист+Δ1
2 – – + + y2=y2ист+Δ1 Блок 1
3 – + – + y3=y3ист+Δ1
4 + – – + y4=y4ист+Δ1
5 – + + – y5=y5ист+Δ2
6 + – + – y6=y6ист+Δ2 Блок 2
7 + + – – y7=y7ист+Δ2
8 – – – – y8=y8ист+Δ2
Обработка результатов эксперимента
1. Проверка однородности дисперсий. Если при реализации
ортогонального плана остается неизвестным, на самом ли деле дисперсии
выходов (ошибок измерения) одинаковы в каждой точке плана, то необходимо
в каждой точке плана осуществить несколько дополнительных измерений
выхода, найти оценку дисперсии (в каждой точке) и проверить гипотезу о
равенстве дисперсий.
Проверка однородности дисперсий производится с помощью различных
статистик. Простейшей из них является статистика Фишера, представляющая
собой отношение наибольшей из оценок к наименьшей:
2
max
F 2
min
n
Так же можно выполнить проверку с 2 2
использованием статистики Кочрена:
Gmax max / j
j 1
Обработка результатов эксперимента
2. Проверка адекватности модели. Вычисляем остаточную сумму квадратов , делим
ее на число степеней свободы n-m-1 и получаем остаточную дисперсию (дисперсию
адекватности):
2 1 n
2
ад i i)
( y y
n m 1 i 1
На основе дополнительного эксперимента объема n0 в одной из точек плана (например
в центре плана) строим оценку для дисперсии выхода объекта. Число степеней
свободы для оценки n0 -1. По статистике Фишера проверяем гипотезу о равенстве
дисперсий, которая совпадает с гипотезой об адекватности модели.
2 2
F ад / y
Если статистика не превосходит порогового значения, то принимается гипотеза об
адекватности модели. В противоположном случае эта гипотеза отвергается. Надо
заново строить модель, например, усложняя ее за счет введения дополнительных
факторов, либо отказываться от линейной модели и переходить к квадратичной
модели.
Обработка результатов эксперимента
3. Проверка значимости коэффициентов заключается в
проверке гипотезы H: bj = 0 для каждого j=1,…,m.
Вычисляется статистика Стьюдента:
j
t
y / n
x1
Метод случайного баланса
Часто влияние факторов на выходную координату объекта имеет затухающий
экспоненциальный вид:
y
В 1956 году Сатерзвайт предложил метод
100 % случайного баланса для отсеивания небольшого
80 %
числа значимых факторов на шумовом поле.
60 %
Метод базируется на постановке экспериментов
40 %
по плану, содержащему координаты точек,
20 %
выбранных случайным образом.
0
x1 x2 x3 x4 x5 x6 x7 x8 x9 x10
80
МЕТОДЫ
НЕПАРАМЕТРИЧЕСКОЙ
ОБРАБОТКИ
ИНФОРМАЦИИ
81
Оценивание функционалов
Необходимо по выборке x1,…,xn случайной величины X найти оценку
функционала
( x, f ( x ), ) f ( x )dx
m xf ( x )dx M { X } – математическое ожидание.
( x m) 2 f ( x )dx M {( X m ) 2 } – дисперсия.
2
H ( X ) (log f ( x)) f ( x)dx – приведенная энтропия.
Оценивание функционалов
Схема построения оценки Фn следующая. Вначале строится оценка для
плотности вероятности fn(x), а затем она подставляется в функционал.
Основным свойством оценки Фn(x1,…,xn) является ее состоятельность. Оценка Фn
функционала Ф называется состоятельной, если:
p
n lim P{| n | } 0
n
M { n }
Она является асимптотически несмещенной, если:
M { n } n
Простейшие оценки функции
и плотности распределения вероятности
По упорядоченной независимой выборке x1,…,xn случайной величины X
построим оценку Fn(x) для функции распределения:
F ( x ) P{ X x}
m число исходов, благоприятствующих событию { X x} 1 n
Fn ( x ) 1( x xi )
n общее число опытов n i 1
1, z 0,
где 1(z) – единичная функция: 1( z )
0, z 0.
Fn ( x )
1
1 1 n
1 n
n
1
1 n
1 n
1 n
0 n
x
x1 x2 x3 x4 xn2 xn1 xn
Простейшие оценки функции
и плотности распределения вероятности
Так как плотность распределения f(x) связана с функцией распределения F(x)
через линейный оператор дифференцирования :
dF ( x )
f ( x)
dx
Можно получить оценку для плотности распределения :
dFn ( x ) 1 n d 1 n
f n ( x) 1( x xi ) ( x xi )
dx n i 1 dx n i 1
Здесь δ(x-xi) – дельта-функция Дирака. Она имеет "игольчатый" ("гребенчатый") вид:
уходит до ∞ в точке xi , а при остальных значениях аргумента x равна нулю и обладает
свойствами:
xi
1) ( x x )dx 1
xi
i
- площадь под дельта функцией единичная.
селектирующее свойство дельта-функции позволяет
x
i
легко выполнять интегрирование. Интеграл
2) ( x )( x xi )dx ( xi )
x
i
оказывается равным подынтегральному выражению,
стоящему перед дельта-функцией, в особой точке.
Простейшие оценки функции
и плотности распределения вероятности
Первое свойство показывает, что, несмотря на экзотическое поведение дельта-
функции, площадь под ней единичная.
x
x1 x2 x3 x4 xn2 xn1 xn
Оценка плотности распределения является несмещенной, но несостоятельной. В явном
виде её использовать нельзя. Ею удобно пользоваться при вычислении оценок
моментов (математического ожидания, дисперсии и др.) для случайной величины или
для аналитической функции случайной величины. Получаемые оценки являются
состоятельными и часто несмещенными.
Простейшие оценки функции
и плотности распределения вероятности
Многомерный случай:
1 n p
Fn ( x ) Fn ( x1 , , x p ) 1( x j x ji )
n i 1 j 1
1 n p
f n ( x ) f n ( x1 , , x p ) ( x j x ji )
n i 1 j 1
Кратные измерения. При кратных измерениях значение x1 повторяется k1 раз, x2 – k2
раз,…, xm – km раз, при этом k1+…+km = n.
m k Fn ( x )
Fn ( x) i 1( x xi ) k m 1 k m
i 1 n 1 km2 n n
n
m ki
f n ( x) ( x xi ) k2
k3
i 1 n k1 n
n
0n x
x1 x2 x3 xm 2 xm 1 xm
Полиграммы
Повысим степень гладкости оценки fn(x) по сравнению с простейшей оценкой
функции плотности. Для этого надо повысить соответственно степень гладкости для
оценки функции распределения Fn(x). Если Fn(x) будет состоять из отрезков прямых,
то fn(x) будет состоять из прямоугольников. Такая кусочно-постоянная оценка
называется полиграммой первого порядка.
Fn (x) f n (x)
1
1 1 1
n 1
n 1 n 1
x x
x1 x2 x3 xn1 xn x1 x2 x3 xn1 xn
a 1 1
1 n1 1 n1 1 1
n 1 n 1
n 1 n 1
x
x1 x2 x3 x4 x5 x6 x7
fn(x)
б 2 2
n 1 n 1 2
n 1
x
x1 x2 x3 x4 x5 x6 x7
fn(x)
в 3 3
n 1 n 1
x
x1 x2 x3 x4 x5 x6 x7
Метод "К ближайших соседей"
Считаем, что для одномерной случайной величины X имеется n независимых
наблюдений x1,…,xn. Зафиксируем некоторое целое положительное число kn: 1 ≤ kn ≤
n. Для каждой выбранной точки x существует интервал длительностью 2p(kn,n,x)
который охватывает kn ближайших к x точек выборки. Одна точка попадает на
границу интервала, а kn-1 точка – внутрь интервала. Оценкой плотности
распределения вероятности fn(x) служит частота (kn-1)/n попадания в интервал 2p,
приведенная к единичной величине интервала:
(4, n, x) (4, n, x)
kn 1
f n ( x) xi 2 xi 1 xi x xi 1 xi 2 xi 3
n2( k n , n, x )
(5, n, x) (5, n, x)
xi 2 xi 1 xi x xi 1 xi 2 xi 3
Многомерный случай:
x2
kn 1 V (8, n, x )
f n ( x) R8
nV ( k n , n, x )
x1
Оценка Розенблатта – Парзена
Плотность распределения вероятности связана с функцией распределения через
оператор дифференцирования:
F ( x h ) F ( x h)
f ( x ) dF ( x ) / dx f ( x)
2h
1 n 1 n
Fn ( x h) 1( x h xi ) Fn ( x h) 1( x h xi )
n i 1 n i 1
1 n 1 n
n
1( x h xi ) 1( x h xi )
n 1 n 1 1( x h xi ) 1( x h xi )
f n ( x) i 1 i 1
n i 1 h 2
2h
1( x h xi ) 1( x h xi ) x xi
I
2 h
1 n 1 x xi
0.5, | z | 1, f n ( x) I
I ( z) n i 1 h h
0, 1 | z | .
Оценка Розенблатта – Парзена
Степень гладкости оценки плотности зависит от степени гладкости ядра. Заменим в
оценке fn(x) прямоугольное ядро I(z) на произвольное K(z) и получим:
1 n 1 x xi
fn ( x) K
n i 1 h h
1 K ( z)
1 | z |, | z | 1,
K ( z) s1
0, 1 | z |; z
1 0 1
0.75 (1 z 2 ), | z | 1, 1 K ( z)
K ( z)
1 | z |; s 1
0, z
1 0 1
1 K ( z)
(1 2 | z |)(1 | z |) 2 , | z | 1,
K ( z) s1
1 | z | . z
0, 1 0 1
Оценка Розенблатта – Парзена
Многомерный случай:
1 n 1 x1 x1i 1 xm xmi 1 n m 1 x j x ji
f n ( x1 , , xm ) K K K
n i 1 hx hx hx
1 1 m hxm n i 1 j 1 hx hx
j j
Оценка условной плотности вероятности
Рассматриваем объект, имеющий случайный вход (либо
несколько входов) X и выход Y. Связь между случайными
величинами характеризуют условные характеристики, например,
условная плотность распределения вероятности f(x|y).
f ( y| x ) f ( x , y ) / f ( x )
1 n 1 x xi 1 y yi
K K
n i 1 hx hx hy hy n x xi 1 y yi
f n ( y| x ) N
K K
1 n 1 x xj
i 1 hx hy hy
K
n i 1 hx hx
x xi x xi n
x xj
K N K K
hx hx j 1 hx
Оценка регрессии
Регрессией называют первый начальный условный момент
M {Y | x} y f ( y | x )dy ( x )
I M {(Y y * ) 2 | x} min
y*
M {Y | x} n ( x ) K N y ( y y i )dy KN yi i ( x ) yi
i 1 h i 1 h i 1
x xi x xi n x xj
KN
h
K
h
K i ( x)
j 1 h
Оценка регрессии
Подбор оптимального параметра коэффициента размытости для оценки
регрессии. Перейдем от размерного параметра с к безразмерному β.
x xi
K
1 x xi
c n 1/ 5
i ( x ) K N
n
x xj
K
j 1
При β=0 ядро K(·) не зависит от x.
x xi
K n (x)
x xi 3/ 4 1
i ( x ) K N n n , i 1, n y4
x xj 3 /4 n
K y3
j 1 j 1
y5
y2
Оценка регрессии равна среднему арифметическому y1 , y6
выборочных значений выхода объекта для любых x. x
x1 x2 x3 x4 x5 x6
1 n
n ( x ) y i
n i 1
Оценка регрессии
Возьмем теперь другое крайнее состояние для β: β=1. Оценка регрессии
проходит через экспериментальные точки и состоит из кусков линий,
соединяющих точки выборки.
n (x)
y4
y3
y5
y2 n (x)
y1 , y6
y4
x
x1 x2 x3 x4 x5 x6 y3
y5
y2
Оптимальный параметр β лежит y , y
1 6
в интервале [0; 1].
x
x1 x2 x3 x4 x5 x6
Оценка регрессии
Рекуррентный расчет оценки регрессии. Для каждого
фиксированного x на основе использования рекуррентной
схемы расчета получаем алгоритм адаптивного сглаживания:
n ( x ) Bn / Dn
m
1 xl xln
Bn Bn 1 K yn
l 1 hx ( n )
h (n)
l x l
m 1 xl xln
Dn Dn 1 K
l 1 hxl ( n)
hx ( n)
l
q
hxl (n) cxl n , q 1 /(m 4), n 1, 2, , B0 D0 0
Оценка регрессии
Инверсная модель. Для объекта с одним входом X и одним
выходом Y основной инверсной характеристикой является
регрессия
M { X | y} xf ( x | y )dx
n y yi y yi y yi n y yj
f ( x | y ) K N ( x xi ), KN K K
h h j 1 hy
i 1
hy y y
y1 y 2 y 3 y 4 y5
Робастные оценки регрессии
Запишем критериальную форму получения оценки:
n
I 2 | yi m2 | min
i 1 m2
n 1
I 21 ( yi m
21 ) 2 0
min
i 1 | yi m
2 | m 21
dI 21 n 1
1
2 ( y i m
1
2 ) 0
0
dm 2 i 1 | yi m 2 |
1 n 0 1 n
0 1
m2 | yi m2 | | y j m2 | yi
i 1 j 1
l 1 n l 1 n
l 1
m2 | yi m2 | | y j m2 | yi , l 0, 1, 2,
i 1 j 1
| m2l 1 m2l |
Робастные оценки регрессии
Модульный критерий не является единственным для получения робастных
оценок. Более общий критерий имеет вид :
n
( x xi )
I ( x ) F ( yi ) K min
i 1 h
F (v) v 2 2 , | v | a;
Некоторые виды функций F(v): F (v ) 2
v a 2 , a | v |
F(v) a 0 a
F ( v ) | v |
F(v)
v | v |, | v| a;
0 F (v )
v a, a | v|
a 0 a
F(v)
v 2 2 , | v | a;
F (v ) F (v)
v a | v | a 2
2 , a | v | F ( v ) | v| p ,1 p 2
a 0 a
0
v
Адаптивное управление при
априорной неопределенности
Адаптацией природа наделила все живое. Она представляет собой
приспособление к различным изменениям. Эти изменения происходят как
внутри живого организма, так и во внешней среде.
104
ДИСПЕРСИОННЫЙ
АНАЛИЗ
105
Постановка проблемы
Дисперсионный анализ является статистическим
методом анализа результатов наблюдений,
зависящих от различных одновременно действующих
факторов, с целью выбора наиболее значимых
факторов и оценки их влияния на исследуемый
процесс.
2 1 n
2 1 n
2 1 n
2
1 k
1 k n
1 k n
1 k n
2
S 0 Si
2 2
2
( xij xi ) xij xij
2
k i 1 k ( n 1) i 1 j 1 k ( n 1) i 1 j 1 n i 1 j 1
Однофакторный дисперсионный анализ
Для упрощения вычислений приведем алгоритм их выполнения.
Вычисляем последовательно суммы:
k n 2
2 1 k
2 1 k
Q1 xij Q2 X i Q3 X i
i 1 j 1 n i 1 kn i 1
2 Q1 Q2 Q2 Q3
S0 2
SA
k (n 1) k 1
2 2
Сравниваем S A и S0 устанавливаем наличие влияния фактора A.
k (n 1) Q2 Q3
Если F [k 1; k (n 1)] , то влияние A – значимо.
k 1 Q1 Q2
Двухфакторный дисперсионный анализ
Рассмотренный ранее однофакторный дисперси-
онный анализ обладает информативностью, не
большей, чем методы множественного сравнения
средних. Информативность дисперсионного анализа
возрастает при одновременном изучении влияния
нескольких факторов.
Уровни фактора A
B/А A1 A2 … Ai … Ak Σ
B1 x11 x21 … xi1 … xk1 X1’
B2 x12 x22 … xi2 … xk2 X2’
…. … … … … … … …
Bj x1j x2j … xij … xkj Xj’
… … … … … … … …
Bm x1n X2n … xin … xkn X m’
Σ X1 X2 … Xi … Xn
Двухфакторный дисперсионный анализ
Дисперсионный анализ для двухфакторных таблиц
проводится в следующей последовательности.
Вычисляются суммы:
2 2
k m
1 k 2 1 m 2 1 k
1 k
Q3 X j
2
Q1 xij Q2 X i Q4 Xi X /
i 1 j 1 m i 1 k j 1 mk i 1 mk j 1 j
i 1 j 1 v 1
Далее анализ проводится, как и ранее, с той лишь разницей, что в клетках
таблицы вместо отдельных значений используется их средние значения.
Вычисляется оценка дисперсии и проверяется значимость взаимодействия
факторов:
2
2 Q5 nQ1 nS0
S AB F ( f1 , f 2 ) f1 (k 1)(m 1) f 2 mk (n 1)
mk (n 1) 2
S AB
Планирование эксперимента при
дисперсионном анализе
Дисперсионный анализ тесно связан с соответствующим
планированием эксперимента. Удачно спланированный эксперимент,
выявляя все необходимые эффекты, оказывается всегда либо более
точным, либо менее трудоемким по сравнению с непродуманным
экспериментом.
Если на результат эксперимента действуют одновременно несколько
факторов, то наилучший эффект дает одновременный дисперсионный
анализ всех этих факторов (многофакторный анализ).
A1 A2 … Ak-1 Ak
B1 C1 C2 … Ck-1 Ck
B2 C2 C3 … Ck C1
… … … … … …
Bk-1 Ck-1 Ck … Ck-3 Ck-2
Bk Ck C1 … Ck-2 Ck-1
Планирование эксперимента при
дисперсионном анализе
Схема расчетов для латинского квадрата очень k k
2
Q1 xij
похожа на обычный двухфакторный анализ: i 1 j 1
2
Находим квадрат общего итога, деленный на 1 k
2
1 k
Q4 2 X i 2 X j
число всех наблюдений: k i 1 k j 1
2 Q2 Q 4 2 Q Q4
SA , SB 3
k 1 k 1
2 2 2 2
S A S0 2 S S0 2
Если отличие будет значимым, то A, B B
k k
2 Q5 Q4
SC
k 1
2 2
SC S0 2
Если отличие будет значимым, то C
k
ВОПРОСЫ ?
118
АНАЛИЗ ТРЕНДОВ
И ВРЕМЕННЫХ
РЯДОВ
119
Введение
Временные ряды отличаются от обычных данных об
одном временном срезе в том отношении, что в случае
временных рядов сама последовательность
наблюдений несет в себе важную информацию.
Данные
Сезонность Нерегулярность =
Скользящее среднее
Анализ трендов и сезонности
Затем, чтобы устранить нерегулярный компонент, надо
усреднить эти значения для каждого сезона. Сезонный
компонент проявляется, поскольку он присутствует
ежегодно, тогда как нерегулярный компонент, как
правило, удается усреднить.
Данные
Сезонный индекс = Среднее значение
*
скользящее среднее
* - за соответствующий сезон
Анализ трендов и сезонности
Поправка на сезон: деление ряда на сезонный индекс.
Поправка на сезонные колебания устраняет из
результатов измерения ожидаемый сезонный
компонент (путем деления ряда на сезонный индекс
для соответствующего периода), что позволяет нам
непосредственно сравнивать один квартал или месяц с
другим (после внесения поправки на сезон), выявляя
те или иные скрытые тенденции.
Данные
Значение с поправкой на сезон
Сезонный индекс
Тренд Цикличность Нерегулярн ость
Анализ трендов и сезонности
Долгосрочный тренд и прогноз с поправкой на
сезонные колебания: линия регрессии
137
ИДЕНТИФИКАЦИЯ
СТАТИЧЕСКИХ МОДЕЛЕЙ
ОБЪЕКТОВ
138
Общие понятия
Идентификация – это процесс построения моделей объектов различной
природы. Теория идентификации имеет в своем арсенале достаточно
эффективные методы и алгоритмы, на базе которых разработаны и широко
используются программные комплексы.
Процесс идентификации складывается из двух взаимосвязанных этапов:
идентификации структуры моделей и идентификации параметров в моделях
выбранной структуры. При построении структуры модели (или набора
конкурирующих либо взаимодополняющих структур) используется априорная
информация об объекте. Для каждого класса объектов формируются банки
структур с сопутствующей информацией.
Модель (u , )
Модель объекта берем в виде функции η(u, α). Основная задача теперь
сводится к расчету параметров α модели.
Алгоритмы расчета будем строить, используя критерий наименьших
квадратов и близкие к нему критерии, например наименьших модулей
невязок. В зависимости от свойств помехи критерий наименьших квадратов
приобретает различные формы – от простейшей до самой общей.
Критерий наименьших квадратов
Считаем, что в каждый момент времени ti (момент измерения входа и
выхода объекта) помехи ξi, являются центрированными случайными
величинами с дисперсиями σi2. Если дисперсии различны, то измерения
называются неравноточными.
Тогда критерий наименьших квадратов имеет вид:
n
1 *
I 2 ( i i ) 2 min, i (ui , )
i 1 i
1 n
I 2
i i min
(
i 1
*
) 2
Критерий наименьших квадратов
Если все помехи ξi коррелированны, т. е:
12 k12 k1n 1
K M {T }, , K 1 (cij )
2
k k
n1 n 2 n n
то критерий наименьших квадратов базируется на элементах cij матрицы,
обратной корреляционной:
n n
I ( ) ( *i i )cij ( *j j ) min
i 1 j 1
I ( ) ( H * ) T K 1 ( H * ) min
Метод наименьших квадратов
при линейной параметризации модели
Пример расчета параметров:
*
(u , ) c D( u , )
(u , ) c D(u , )
*
1 (u , ) 1 2 (u u )
u
u1 u
Метод последовательной линеаризации
при подстройке параметров на основе критерия
наименьших квадратов
Построим итерационную процедуру расчета параметров α модели
в соответствии с критерием наименьших квадратов. Так как функционал квадратичный,
то первая стадия метода не реализуется и на каждой итерации используется только
линейная аппроксимация выхода модели по параметрам:
dH ( l ) l 1
H ( ) H ( )
l
l 1 l
d
dH ( l ) l 1 T 1 * dH ( l ) l 1
I ( ) ( H H ( )
l 1 * l
) K ( H H ( )
l
) min
d d l 1
dH T 1 dH l 1 dH T 1 *
K ( H H ( ))
l
K
d d d
l 1 l l l 1 , l 0, 1, 2,
Робастные оценки параметров
Параметры модели (которые являются оценками параметров объекта),
полученные на основе критерия наименьших квадратов, сильно реагируют на
выбросы помех. Аномальные отклонения в измерениях очень редки, но
амплитуда их велика.
n
I 1 ( ) i | min
| *
i 1
Так же существуют другие критерии вида:
n
I ( ) pi1( ei ) min, ei *i (ui , )
i 1
Примеры функции ψ(e): a б в
(e) (e) (e)
0.8
e e e
0 0 0
Простейший адаптивный алгоритм
подстройки параметров
Линейная параметризация модели: (u, ) T (u )
На каждой итерации, например n и n-1, параметры модели находим из условия
равенства выходов модели и объекта:
*n T (un ) n , *n 1 T (un 1 ) n 1
Каждому уравнению в пространстве параметров соответствует своя линия
2 || n ||2 min
n
n ( *n T (un ) n 1 )
n 1 n n1 (un ) n 1 (*n T (un ) n 1 )( T (un ))
(un )(un )
T
n 1
n
n a T ( u n )
a 1 n ( u n ) ( u n )
n n 1 n 1 ( n n 1 ), n 1, 2, ... .
Простейший адаптивный алгоритм
подстройки параметров
Нелинейная модель: На каждом шаге линеаризуем модель и
приращения параметров отыскиваем из равенства выхода
модели и линеаризованной модели:
(u n , n 1 ) (u n , n 1 ) n
*
n
T
( *n (un , n 1 ))
n n 1 T (un , n 1 )
(un , n 1 ) (un , n 1 )
ВОПРОСЫ ?
149
ИДЕНТИФИКАЦИЯ И
АДАПТИВНОЕ УПРАВЛЕНИЕ
ДИНАМИЧЕСКИМИ
ОБЪЕКТАМИ
150
Дискретные динамические модели
стохастических объектов
В динамическом режиме поведение объектов описывается различными
динамическими уравнениями: обыкновенными дифференциальными,
интегральными, интегродифференциальными уравнениями; уравнениями с
запаздываниями; уравнениями в частных производных и их дискретными
аналогами. С целью упрощения будем рассматривать наиболее простые
дискретные модели. Последние выбраны именно потому, что получаемые
алгоритмы идентификации и управления напрямую реализуемы на цифровой
вычислительной технике (мини-,микро-ЭВМ, микропроцессоры).
e( t ) q c (t )
u( t ) q b x (t )
a q
Дискретные динамические модели
стохастических объектов
Если объект имеет вид:
x (t ) ax (t 1) b(u(t 1) e(t 1))
То оптимальная модель имеет вид:
y (t ) ay (t 1) b u(t 1), t 1, 2, ... .
e( t )
u( t ) q b x (t )
a q
Подстройка параметров
с использованием функций чувствительности
Для примера рассмотрим модель:
y (t | (t )) a (t ) x (t 1) b (t )u(t 1) c (t )[ x (t 1) y (t 1 | (t ))]
Построим алгоритм расчета параметров: (t ) ( a (t ), b (t ), c (t ))
T
x (t ) y (t | (t 1))
b j (t ) b j (t 1) n m
u(t j ); j 1, m
2 2
ai
( t ) b (t )
j
i 1 j 1
n m
y (t | (t 1) ai (t 1)x (t i ) b j (t 1)u (t j )
i 1 j 1
Применение простейшего адаптивного
алгоритма
Рассмотрим нелинейную модель без обратной связи:
y (t ) f ( x (t 1), u (t 1), 1 , 2 )
x (t ) y (t | (t 1))
2 (t ) 2 (t 1) 2 ( t )
1 (t ) 2 (t )
2 2
Адаптивные системы обработки
информации
В адаптивных системах обработки информации и управления
происходит приспособление к изменяющимся условиям и
неизвестным характеристикам объекта.
z z
u Объект x x u Объект x x
управления управления
Регулятор
Синтезируемый
фиксированной
регулятор
структуры
x* x*
Блок перестройки
Блок перестройки
параметров
параметров модели
регулятора
Параметры:
x (t ) y (t | (t 1))
0 (t ) 0 (t 1) 0 (t 1) (t )
1 x (t 1) u (t 1)
2 2
1 (t ) 1 (t 1) (t ) x (t 1)
2 (t ) 2 (t 1) (t )u(t 1)
Находим управляющее воздействие :
v (t ) 21 (t )( x * | t 1) 0 (t ) 1 (t ) x (t ))
Синтез алгоритмов управления для
линейных систем
n m
Объект: x (t ) a0 ai x (t i ) a n j u (t j ) e(t )
i 1 j 1
e(t )
u (t ) q x (t )
an1
q a0 1 q
an2 a1
q q
an m an
x* (t 1)
1
n 1
1
q 0 1
n2
q q
n m n
Идентификатор
Алгоритмы адаптивного управления
для нелинейных систем
Объект описывается нелинейным разностным уравнением:
x (t ) f ( x (t 1), u(t 1), a, t 1) e(t ), t 1, 2, ... .
e(t ) e(t )
u(t ) x (t )
u(t ) q f () x (t ) q
a q
q
x* (t 1)
v(t ) x* (t 1)
f 1
()
(t )
q q
Идентификатор
Управление динамическими системами
с чистыми запаздываниями
Рассматриваем объект, описываемый разностным уравнением:
x (t ) f ( x (t 1), u(t 1 ), a ) e(t ), t 1, 2, ....
Строим модель объекта:
y ( k | (t )) f ( x ( k 1), u ( k 1 ), (t ))
167