Math-Net.

Ru
All Russian mathematical portal

E. D. Aved’yan, Ya. Z. Tsypkin, An amended Kaczmarz

algorithm, Avtomat. i Telemekh., 1979, Issue 1, 72–78

Use of the all-Russian mathematical portal Math-Net.Ru implies that you have read
and agreed to these terms of use
http://www.mathnet.ru/eng/agreement

Download details:
IP: 39.34.142.250
March 5, 2021, 22:44:59
 хАдан/пи&ные
сис/нежи

У Д К 518.5

ОБОБЩЕННЫЙ АЛГОРИТМ КАЧМАЖА

Э. Д. АВЕДЬЯН, Я. 3. ЦЫПКИН

(Москва)

Алгоритм К а ч м а ж а широко используется д л я и д е н т и ф и к а ц и и ли­

н е й н ы х объектов. Показано, ч т о небольшое видоизменение этого алго­
ритма, состоящее в добавлении специального корректирующего алго­
ритма, позволяет повысить скорость сходимости в у с л о в и я х коррелиро­
в а н н ы х во времени входных воздействий. Приводятся результаты
с р а в н е н и я такого обобщенного алгоритма с обычным алгоритмом К а ч ­
м а ж а на ЭВМ.
1. Введение
Для идентификации объектов, описываемых линейными уравнениями
(1) у[п]=с?х[п], /г=1, 2 , . . . ,
где у[п] — скалярный выход объекта, х[п] — iV-мерный вектор входов
объекта, с ^- оцениваемый Л'-мерный вектор параметров объекта, «т» — знак
транспонирования, п — дискретное время, часто применяются рекуррент­
ный алгоритм /Качмажа [1—3] и его модификации, например [3—8]
сТ п х
/ох г -, г л , У \ri\ — \ — 1 ] \п\ г ,
y M J
(2) с[ ] = с [ - Ц +
Д Я ' x T х[п].
[ r e ] x W

Популярность этого алгоритма объясняется небольшим количеством

вычислений, необходимых для пересчета оценки при получении новых из­
мерений, и небольшим объемом требуемой памяти при реализации этого
алгоритма на ЭВМ. Кроме того, алгоритм (2) можно применять при нали­
чии малых помех измерений и медленном дрейфе вектора параметров, по­
лучая при этом приемлемую точность оценок.
Характеристики алгоритма (2) существенно зависят от свойств вектора
х[п]. Так, если векторы х [ 1 ] , х [ 2 ] , . . . , x[N] взаимно ортогональны, то
равно через N измерений будет получено точное значение искомого век­
тора с. Если же х[п] является векторным дискретным белым шумом с
независимыми компонентами и одинаковыми дисперсиями, то можно пока­
зать [ 8 ] , что время сходимости равно (4-^5)iV. Рост временной корреляции
в х[п] приводит к значительному увеличению времени сходимости алго­
ритма (2) и, значит, ухудшает точность оценивания при дрейфе парамет­
ров.
Предлагавшиеся ранее способы преодоления этого недостатка сводятся
в основном к построению многошаговых алгоритмов, у которых увеличе­
ние скорости сходимости достигается возрастанием количества вычисли­
тельных операций на каждом шаге алгоритма. При этом, однако, повыша­
ется чувствительность оценок к ошибкам измерений [ 9 ] .
В настоящей работе предлагается иной способ ускорения сходимости, не
связанный с повышением чувствительности оценок к ошибкам измерений.
Этот способ состоит во введении наряду с алгоритмом Качмажа корректи-
72
рующего алгоритма. Получающаяся при этом совокупность•• алгоритмов
образует обобщенный алгоритм, имеющий вид
Л
/оч г г г Л1 .
^ N —с[тг—1].х[тг] ., . L L
(3)
w
с Ы •.= с [п — 1] +
L J
^ ——r—r——-— - -x[^],
1 J 1 т 1 J
х [^г]х[д] • '
(4) с[|г-1]=с[|г-1]+а[7г](с[я-2]-с[|г-1]),
где
е С Л И р 2 ( 2 1 W ) > р 2 { i [ П 2 1 { П
(5) аM = ( ° ~ '^ ~~ * ~
^ v [0 в противном случае,

т
х [к]х[к]
Основной алгоритм (3) обобщенного алгоритма (3), (4) отличается
от алгоритма Качмажа (2) лишь коррекцией оценки с[п—1], которая
осуществляется корректирующим алгоритмом (4), представляющим со­
бой разностное уравнение первого порядка с переменным коэффициентом
а[п]. Закон изменения а[п] задается соотношениями (5), (6).
Цель настоящей работы состоит в выводе и обосновании обобщенного
алгоритма (3), (4) и сравнении его с алгоритмом Качмажа (2) путем мо­
делирования на ЭВМ.
2. Алгоритм Качмажа
Алгоритму Качмажа в его классической формулировке можно придать
следующую геометрическую интерпретацию.
Каждое уравнение совместной системы ( 1) рассматривается как гипер­ (

плоскость в iV-мерном евклидовом пространстве. Очередная п-я. оценка

с[п] получается проектированием оценки с[тг—1] на п-ю гипер­ (п—1)-и
плоскость. В силу этого оценка е[п] оказывается не дальше до искомого
вектора с*, чем оценка с[п—1], т. е. последовательность расстояний
р(с[?г], с*) — монотонно не возрастающая и, следовательно, имеет предел.
Отметим, что алгоритм Качмажа может быть получен из решения сле­
дующей задачи условной минимизации:
2 т
(7) J = [| с [п] - с [п - 1] || = (с [и] - с [п - 1]) (с [п] -
t

— с [п — 1])—>min
с[п]
при ограничении

(8) у[п]-с*[п]х[п]=0.
3. Учет априорной информации о решении
Будем строить последовательность оценок с[тг], которые на каждом
шаге близки не только к предыдущей оценке с[тг—1] в смысле (7), но
и к некоторому вектору с°[п—1]. Вектор с°[тг—1] содержит информацию
о значении искомого вектора с*, которая задана априорно и уточняется
во время процесса оценивания. Такой процедуре оценивания можно сопо­
ставить следующий критерий:

1
(9) / > в = t -"М) ц е [ в ] _ е [ я _1 ц ] а +

e
+ i^L||c.[B]-c [n-l]||-*nim.
Л с[п]
При этом, как и в алгоритме (2), будем требовать выполнения ограни­
чения (8). Элементы последовательности а[п] удовлетворяют условию
(10) 0<а[н]<1.
73
Изменением а[п] придаются различные веса с[?г—1] и с°[??.—1].
Решение задачи (9), (8) легко получить введением соответствующей
функции Лагранжа
т
L=J +X[п] 2 (у [п] - г с [ п ] х [ п ] ) ,
из которой следуют, необходимые условия для определения оценки е[п]:
(11) V // = (1 — а [п]) (с [п] — с[п — 1]) + а [п] (с [п] —
с[п]

; - c ° [ w - i ] ) - v w x M = о,
(12) Ll = 2 / [n]-ti*[n]x'[n)
[ n ] -0.
Решая систему уравнений ( И ) , (12) относительно неизвестной оценки
е[п], получим
(13) c [rc]=cU--l]+XU]xU],
где
(14) c[rc-l]=cU^
т
Умножая слева (13) на х [п] и учитывая условие (12), из получен­
ного уравнения найдем значение множителя Лагранжа

] _ T [ ? Z 1 ] X N
(15) M«] = - ^ "т
~
х [п] х [п]
Подстановка (15) в (13) приводит к процедуре оценивания
т
/лп^ г •, " г АЛ . У W — с [га —• 1] х [п] '
(16) еМ ~с[п-Ц + ^ { х п ] х [ п х [ п
г
] ,

которая совместно с (14) образует обобщенный алгоритм Качмажа.

Алгоритму (16), (14) можно придать следующую геометрическую ин­
терпретацию: на каждом шаге алгоритма точка с[п—1] ортогонально про­
ектируется на п-ю гиперплоскость (1). Получающаяся при этом проекция
с[п] является очередной оценкой. Этот вывод следует из сравнения алго­
ритма (16) с алгоритмом (2).
Для того чтобы последовательность оценок с[п] могла сходиться к с*,
необходимо, чтобы второе слагаемое в (9) с ростом п стремилось к нулю.
Это условие может быть обеспечено либо стремлением последовательности
0
а[п] к нулю при фиксированном с°Ы], либо стремлением с [?г] к реше­
нию с* при фиксированном а[п], либо при одновременном выполнении
этих условий.
Можно ставить вопрос о выборе оптимальных последовательностей
а[п] и с°[тг], при которых алгоритм (16), (14) будет обладать наиболь­
шей скоростью сходимости. Этот вопрос в настоящей работе не рассмат­
ривается, поскольку решение такой задачи требует подробной информа­
ции о процессе х[п] и может сильно усложнить алгоритм.

4. Выбор параметров корректирующего алгоритма

Относительно просто решается задача выбора параметров а [тг]
и с°[?г] корректирующего алгоритма (14), при которых скорость сходи­
мости обобщенного алгоритма (16), (14) больше скорости сходимости
алгоритма Качмажа (2), когда известно, что во входном процессе х[п]
имеется сильная временная корреляция.
Для обоснования выбора параметров а[п] и с°[п] в алгоритме (14)
заметим, что точкой, из которой производится проектирование на тг-ю
гиперплоскость, в зависимости от значения а[п] может быть любая точ-
74
надлежащая на отрезке [с[/г—1], с°[/г—1]]. Это следует из того,«что точ­
ка с[га—1] в силу (10), (14) является выпуклой комбинацией точек
с[га—1] и с°[га— 1].
0
В тех случаях, когда проекция отрезка [с[га-— 1 ] с [га— 1]] на га-ю
у

гиперплоскость мала и не включает решение с*, наилучшей точкой, из

которой следует вести проектирование и которая принадлежит отрезку
[с[га—1], с°[га—1]], будет одна из крайних его точек с[га—1] или
0
с [га—1]. При этом с [га—1] совпадает с одной из этих точек, а величина
а [га] оказывается равной нулю или единице.
Это дает основание на каждом шаге алгоритма ъ качестве точки
с[га—1] выбирать одну из с[га—1] или с°[га—1]. Нетрудно видеть, что
наиболее эффективным такой способ задания закона изменения с[га—1]
оказывается тогда, когда оценка с [га— 1] является проекцией с [га—1]
0

8
С,

Рис. 1

и процесс х[га] обладает сильной временной корреляцией, В этих усло­

виях углы между соседними гиперплоскостями малы, углы наклона этих
гиперплоскостей медленно изменяются в ту или иную сторону, а отрезок
[с[га—1], с°[га—1]] почти ортогонален га-й гиперплоскости.
Предположим теперь, что точка с [га— 1] получена проектированием
на (га—1)-ю гиперплоскость точки, совпадающей с точкой с°[га—1].
0
Тогда с [га—1] в качестве точки с [га— 1] может быть выбрана, если рас­
стояние от нее до га-й гиперплоскости больше, чем расстояние между точ­
ками с [га—1] и с[га—1]. В этом случае с[га] окажется ближе к искомому
0

решению, чем точка с [га—1]. Доказательство этого факта несложно и лег­

ко поясняется рис. 1. В противном случае в качестве точки с [га—1] вы­
бирается с[га—1], и тогда оценка с [га] вычисляется в соответствии с алго­
ритмом Качмажа (2)*
Сформулируем теперь способ построения последовательности с [га]:
точка с[«] остается постоянной до тех пор, пока расстояние от нее до
очередной гиперплоскости возрастает. Она изменяется и становится рав­
ной своей проекции на (га—1)-ю гиперплоскость, как только расстояние
от нее до га-й гиперплоскости будет меньше или равно расстоянию до
(га—1)-й гиперплоскости.
75
 Соответствующая зависимость для с[п—1] задается формулами- (4) —
;(6Ь. где р (с[т], сLк]) — квадрат расстояния от точки е[.м] до к-й ги­
2

перплоскости. Эта зависимость совместно с основным, алгоритмом (16)

образует обобщенный алгоритм (3) — ( 4 ) , в котором по сравнению с алго­
ритмом Качмажа (2) требуется дополнительно одна операция умножения
и сложения. Такой небольшой объем дополнительных операций связан
с тем, что при вычислении р (с[т/г], е[к]) выполняются операции, кото­
2

рые входят в основной алгоритм ( 3 ) .

Нетрудно видеть, что оценки с [га], порождаемые обобщенным алго­
ритмом (3), (4), обладают таким же свойством, как и оценки алгоритма
Цачмажа: каждая новая оценка не хуже предыдущей в том смысле, что
длина вектора ошибки р(с[га], с*)=||с[га]—с*|] образует монотонно невоз-
растающую последовательность.
Изложенная процедура оценивания иллюстрируется на плоскости
с с (рис. 1), где каждому наблюдению соответствует прямая, проходя­
и 2

щая через искомое решение е*(с *, с *). Эти прямые пронумерованы чис­
4 2

лами 1, 2 , с о в п а д а ю щ и м и с моментами наблюдения у[п] и х[га].

Взаимное расположение прямых соответствует сильной временной кор­
реляции в процессе х[га]. Оценки e J O ] , c [l],.... порождены алгоритмом
ft

Качмажа, оценки с[0], с[1 ],..,—обобщенным алгоритмом (3), ( 4 ) . Пре­

имущество последнего очевидно.

5. Сравнение обобщенного и классического

алгоритмов Качмажа

Аналитическими методами сравнить скорости сходимости классиче­

ского и обобщенных алгоритмов Качмажа при коррелированном во вре­
мени входном процессе х[га] невозможно. Поэтому сравнение этих алго­
ритмов проводилось путем моделирования их на ЭВМ. Рассматривалась
модельная задача, в которой искомый 10-мерный вектор параметров
объекта с*= (0,1; 0,2; . . . ; 1,0).
Статистически независимые компоненты вектора х[га] представляют
собой реализации гауссовых стационарных случайных процессов с ну­
левыми средними и корреляционными функциями R[m] =q . Эти про­
lml

цессы образуются прохождением дискретного белого шума через дискрет­

ные фильтры первого порядка. Такой способ задания входного процесса
х[га] позволяет рассматривать поведение сравниваемых алгоритмов в раз­
личных условиях: от практически постоянных значений входного процес­
са х[га], когда сильная временная корреляция достигается значениями
параметра # ~ 1 , до условий, когда компоненты процесса х[га] представ­
ляют дискретный бейый шум, q=0. Начальные условия в сравниваемых
алгоритмах нулевые. Результаты моделирования алгоритмов на ЭВМ по­
казаны на рис. 2, 3, где кривые, отражающие зависимость длины вектора
ошибки р(с[га], с*) отгадля классического алгоритма Качмажа, помечены
цифрой 1, а для обобщенного помечены цифрой 2.
На рис; 2 указанная зависимость приведена для случая # = 0 , когда
корреляция во времени во входном процессе и помеха |[га] отсутствуют.
В этих условиях сравниваемые алгоритмы обладают одинаковой ско­
ростью сходимости (нижняя практически совпадающая пара кривых).
Приведенные на рис. 3 зависимости, которым соответствуют значения
д=0,90 и 0,98 (помеха |[га] отсутствует), подтверждают вывод о том, что
при одном и том же коэффициенте корреляции во входном процессе ско­
рость сходимости обобщенного алгоритма выше скорости сходимости
классического алгоритма Качмажа, причем это различие с ростом коэф­
фициента корреляции становится все более значительным.
76
 1 № ] - И 1

700 200 300 WO .500 п

Рис. 2

\Ш-с*\\
16

500 п

Рис. 3
На рис. 2 приведена также зависимость, которая отражает влияние
помехи измерения \\п\ (ag=0,l) на процесс оценивания (верхняя пара
кривых). Из рис. 2 следует, что обобщенный и классический алгоритмы
Качмажа имеют практически одинаковую чувствительность к помехам
измерений.
6. Заключение
Алгоритм Качмажа благодаря своей простоте находит широкое приме­
нение для идентификации и управления линейными объектами, а также
для решения различных задач линейной алгебры. Однако в тех случаях,
когда входные воздействия коррелированы во времени или матрица систе­
мы линейных уравнений плохо обусловлена, скорость сходимости алго­
ритма резко уменьшается. Для устранения этого в работе предложен обоб­
щенный алгоритм Качмажа, отличающийся от классического наличием
дополнительного корректирующего алгоритма. Моделирование классиче­
ского и обобщенного алгоритмов, проведенное на ЭВМ, показало несом­
ненное преимущество последнего.
Поступила в редакцию
6 января 1978 г.
 ЦИТИРОВАННАЯ ЛИТЕРАТУРА
1. Kaczmarz S. Angenaherte Auflosung von Systemen Linearer Gleichungen. B u l L
Acad. Polon. Sciences et Letters, Ser. A, pp. 355-357, 1937.
2. Tanabe K. Projection method for solving a singular system of linear equations and
its applications. Numer. Math., Bd 17, pp. 203-214,1971.
3. Чадеев M. Определение динамических характеристик объектов в процессе и х
нормальной эксплуатации для целей самонастройки. Автоматика и телемеха­
ника, № 9, стр. 1302-1306,1964.
4. Лелашвили Ш. Г . Применение одного итерационного метода для анализа много­
мерных автоматических систем. В сб. «Схемы автоматического управления»,,
стр. 19-33, «Мецниереба», 1965.
5. Nagumo J., Noda A. A learning method for system identification. I E E E Trans..
Automat. Control, v. AC-12, No. 3, pp. 282-287,1967.
6. Richalet h, Lecamus F., Hummel P. New trends in identification: structural distan­
ce and weak topology. Preprints of second Prague symposium on identification ancl
process parameter estimation, pp. 1-10,1970.
7. Aved'jan Л. D. Bestimmung der Parameter linearer Modelle stationarer und insta-
tionarer Strecken. Messen, steuern, regeln, № 9, s. 348-350, 1971.
8. Райбман H. С, Чадеев В. M. Построение моделей процессов производства. «Энер­
гия», 1975.
9. Аведъян Э. Д . Модифицированные алгоритмы Качмажа для оценки параметров^
линейных объектов. Автоматика и телемеханика, № 5, стр. 64-72, 1978.

AN AMENDED KACZMARZ ALGORITHM

E . D . A V E D ' Y A N , Ya. Z . T S Y P K I N

The Kaczmarz algorithm is widely used for identification of linear algorithms..

Introduction of a correcting step increases the rate of convergence for time-correlateo?
input signals. The performance of this amended and the conventional Kaczmarz algo­
rithm is compared on a computer.