Math-Net.

Ru
Общероссийский математический портал

А. С. Немировский, Д. Б. Юдин, Чезаровская

сходимость градиентного метода аппроксимации
седловых точек выпукло-вогнутых функций, До-
кл. АН СССР, 1978, том 239, номер 5, 1056–1059

Использование Общероссийского математического портала Math-

Net.Ru подразумевает, что вы прочитали и согласны с пользова-
тельским соглашением
http://www.mathnet.ru/rus/agreement

Параметры загрузки:
IP: 92.53.24.187
20 мая 2023 г., 12:05:15
 Доклады Академии наук СССР
1978. Том 239, № 5

У Д К 517 . МАТЕМАТИКА

А. С. НЕМИРОВСКИЙ, Д. Б. ЮДИН

ЧЕЗАРОВСКАЯ СХОДИМОСТЬ ГРАДИЕНТНОГО МЕТОДА

АППРОКСИМАЦИИ СЕДЛОВЫХ ТОЧЕК
ВЫПУКЛО-ВОГНУТЫХ ФУНКЦИЙ

(Представлено академиком Л. В. Канторовичем 29 ХП 1977)

Пусть G, Gj — выпуклые замкнутые непустые подмножества гильбер­

товых пространств Е, Е a F(x,l): ь GXG^R — непрерывная функция, вы­
пуклая по аргументу x^G и вогнутая по аргументу Z^G . Предположим, Z

что множество седловых точек непусто. Ставится задача приближенного

построения какой-нибудь точки этого множества. Эта задача широко из­
вестна. Для ее решения чаще всего используются различные версии ме­
тода Эрроу — Гурвица (*). В простейшей из них последовательность
( # г , U) ^ G X G j очередных приближений к седловой точке строится по пра­
вилам
f /
Xi =^Sl (Xi—piF (Xi,
+i e x Z,)), /г+1 = Я С 1 ( / г + р г Л ( ^ г , U) ) \ (1)

здесь n (x) есть ближайшая к х точка G; K определено аналогичным

G GI

образом; Р ' (щ v) (F/ (и, v))— опорный функционал KF как выпуклой

х

функции х (вогнутой функции Z); р*>0 — надлежащим образом регули­

руемые смещения.
К сожалению, указанная версия, вообще говоря, не является сходя­
щейся ни при каком правиле регулировки смещений (простой пример:
F(x,l)=xl, — K Z < 1 ) . Чтобы гарантировать сходимость, прихо­
дится налагать на F дополнительные условия типа строгой выпукло-вог-
2 3
нутости ( , ) . Если же эти условия не выполняются, то приходится моди­
фицировать метод, либо регуляризуя F (возмущая ее так, чтобы она стала
строго выпукло-вогнутой), либо выбирая смещения по х- и по Z-координате
неодинаковыми (даже по порядку стремления к 0 при &->-«>).
Цель работы — показать, что указанные приемы по существу излишни.
Дело в том, что в достаточно общих предположениях траектория' (1) схо­
дится к множеству седловых точек в чезаровском смысле. Именно, пусть
1 Л
= ——^(х 1 ) (х\Р) (2) и 5

2 Pi j = 1

j=i
есть траектория выпуклых комбинаций точек траектории ( 1 ) . Оказывает­
ся, что в естественных предположениях траектория (х\ Г) ограничена и
сходится к множеству седловых точек F в следующем смысле: пусть
F(x)= supF(*,Z), F ( Z ) = inf F(x,l).

Тогда
p( i)
x _ * i f p(x), n F(V) - > s u p F ( Z )
г -> оо X г-> оо I

(описанная сходимость есть, так сказать, сходимость по функционалу;

в конечномерном случае из нее сразу следует сходимость (х\ V) к множе­
ству седловых точек F). С практической точки зрения сходимость траек­
тории (2) вполне заменяет сходимость (1).
1056
 Точное утверждение состоит в следующем.
Т е о р е м а . Пусть объекты G , G F удовлетворяют всем условиям, h

сформулированным в начале пункта и, кроме того, величины \\Fx'(x, Z)||,

\\Fif(x, I) || норм опорных функционалов, фигурирующих в (1), ограниче­
ны на ограниченных подмножествах G X G (в частности, F липшицева на X

таких подмножествах). Пусть смещения pi в (1) удовлетворяют условиям *:

( A ) если G , G j ограничены, то р ^ О , S p i = ° ° ;
оо i
(B) если G X G j неограничено, то рг~^0, 2 р г = ° ° ,
г-> оо г"
2 2 2
£p< (ll*V (s„ Z<) ll +l|/Y (г<, Z.) II ) < ° ° . (3)
г
1
Тогда траектория (х\ Z ), определяемая ( 2 ) , ограничена и_ _
(i) еа/щ G X G j ограничено, то величины v ' = m a x {F(x)~inf ^(#),
X
sup f (Z)—/^(Z )} сходятся к О тгри
J
T 1
i-*<», причем
i
\ i
Р<2
.d^GXGr) Д ...
l
V < : + —: Я (Л. (*)
N
г г
2 2 р, 2 Цр,
3=1 3=1
где d(GXGi) — диаметр GXG, в гильбертовом пространстве EXE,, а
2 2 2
a {F) = sup OIF,' (х, I) || +||77/ (я, I) | | ) ;
' ас,г
(и) если же
неограничено, то всякая предельная
G X G 7 точка траекто­
рии (х\ V) в слабой топологии ЕХЕ есть седловая точка F. Т

Д о к а з а т е л ь с т в о . В силу_очевидно^симметрии достаточно прове­

{ {
рить, что в случае (i) величина Е(х )—1п1Е(х)=Е(х )—Е(х*) сходится к
X

б и удовлетворяет оценке (4) (здесь х* — первая компонента седла F) и в

случае (ii) всякая слабая предельная точка последовательности {х*} есть
первая компонента некоторого седла F.
Для доказательства фиксируем Z ^ G j и посмотрим, как меняется вели­
2 2
чина VI(XJ, lj)^(Xj—x*) +(lj—l) . Имеем, обозначая для краткости
f f
=F (x lj) и r\j=Fi (x lj) и учитывая выпуклость F по х,
x h h
2 2
(x -x*)(х-р&-х*) =
j+i (х-х*)Ч-2р,(& a?-**) +р№< (*r-x*) +
+ 2 (F(x\ h) -F (x Ц ) +р,%*<
P i ( * - * * ) *+2pi (F (x*) -F {x
h h I,))
Точно так же
j+1
2
( Z - Z ) < 2 ( / 7 ( z , h)-F(x Pi 3 h l))+ W+(h-iy.
Pi

Отсюда
2
Уг(х ,
ш l )^V,(x,,
M h)+2 (F(x*)-F(x
9i h г))+ Л1г+гъ).
Р (5)
В частности
v- (x , z , ) ^ i t e , i,)+pnv+i\n t (6)j+i + 1

(I—Z-компонента седловой точки F).

Из (6) и (3) следует ограниченность траектории (#,-, l ). Ясно, что ус­ t

ловию (В) легко удовлетворить, например, правилом

1 1
2 2
Рз 7 Пз +Лз- +1
При таком выборе j (3) выполнено и pj-^О. Стало быть, траектория
P (xjr

Будет показано, что в ходе работы метода такой выбор смещений возможен.

1057
lj) ограничена. Но тогда Ъ?+г\?<с(Р)<°о до условию на F, и р , = 0 ( 1 / / ) ,
т. е. Upj=°°, что и требуется в (В),
3
Сложим теперь неравенства (5) по / = 1 , 2 , . . . , L После очевидных пре­
образований получим

j = 1
; £ft 2Цр,

(7)
U ft j = i
2SP,- 2 2 P i

2 а <0 и б
здесь c(F)=a (F) для (i); для (ii) c ( ^ ) = s u p (1, +т)/) °» ° мы уже
1
установили ограниченность траектории {x В силу определения х иh

выпуклости F по х из (7) следует, что

i
2 p j 2
V (х I)
F(s',i)-J4*')<' /' +c(F)ri—. ( )
8

2 23 pj 2 23 Pi

При ограниченных G, Gj максимизация обеих частей (8) по / достав­

ляет оценку (4) для величины Р(х*)—Р(х*), что и доказывает (4) ввиду
отмеченной выше симметрии. Ясно, что в условиях (А) правая часть (4)
стремится к 0 при 1-><*>,
что и доказывает (i).
Остается проверить, что в условиях (В) любая слабая предельная точ­
ка последовательности {х*} есть первая компонента седла F. Пусть х — та­
цк)
кая предельная точка: х слабо сходятся к х, &(&)-><* при _&-^«>. Пусть
х не является первой компонентой седловой точки F, т.е. F(x)>F(x*).
Выберем I так, чтобы было F(x, l)>F(x*) (это, очевидно, возможно). Так
как F(x, I) слабо полунепрерывна снизу по х, то в некоторой окрестности
U (в слабой топологии) точки х имеем F(x, l)>F(x*)+e, е > 0 . Рассмот­
рим при этом I и i=i(k) неравенство (8). Из него предельным переходом
при А-**» получаем
iih
VimF(x \l)<F(z*).
к-*-оо
m
Но при всех достаточно больших к x ^U и последнее неравенство про­
тиворечит определению С/. Полученное противоречие завершает доказа­
тельство.
З а м е ч а н и я 1. Из доказательства теоремы ясно, что если ограниче­
но одно из множеств, для определенности G/, то для соответствующих ком­
1
понент (х\ I ) — в нашем случае для х* — имеет место сходимость по функ­
ционалу к соответствующей компоненте седла Р. В нашем случае
г

2
р< л w, .^.(*.-*У+<* (с,)^ '£Г
г
F (х ) —F (х) < : +
N
' • ' г г

22р, , 2 2 ft
(здесь d(Gj) — диаметр G ; условие (В), разумеется, считается выполнен­
7

ным).
1058
 2. Пусть G и Gj ограничены и вместо точной информации о F \ F{ x

используется информация, искаженная помехой, так что траектория (1)

описывается стохастическими разностными уравнениями
X =n (Xi-pil(Xi,
i+i G k\ CO*)), Zi+i=nGi(Zi+P»Tl(^, U\ 0 ) i ) ) ,

где со* — точка польского пространства Й, снабженного борелевой вероят­

ностной мерой Fa, причем случайные величины со* цезависимы в совокуп­
ности и имеют каждая распределение F. Функции Z, со), ц(х, Z, со)
предполагаются борелевыми по совокупности аргументов и такими, что
МшЪ(х, Z, с о ) = # / ( я , Z), MvX\(x, Z, o ) ) = F / ( a : , Z);
здесь М — результат осреднения по Р .
ш а

Предположим, далее, что помеха ограничена, например, условием

2 2 2 2
МЛЪ{х, Z, c o ) | | ^ L , ЛГ.||т|(*, Z, c o ) | | < L , Z,)€=GXG,.
Оказывается (и это легко извлечь из доказательства теоремы), что в этой
ситуации (х\ V) «в среднем» сходится к седлу F. Именно, если обозначать
г
с о = ( о ) ! , . . . , Шг) реализацию шума на первых i шагах работы метода, а че­
1 -1
рез (# (со'~ ), ^(со* )) —i-ю точку траектории (2) ((х Z ) детерминиро­
г и 4

вано) , то будет справедливо неравенство

1 1 1 1 1
Ч<*=М . м ш а х { ^ {х (со " ) - i n f F (х), sup F(l) - £ ( / ' (со " ))} <
х
i
i
2
5 Ц o?L
K**!.G*» 4 _ > S _ ( 9 )

2 Pi 25 Pi
(здесь Л / м — осреднение по шуму на первых i шагах работы метода). Та­
ю

ким образом, при выполнении (А) ^ - * 0 .

t-*oo
3. Скажем несколько слов о скорости сходимости метода^ Пусть в усло­
виях теоремы G_H GJ ограничены. Выберем р, в виде Oil/'j/j). Тогда полу­
чим v*<0(ln i/Mi). Если заранее задана точность v, с которой требуется ре­
s
шать задачу, то можно взять p t p ( v ) = 0 ( v ) (считаем, что оценка \\F '\\, X
2
\\Fi'\\ на GXGj сверху известна априори) и сделать N=0(l/v ) шагов.
При правильном выборе р ж N указанного вида будем иметь v * < v . Анало­
гичные факты имеют место и в стохастической ситуации (см. предыду­
щее замечание) применительно к величинам ч\
Отметим, что применительно к общей выпукло-вогнутой игре скорость
сходимости традиционных версий метода Эрроу — Гурвица (основанных
на приемах типа регуляризации или использующих неодинаковые сме­
щения по х и Z) оказывается по порядку худшей, чем указанная выше
сходимость предлагаемой версии.
Поступило
29 XII1977
ЛИТЕРАТУРА
1
К. Дж. Эрроу, Л. Гурвиц, X. Удзава, Исследования по линейному и нелинейно­
2
му программированию, М., ИЛ, 1962. Е. Г. Голъштейн, Экономика и матем. ме­
3
тоды, т. 8, 4 (1972). Г. Д. Майстровский, там же, т. 1% 5 (1976).

1059