Вы находитесь на странице: 1из 5

10-725: Optimizatio Fall2013 Лекция16

: Методы наказания, октябрь17


Лектор: BarnabasPoczos / RyanTibshiran Писцы: АрунВенкатраман, КартикЛакшманан

Примечание:
LaTeXtemplatecourtesyofUCBerkeleyEECSdept.

Отказ от ответственности: эти сообщения, которые не были подвергнуты обычному изучению, зарезервированы для официальных публикаций.

TheymaybedistributedoutsidethisclassonlywiththepermissionoftheInstructor.

16.1. 16.1.1. Много сталкивались с

Методы Проблемы с раз проблемой

наказания. установкой. мы ограничения ( P):

min f (x),
x∈S

f : n R- S п .
где R → непрерывная isaconstraintsetin R

Weintroducethe Penaltyprogram ,( Р (с)), theunconstrainedproblem:

мин е (х) + р (х) ,


x∈R п

р : п п
где с> 0и R → R isthe penaltyfunction , где р (х) ≥ 0 ∀ х ∈ R p (x) = 0i ff x ∈ S.
и
понятно штрафной используется для возможных
Интуитивно , что санкция компенсации ограничений.

16-1
16-2 Лекция 16: Методы штрафа,

октябрь17 16.1.2 Неравенство и ограничения равенства Пример

(то есть : g (x) }), полезная штрафа


, если мы даем ограничение на качество S = {x i ≤ 0, i = 1 , 2, ..., m
1
Σ м 2
функция может быть p (x) = (макс [0, г я
(х)]) .Thatis, ifwesatisfytheconstraint, wedon'ttake
2 I=1

anypenalty.Otherwisewetakeasquaredpenalty.Dependingon с, weweightthispenaltyin ( Р (с)). Для

equalityconstraints wecanrewritethemasinequalityconstraintsandusethemasabove.Thatis, переписывают


ч
J (х) = 0astwoinequalityconstraints, ч
J
(х) ≤ 0и -h J
(х) ≤ 0.

Forlarge с, theminimumpointofaproblem ( Р (с)) isinaregionwherethepenalty р issmall.Infact, мы


гр проблемы пенальти P (c)) сведется к решению ограниченной проблемы
willprovebelowthatas →∞
P).
решение (
(
16.2PenaltyMethodLemmas

Let0 <c <c <... <c <c q (c, k): = f (x) + cp (x) программа штрафа.
1 2 k k+1 <... →∞ beourpenaltyparameter.Let
штрафа для Также, пусть x = argmin q (c , x) = argmin f (x) + c р (х).
k x k x k

:
С этим примечанием докажем штрафных мы следующее для правил

1. q (c ,x ) ≤ q (c ,x )
k k k+1 k+1

2. p (x ) ≥ p (x )
k k+1

3. f (x ) ≤ f (x )
k k+1

4. ∗ ) ) )
f (x ≥ q (c k
,x
k
≥ f (x k

Ниже приведено доказательство доказательности всех вышеперечисленных.

q (c ,x ) ≤ q (c ,x )
Лемма16.1 k k k+1 k+1

Доказательство:

q (c ,x )= f (x )+ c p (x )
k+1 k+1 k+1 k+1 k+1

≥ f (x )+ c p (x ( ∵ c >с > 0)
k+1 k k+1 k + 1) к

≥ F (х )+ с р (х ( ∵ х д (с , х))
к к к+1 к istheminimizerof к

∴ д (с ,х ) ≥ д(c ,x ) (∵ q (c, x = f (x )+ c p (x ))
к+1 к+1 k k k+1 k k k+1

p (x ) ≥ p (x )
Лемма 16.2 k k+1

Доказательство :

f (x с р (х ) ≤ F (х +с р (х ( ∵ х д (с , х) (16.1)
k )+ к к к+1 к к+1 к istheminimizerof к

Р (х )+ C р (х ) ≤ F (х )+ с р (х ( ∵ х д (с , х) (16.2)
к+1 к+1 к+1 к к+1 к к+1 istheminimizerof к+1
16-3.
Лекция 16: Методы

штрафа, октябрь17 Добавление уравнения 16.1 и уравнения16.2 вместе получаем

c p (x )+ c p (x ) ≤ c p (x )+ c p(x )
k k k k+1 k k+1 k+1 k
+

(c ) p (x ) ≤ (c - c ) p (x)
⇒ k+1 −c k k+1 k+1 k

∴ p (x ) ≤ p (x ) (∵ c c > 0)
k+1 k k+1 >c k ⇒ k+1 −c k

f (x ) ≤ f (x )
Лемма 16.3 k k+1

Доказательство:

f (x )+ c p (x ) ≥ f(х )+ с р (х ( ∵ х д (с , х))
k+1 k k+1 к к к к istheminimizerof к

≥ F (х )+ с р (х ( ∵ 0,2)
к к к+1 Lemma16

∴ р (х ) ≥ f (x )
к+1 k

∗-
Лемма 16.4. Пусть x оптимальное значение для предельной ограниченной задачи (P) с S.
ограничением
∗ ) ) )
Тогда f (x ≥ q (c k+1
,x
k+1
≥ f (x k
∀k.

Доказательство:

*) *) * * *)
Р (х Р (х с р (х ( ∵ х р (х
= + к ∈S⇒ = 0)

≥ F (х )+ с р (х ) ≥ F (х ( ∵ х д (с , х), с > 0, р (х ) ≥ 0)
к к к к к istheminimizerof к и к к

* ) ) ) ∀k метода разделе
∴ Р (х ≥ д (с к+1
,x
k+1
≥ f (x k

16.3. наказания с использованием 16.2

Сходимость разложенных в теоремы о наказании. 16.5. функции.

Предположим, что Пусть


f, g, p - x c p (x)
Теорема = argmin f (x) + forapenalty
непрерывные k x k
предел
функция p (x) согласно определению 16.1.1. Пусть 0 <c <c <... <c <c <... →∞ . Пусть бина
1 2 k k+1
x x {x }∞ .
произвольный k k=1

¯x решает (P), (P) - f (x) g (x) ≤ 0.


Тогда где исходная ограниченная задача min st
x

Доказательство: x = lim x .
конечная точка определена ¯ k
k∈K
16-4 Lecture16: PenaltyMethods, 17 октября

Так как ф isgivenascontinuous, thenlim F (X )= F (X) .Wethenget,


K
k∈K
*:
д д (с ,х ) ≤ F (х (∵ .4)
= па к к Lemma16
x∈K
*= * )
д р (х ) + баннер с р (х ) ≤ р (х
⇒ па к к к
x∈K x∈K

⇒ д * = F (X) + баннер c p (x ) ≤ f (x
∗ )
k k
х ∈K

⇒ q ∗ −f (¯x) = lim c p (x ) ≤ f (x
∗ ),
k k
x∈K

*)
поскольку q ∗ - f (¯x) и f(х являются фи nitewhichmeanslim с р (х ) hastobea фи nitequantity.Sinceweknow ,
x∈K к к

с , р (х ) р х S
что K →∞ к → 0.Thismeansthat р (х) = 0, whichfromthede фи nitionof tellsusthat¯ ∈ где
S isourconstraintset.

16.4Часто используемые штрафные функции штраф

∑ m q
1. p (x) = [max {0, g (x)}] ,q ≥ 1
Полиномиальный : i=1
i

∑ м
(a) Линейная штраф :( q = 1): p (x) = [тах {0, г (х)}]
я
=1
Σ м
(б) Quadraticpenalty :( д = 2): р (х) = [тах {0, г (х)}]
я
=1

Forexample , если мы определим g + (x) = max {0, g g + (x) = [ g + (x), .., g + (x)] T
i i (x)}, то 1 m штрафа
g + (x) T g + g + (x) T +
Функция P (x) = (x) или P (x) = Γg (x), где Γ > 0

2. Наказание за проблему с ограничениями качества и неравенства

P : min f (x)
x

st g (x) ≤ 0

h (x) = 0
n
x ∈ R

Необходимая функция штрафа: p (x) = 0if г (х) (х) = 0


≤ 0и
р (х) 0 , если г (х) 6=0
> > 0 или (х)

k
Σт q
∑ q
р (х) = [тах {0, г (х)}] + |h (x) | ,q ≥ 1
Wecanuse: я i

I=1 i=1

16.5 функции Предположим, что

Производная пенальти мы используем


P (x) = γ (g + (x)), где g + γ (x) равен γ (x) = y T y.
(x) определено заранее. Пример
Thedi FFI cultyariseswhenwetrytotakethederivativeof P (x), а максимальная функция g + (x) не дифференцируема. Но, соответственно,

γ (x), и мы сделаем P (x) дифференцируемым.


выберем
∂P (х) Σт дТ (г + (х)) ∂g +
я
(х)
=
∂x ∂ (г + ∂x
(х))
я
=1
{
+ Ig (x) если 0 0,
∂g (х) i g (x) ≥
i
∂x,
=
∂x если g
i
(x) < 0
Lecture16: PenaltyMethods, 17 октября 16-5

∂g + (х) ∂γ (г + (х))
Но я
maynotbecontinuousat0.However, ifwechoose γ suchthat = 0whenever г (х) =
я
∂x ∂y я

+
∂g (х)
0, thenitwon'tmatterif я
isdiscontinuous, becauseitwillbemultipliedby0 Onesuch γ (х)
Σ м ∂x
[г + (х)]
д ,д ≥ 1
I=1 я

16.6KKTinpenaltymethods

Asbefore, Wehave:

x = argmin f (x) + c P (x)


1.Penaltyprogram: k x k

2. Функция штрафа: P (x) = γ (g + (x))

∑ m ∂γ (г + (х)) ∂g + (х)
3. Производные: ∇P (x) = я
i=1 ∂ (г + ∂X
(х))
я

й
The1 orderconditioninlocalminimumtellsus:

∑m ∂γ (g + (x
k
))
гр u (x u c
0= ∇F (х K
)+ K
∇p (х к
)= ∇f ( x k
)+ i, k ∇g k ) где i, k
= k
i +
∂ (g (x ))
i k
i=1

0= ∇f (x )+( u ) T ∇g (x )
k k k

∗ ∗ ,
u теперь выглядит как множитель Лагранжа. Действительно, под некоторыми слабыми условиями, так как x → x =⇒ u → u
k k k
∗-

где u множитель Лагранжа, имеющий множитель оптимума.