2

2.1.
. ,
, .
, .

2.1.1.
, .
X
Y
x = (x1 , ..., xd )
X = (xi , yi )`i=1
a(x) ,
Q(a, X) a X
: a(x) = argminaA Q(a, X)
, Y = R. ,
:
Q: ,
.
A: , .
: .

2.1.2. :

,
. , .

. 2.1: .


. , ,
. ,
.
, .
, , , .
.
. , . ,
, . ,
.
, , ,
, .

2.1.3.
, .
:
a(x) = w0 +

d
X

wj xj ,

j=1

w0 , x , wj .
(d + 1)- , 1,

j

a(x) =

d+1
X

wj xj = hw, xi,

j=1

hw, xi .
Q(a, y) = a(x) y,
a(x) = y.
:
|a(x) y|.
, . :
(a(x) y)2 .
, , :
`

Q(a, x) =

1X
2
(a(xi ) yi )
` i=1

( Q ,
) :
`
1X
2
Q(w, x) =
(hw, xi i yi ) .
` i=1

2.2.
, , .
:
`
1X
Q(w, x) =
(hw, xi i yi )2 min .
w
` i=1
, , 1 ,
.
2

2.2.1.
, ,
. X
:

x11 ... x1d

X = ... ... ...
x`1 ... x`d
, ij X j- i .
y, :

y1
y = ... .
y`
:
Q(w, X) =

1
kXw yk2 min .
w
`

, , .

2.2.2.
:
w = (X T X)1 X T y.
:
.
, d , d3 ,
.
(
).

2.2.3.
, , .
, .
,
. .
.
, , ( ).
:
w0 = 0.
, t = 1, 2, 3, ..., , wt1 ,
wt1 , t ,
:
wt = wt1 t Q(wt1 , X).
, . -. : ,
:
kwt wt1 k < .
.

2.3.
2.3.1.
, :
a(x) = w1 x + w0 ,
w1 w0 .
:
`

Q(w0 , w1 , X) =

1X
(w1 xi + w0 yi )2 .
` i=1

,
. , :
`
`
Q
2X
Q
2X
=
(w1 xi + w0 yi )xi ,
=
(w1 xi + w0 yi ).
w1
` i=1
w0
` i=1

2.3.2.
. , .
.

. 2.2: .
4

 :
300
250

200
150
100
50
0

20

40
60
80

100

. 2.3:

2.3.3.
. - , ,
.
w1

w1

w2
w3

w2

w4

w5

w3
w4
w5

w7

w6

. 2.4:
, , .
, , .
, , .
: , , , , .
:
t =

k
,
t

k , , t .

2.3.4.

:
1
Q(w, X) = kXw yk2 min,
w
`
kxk x. :
w Q(w, X) =

2 T
X (Xw y)
`
5

 , Xw y, ,
.

2.4.
,
.

2.4.1.

, t :
wt = wt1 t Q(wt1 , X).
:
w Q(w, X) =

2 T
X (Xw y)
`

j- , , :
`
Q
2X j
=
x (hw, xi i yi ).
wj
` i=1 i

.

2.4.2.
, j-
i- , wj , i-
. , ,
.
.
.
, . :
w0 = 0
wt : xi
X ,
t :
wt = wt1 t Q(wt1 , {xi }).
, :
kwt wt1 k < .

2.4.3.
. . .

300
250

200
150
100
50
0

20

40
60
80

100

. 2.5:
, ,
. ,
, ,
. .

2.4.4.
(SGD) . -, ,
. ,
.
-, ,
.

2.5.
2.5.1.
,
. .
:
Y = {1, +1}.
, :
() ,
.
, ,
.
, .

2.5.2.
.
.
, ,
:

d
X
a(x) = sign w0 +
wj xj .
j=1

 ,
:
d+1
X
a(x) = sign
wj xj = signhw, xi
j=1

2.5.3.
hw, xi = 0 .
z

w
~

x
. 2.6:
hw, xi , .
, .
, ,
x, hw, xi = 0 |hw,xi|
kwk .
:
Mi = yi hw, xi i.
, . Mi > 0, i- , .
, , ,
. ,
, : ,
.

2.6.
2.6.1.

:
`

Q(a, x) =

1X
[a(xi ) 6= yi ]
` i=1

 :
`
`
 1X


1 X
Q(a, x) =
yi hw, xi i < 0 =
Mi < 0
` i=1
` i=1

, , .
, :

Mi

. 2.7:
0,
. , , , ,
.

2.6.2.
:


i)
Mi < 0 L(M
X) Q(a, X):
Q(a,
`

X
X) = 1
i ).
Q(a, X) Q(a,
L(M
` i=1
, ,
:
`

X
X) = 1
i ) min .
Q(a, X) Q(a,
L(M
a
` i=1
,
. , .

2.6.3.
:
( ,
):

L(M
) = log2 exp(M )
:

L(M
) = exp(M )
9

 - ( ):

L(M
) = max(0, 1 M )

Mi

. 2.8: : ( ), (), () - ().

2.6.4.
:
`

X

1X


X) = 1
Q(a,
ln exp(Mi ) =
ln exp(yi hw, xi i) .
` i=1
` i=1
, , , , , .
, , ,
,
.

10