Least Square atau Kuadrat Terkecil

Metode Least Square atau Metode Kuadrat Terkecil

digunakan untuk mendapatkan penaksir koefi-
sien regresi linier. Model regresi linier sederha-
na dinyatakan dengan persamaan :
Y = 0 + 1X + , model umum
Yi = 0 + 1Xi + i , model setiap pengamatan
Model dugaan dinyatakan oleh :
X Y
1 0

+ atau
Y

= b0 + b1 X , model umum
i i
X Y
1 0

+ atau
i
Y

b0 + b1 Xi , model setiap
pengamatan
Didapatkan eror, yaitu atau i sebagai berikut :
Y Y

= X b b Y
1 0

atau :
i i i i i
X b b Y Y Y
1 0

Secara geometrik, titik-titik hasil eksperimen, model
dan error digambarkan pada grafik berikut ini :
X
Y
45 40 35 30 25 20 15 10
10
9
8
7
6
5
4
3
S 1,32081
R-Sq 65,4%
R-Sq(adj) 58,5%
Fi tted Li ne Pl ot
Y = 2,046 + 0,1705 X
Titik-titik merah adalah nilai hasil eksperimen, di-
notasikan Yi , yang diduga membentuk garis lurus
berwarna biru. Garis inilah model yang akan di-
taksir, dengan cara menaksir koefisiennya, yaitu b0
dan b1, sehingga terbentuk persamaan
i
Y

b0 + b1 Xi.
Garis tegak lurus sumbu horisontal yang menghu-
bungkan titik eksperimen dengan garis lurus dugaan
dinamai error.
Metode least square bertujuan mendapatkan penak-
sir koefisien regresi, yaitu b0 dan b1, yang menjadi-
kan jumlah kuadrat error, yaitu

n
i
i
1
2
sekecil
mungkin. Prosedur metode kuadrat terkecil adalah
sebagai berikut :
i. Membentuk

n
i
i
1
2
sebagai fungsi b0 dan b1,
S = f(b0,b1) =

n
i
i
1
2
= ( )

n
i
i i
X b b Y
1
2
1 0
ii. Mendiferensialkan S terhadap b0 dan b1, kemudi-
an hasil diferensialnya, yaitu
0
b
S

dan
1
b
S

disa-
makan dengan 0.

0
b
S
( )

n
i
i i
X b b Y
1
1 0
0 ) 1 ( 2

( )
) 1 ( ......... ......
0
0
0
1 1
1 0
1 1
1 0
1 1 1
1 0
1
1 0

+



n
i
i
n
i
i
n
i
n
i
i i
n
i
n
i
n
i
i i
n
i
i i
Y X b b n
X b b n Y
X b b Y
X b b Y

1
b
S
( )

n
i
i i i
X X b b Y
1
1 0
0 ) ( 2
( )

n
i
i i i
X X b b Y
1
1 0
0 ) (




n
i
n
i
n
i
i i i i
X b X b X Y
1 1 1
2
1 0
0




n
i
n
i
i
n
i
i i i
X b X b Y X
1 1
2
1
1
0
0



+
n
i
i i
n
i
i
n
i
i
Y X X b X b
1 1
2
1
1
0
........ (2)
Persamaan (1) dan (2) dinamai persamaan normal.
iii. Menghitung b0 dan b1 berdasarkan dua persama-
an yang terbentuk. Dari persamaan (1) didapat-
kan formula b0,


+
n
i
i
n
i
i
Y X b b n
1 1
1 0
b0 = X b Y X b Y
n
n
i
i
n
i
i 1
1
1
1
1

,
_

Formula b0 ini kemudian disubstitusikan ke
persamaan (2),



+
n
i
i i
n
i
i
n
i
i
Y X X b X b
1 1
2
1
1
0

( )







,
_

+
+
n
i
i
n
i
i i
n
i
i
n
i
i
n
i
i i
n
i
i
n
i
i
n
i
i
n
i
i i
n
i
i
n
i
i
X Y Y X X X X b
Y X X b X X b X Y
Y X X b X X b Y
1 1 1 1
2
1
1 1
2
1
1
1
1
1 1
2
1
1
1

XX
XY
n
i
i
n
i
i i
n
i
i
n
i
i
n
i
i
n
i
i i
S
S
X n X
Y X n Y X
X X X
X Y Y X
b

2
1
2
1
1 1
2
1 1
1
1
Model regresi linier multiple dinyatakan dengan
persamaan berikut :
Yi = 0 + 1X1i + ... + kXki + i,
dengan model dugaan sbb,

i
Y

b0 + b1 X1i + ... + bk Xki

Langkah perhitungan penaksir koefisien regresi :
S = f(b0,b1) =

n
i
i
1
2

= ( )

n
i
ki k i i
X b X b b Y
1
2
1 1 0
. . . ,
kemudian dideferensialkan terhadap b0, b1, ... bk, dan
hasilnya disamakan dengan nol,

0
b
S
0,

1
b
S
0, . . . ,

k
b
S
0,
Persamaan normal menjadi :


+ + +
n
i
i
n
i
ki k
n
i
i
Y X b X b b n
1 1 1
1 1 0
. . .


+ + + +
n
i
i i
n
i
ki i k
n
i
i i
n
i
i
n
i
i
Y X X X b X X b X b X b
1
1
1
1
1
2 1 2
1
2
1 1
1
1 0
...
.
.
.


+ + + +
n
i
i ki
n
i
ki k
n
i
ki i
n
i
ki i
n
i
ki
Y X X b X X b X X b X b
1 1
2
1
2 2
1
1 1
1
0
...
Untuk mempermudah menghitung penaksir koefisi-
en regresi maka persamaan normal diubah ke ben-
tuk matrik,
1
1
1
1
1
1
1
1
]
1

1
1
1
1
]
1

1
1
1
1
1
1
1
1
]
1

n
i
i ki
n
i
i i
n
i
i
k
n
i
ki k
n
i
i
n
i
ki
k
n
i
i
n
i
i
n
i
i
n
i
ki
n
i
i
Y X
Y X
Y
b
b
b
X X X X
X X X X
X X n
1
1
1
1
1
0
1
2
1
1
1
1
1
1
1
1
2
1
1
1
1 1
1

) 1 ( ) 1 ( + + k k
A

1 ) 1 ( + k
b
=
1 ) 1 ( + k
g


Pada satu matrik dan dua vektor di atas, masing-ma-
sing dinamai : matrik A (berukuran (k+1) (k+1)),
vektor b (berukuran (k+1) 1), dan vektor g (juga
berukuran (k+1) 1), sehingga persamaan normal
menjadi :
A b = g,
dan didapatkan penaksir koefisien regresi, yaitu b :
b = A
-1
g
dengan b = (b0 , b1 , ... , bk)
T
Latihan 1
Buktikan persamaan berikut :
1. ) (

1
X X b Y Y +
2. Buktikan titik ) , ( Y X terletak pada garis regresi.
3.

n
i
i
Y n Y
1
/

Perhitungan Taksiran Simpangan

Baku Penaksir Koefisien Regresi
Simpangan baku penaksir koefisien regresi adalah
akar variansi penaksir koefisien regresi, sehingga
taksiran simpangan baku merupakan akar taksiran
variansi. Berikut ini adalah penurunan variansi b 1 :
XX
XY
n
i
i
n
i
i i
n
i
i
n
i
i
n
i
i
n
i
i i
S
S
X n X
Y X n Y X
X X X
X Y Y X
b

2
1
2
1
1 1
2
1 1
1
Formula b1 terdiri dari variabel fixed yaitu X dan
variabel random, yaitu Y, sedangkan yang mempu-
nyai variansi hanyalah variabel random. Untuk itu
formula b1 diupayakan agar antara X dan Y jelas
dan mudah bentuk hubungannya, dan yang akan
diolah hanyalah pembilang, karena pembilanglah
yang memuat Y.
( )( )
( )( ) ( )( ) ( )
( )( ) ( )( )
( )( )
( )( ) ( )( ) ( )( )
n n
n
i
i i
n
i
i
n
i
i i
n
i
i i i
n
i
i i
n
i
i i
Y X X Y X X Y X X
Y X X
Y X X Y X X
Y X X Y X X
Y Y X X Y X n Y X
+ + +

. . .
2 2 1 1
1
1 1
1
1 1
Formula variansi b1 menjadi sebagai berikut :

,
_

,
_

,
_

Y X n Y X
X n X
X n X
Y X n Y X
n
i
i i
n
i
i
n
i
i
n
i
i i
1
2
2
1
2
2
1
2
1
var
1
var

,
_

Y X n Y X
n
i
i i
1
var
( )( ) ( )( ) ( )( ) ( )
n n
Y X X Y X X Y X X + + + . . . var
2 2 1 1
=
( ) ( ) ( ) ( ) ( ) ( )
n n
Y X X Y X X Y X X var . . . var var
2
2
2
2 1
2
1
+ + + =
( ) ( ) ( )
2
2
2
2
2
2
2
1
. . . X X X X X X
n
+ + + =
( )

n
i
i
X X
1
2
2

( )

,
_

,
_

n
i
i
n
i
i
n
i
i
n
i
i i
X X
X n X
X n X
Y X n Y X
1
2
2
2
2
1
2
2
1
2
1
1
var
2
( )
2
2 1
2
2 2 1
2
1
1
2
2
1
2 2 2
2
1 1
2 2 2
1 1 1
1
var
( )
( )

var( ) ; , : var( )
( ) ( ) ( )
n
i i n
i
i n
n
i
i
i
i
i
n
i
i
n n n
i i i
i i i
X Y nXY
X X
X nX
X X
X X
s
b bila tidak diketahui maka menjadi b
X X X X X X

,
,

Penaksir Simpangan Baku (b1) =
1/ 2
2
1
( )
n
i
i
s
X X

_



_

, ,

s
2
= jumlah kuadrat error/n-2
Selanjutnya diuraikan penurunan variansi b0,
b0 = X b Y X b Y
n
n
i
i
n
i
i 1
1
1
1
1

,
_

var(b0) = ) var( ) var( ) var(
1
2
1
b X Y X b Y +
=

+
n
i
n
i
i
i
X X
X Y
n
1 2
1
2
2
) (
)
1
var(

=

+
n
i
n
i
i
i
X X
X Y
n
1 2
1
2
2
2
) (
) var(
1

=
( )
2
1
2
2 2 2 2
2
) (
...
1
X X
X
n
n
i
i

+ + + +

=
2
1
2
2 2
2
) (
) (
1
X X
X n
n
n
i
i

+

Setelah ke dua suku disamakan penyebutnya, dan

2
diganti dengan s
2
, didapatkan penaksir var(b0) sebagai
berikut :
2
1
1
2 2
2
1
2 2
1
2
0
) ( ) (
) (
) r( a v
X X n
X s
X X n
X n X X s
b
n
i
i
n
i
i
n
i
i
n
i
i

,
_

Penaksir simpangan baku (b0) =

2 / 1
2
1
1
2 2
) (

,
_

X X n
X s
n
i
i
n
i
i
3
Penaksir Kovariansi Koefisien Regresi
Review Rumus :
1. E(X) =
X
, E(aX) = a E(X) = a
X
2. var(X) = E(X E(X))
2
= E(X
X
)
2
3. var(X + Y) = var(X) + var(Y) + 2cov(X,Y)
4. cov(X,Y) = E{(X
X
)(Y
Y
)}
5. cov(aX,bY) = E(aX a
X
)(bY b
Y
) = E(ab(X
X
)(Y
Y
)) = ab E(X
X
)(Y
Y
) =
ab cov(X,Y)
6. cov(
1
+
1
X
i
,
2
+
2
X
j
) =
1

2
cov(X
i
,X
j
), buktikan!
Diketahui : Y
i
variabel random saling independen dan identik, dengan var(Y
i
) =
2
, i = 1, 2, ... , n.
Akan dilakukan penurunan cov(a,b), a dan b masing-masing fungsi variabel random Y
i.
, sbb :
a =
n n i
n
i
i
Y a Y a Y a Y a + + +

. . .
2 2 1 1
1
, b =
n n i
n
i
i
Y b Y b Y b Y b + + +

. . .
2 2 1 1
1
a
i
dan b
i
masing-masing konstanta.
cov(a,b) = cov(
)) . . . ( ), . . . (
2 2 1 1 2 2 1 1 n n n n
Y b Y b Y b Y a Y a Y a + + + + + +
Lebih mudah melalui var(a + b),
var(a + b) = var(a) + var(b) + 2 cov(a,b), atau 2 cov(a,b) = var(a + b) var(a) var(b)
var(a + b) = var
)) . . . ( ) . . . ((
2 2 1 1 2 2 1 1 n n n n
Y b Y b Y b Y a Y a Y a + + + + + + +
= var((a
1
+ b
1
)Y
1
+ (a
2
+ b
2
)Y
2
+ . . . + (a
n
+ b
n
)Y
n
)
= (a
1
+ b
1
)
2
var(Y
1
) + (a
2
+ b
2
)
2
var(Y
2
) + ... + (a
n
+ b
n
)
2
var(Y
n
)
= (a
1
+ b
1
)
2

2
+ (a
2
+ b
2
)
2

2
+ ... + (a
n
+ b
n
)
2

2
=
2

+
n
i
i i
b a
1
2
) (
var(a) = var
) . . . (
2 2 1 1 n n
Y a Y a Y a + + +
= var((a
1
)Y
1
+ (a
2
)Y
2
+ . . . + (a
n
)Y
n
)
= (a
1
)
2
var(Y
1
) + (a
2
)
2
var(Y
2
) + ... + (a
n
)
2
var(Y
n
)
= (a
1
)
2

2
+ (a
2
)
2

2
+ ... + (a
n
)
2

2
=
2

n
i
i
a
1
2
var(b) = var
) . . . (
2 2 1 1 n n
Y b Y b Y b + + +
= var(b
1
)Y
1
+ (b
2
)Y
2
+ . . . + (b
n
)Y
n
)
= (b
1
)
2
var(Y
1
) + (b
2
)
2
var(Y
2
) + ... + (b
n
)
2
var(Y
n
)
= (b
1
)
2

2
+ (b
2
)
2

2
+ ... + (b
n
)
2

2
=
2

n
i
i
b
1
2
2 cov(a,b) = var(a + b) var(a) var(b)
=
2

+
n
i
i i
b a
1
2
) (

2

n
i
i
a
1
2

n
i
i
b
1
2
=
2

+ +
n
i
i i i i
b a b a
1
2 2
) 2 (

2

n
i
i
a
1
2

n
i
i
b
1
2
=
2

n
i
i i
b a
1
2
cov(a,b) =
2

n
i
i i
b a
1
4
Penurunan cov(b
0
,b
1
)
Cara Pertama,
cov(b
0
,b
1
) = cov
1 1 1 1
(( ), ) cov( , ) Y b X b Y Xb b , digunakan review rumus 6, dengan
1
=
Y
,

1
= X ,
2
= 0, dan
2
= 1.
= cov(
1 1 1
cov( , )) var( ) X b b X b =
2
2
1
( )
n
i
i
X
X X

Cara Kedua,
Menggunakan logika penurunan cov(a,b). Cara ini lebih panjang, tetapi merupakan latihan pemahaman
operasi variabel random yang sangat baik. Variabel random b
0
dan b
1
masing-masing merupakan fungsi
variabel random Y
i
.
Logika penurunan ini kemudian digunakan untuk mendapatkan cov(b
0
,b
1
); keduanya merupakan fungsi
variabel random Y
i.
.
cov(b
0
,b
1
) =
1 1 1
2 2 1
1 1
( ) ( )
cov ,
( ) ( )
n n
i i i i n
i i
i n n n
i
i i
i i
X X Y X X Y
Y X
X X X X

_






,

2
1
( )
n
i
i
X X

tidak memuat variabel random, dan hasilnya sudah tertentu, sehingga dapat dianggap
konstanta, dinotasikan k. Begitu pula dengan
X
, juga konstanta, boleh dikeluarkan dari sigma.
cov(b
0
,b
1
) =
1 1 1
1
( ) ( )
cov ,
n n
i i i i n
i i
i n
i
X X X Y X X Y
Y
k k

_





,

= cov
1
1 1 1
( ) ( )
,
n n n
i i i i i n
i i i
kY X X X Y X X Y
k k k

_





,


= cov
1
1 1 1
( ) ( )
,
n n n
i i i i i n
i i i
kY X X X Y X X Y
k k

_





,


= cov
1
1 1
1 1 1
( ) ( )) , ( )
n n
i i i i n
i i
k X X X Y X X Y
k k k

_ _ _


, , ,

=
2
1
1
1 1 1
( ) ( ) ( )
n
i i n
i
k X X X X X
k k k

_ _ _


, , ,

=
2 2
1
2 2
1
1 1
( ) ( )
n
i i n
i
k X X X X X
k k

_


,

=
2 2
1
2 2
1 1
1 1
( ) ( )
n n
i i n
i i
k X X X X X
k k

_


,

=
2 2
1
2 2
1 1
1 1
( ) ( )
n n
i i n
i i
k X X X X X
k k

_


,

dapat diturunkan bahwa
1
( ) 0
n
i
i
X X

5
=
2 2
2
1
1
( )
n
i
i
X X X
k

_


,

pada awal penurunan disebutkan k =

2
1
( )
n
i
i
X X

=
2
2
1
( )
n
i
i
X
X X

=
2
2
1
( )
n
i
i
X
X X

cov(b
0
,b
1
) =
2
2
1
( )
n
i
i
X
X X

Penaksir Nilai Respon,

Y
Setelah didapatkan penaksir koefisien regresi, yaitu b0 dan b1, maka dapat dihitung penaksir respon, yaitu

Y

sebagai berikut :

Y
= b0 + b1X (model umum) atau
0 1

i i
Y b b X + (model setiap pengamatan).
Apabila diketahui atau ditentukan nilai variabel bebas sebesar X0 , maka didapatkan penaksir atau dugaan nilai
respon,
0

Y sebesar :
0 1

i i
Y b b X + .
Selanjutnya dihitung var(
0

Y ),
var(
0

Y ) = var(
0 1 0 1 1 0 1 0
) var( ) var( ( )) b b X Y b X b X Y b X X + + +
=
1 0 1 0
var( ) var( ( ) 2cov( , ( )) Y b X X Y b X X + +
1 0
cov( , ( )) Y b X X =
0 1
cov( , ( ) ) Y X X b = cov
0
1 1
2 1
1
( ) ( )
,
( )
n
i i n
i
i n n
i
i
i
X X X X Y
Y
X X

=
0
2 1 1
2 1
1
( ) ( )
( )
( )
n
i n
i
n n
i
i
i
X X X X
X X

= 0, karena
1
( ) 0
n
i
i
X X

var(
0

Y ) =
1 0
var( ) var( ( ) 0 Y b X X + + =
2 2 2 2
2 0
0 1
2
1
( )
( ) var( )
( )
n
i
i
X X
X X b
n n
X X

+ +

6
Penduga var(
0

Y ) =
2 2 2
0
2
1
( )
( )
n
i
i
X X s s
n
X X

=
2
2 0
2
1
( ) 1
( )
n
i
i
X X
s
n
X X

Penduga simpangan baku
0

Y =
1/ 2
2
0
2
1
( ) 1
( )
n
i
i
X X
s
n
X X