PEMILIHAN PERSAMAAN REGRESI TERBAIK

1. All Possible Regression

Kriteria yang digunakan pada metode ini adalah :

a. R2 : Nilai ini memberikan gambaran variasi data yang dapat
dijelaskan oleh suatu variabel prediktor (independen)
tertentu.

b. s : Suatu nilai yang menggambarkan simpangan garis

regresi (tingkat ketepatan/kecocokan) terhadap data
sebenarnya.

Contoh :
Seorang manajer suatu perusahaan pharmasi ingin mengetahui
apakah seorang pelamar akan dapat menjaldi seorang sales yang
baik. Untuk itu diputuskan untuk menggunakan data bulan
pertama dari volume penjualan dari seorang karyawan baru (Y)
berdasarkan variabel independen berikut :

X1 = Tes perilaku penjualan (Selling Aptitude test)

X2 = Umur, dalam tahun
X3 = Nilai tes kemauan (Anxiety test score)
X4 = Pengalaman kerja, dalam tahun
X5 = Nilai rata-rata Ijasah SMA (skala 4)

Diperoleh data seperti pada tabel dibawah, dan manajer tersebut

akan mengumpulkan varibel independen mana yang “terbaik”
untuk memproyeksikan volume penjualan tersebut.

1
 Tabel 1. Data untuk contoh Perusahaan Pharmasi

Y X1 X2 X3 X4 X5

44 10 22.1 4.9 0 2.4

47 19 22.5 3.0 1 2.6
60 27 23.1 1.5 0 2.8
71 31 24.0 0.6 3 2.7
61 64 22.6 1.8 2 2.0
60 81 21.7 3.3 1 2.5
58 42 23.8 3.2 0 2.5
56 67 22.0 2.1 0 2.3
66 48 22.4 6.0 1 2.8
61 64 22.6 1.8 1 3.4
51 57 21.1 3.8 0 3.0
47 10 22.5 4.5 1 2.7
53 48 22.2 4.5 0 2.8
74 96 24.8 0.1 3 3.8
65 75 22.6 0.9 0 3.7
33 12 20.5 4.8 0 2.1
54 47 21.9 2.3 1 1.8
39 20 20.5 3.0 2 1.5
52 73 20.8 0.3 2 1.9
30 4 20.0 2.7 0 2.2
58 9 23.3 4.4 1 2.8
59 98 21.3 3.9 1 2.9
52 27 22.9 1.4 2 3.2
56 59 22.3 2.7 1 2.7
49 23 22.6 2.7 1 2.4
63 90 22.4 2.2 2 2.6
61 34 23.8 0.7 1 3.4
39 16 20.6 3.1 1 2.3
62 32 24.4 0.6 3 4.0
78 94 25.0 4.6 5 3.6

2
Hasil pengolahan dengan MINITAB diperoleh :

MTB > Correlation 'Y'-'X5'.

Y X1 X2 X3 X4
X1 0.676
X2 0.798 0.228
X3 -0.296 -0.222 -0.287
X4 0.550 0.350 0.540 -0.279
X5 0.622 0.318 0.695 -0.244 0.312

MTB > BReg 'Y' 'X1'-'X5' ;

SUBC> NVars 1 5;
SUBC> Best 5.

Response is Y

R-Sq X X X X X
Vars R-Sq (adj) C-p S 1 2 3 4 5

1 63.7 62.4 57.4 6.8468 X

1 45.7 43.8 98.7 8.3733 X
1 38.7 36.5 114.9 8.9006 X
1 30.2 27.7 134.3 9.4925 X
1 8.8 5.5 183.6 10.856 X
2 89.5 88.7 0.2 3.7536 X X
2 65.7 63.2 54.8 6.7773 X X
2 64.6 62.0 57.4 6.8876 X X
2 64.2 61.5 58.3 6.9254 X X
2 64.1 61.5 58.4 6.9310 X X
3 89.5 88.3 2.1 3.8158 X X X
3 89.5 88.3 2.1 3.8207 X X X
3 89.5 88.3 2.2 3.8251 X X X
3 70.1 66.6 46.8 6.4515 X X X
3 66.9 63.1 54.1 6.7858 X X X
4 89.6 87.9 4.0 3.8872 X X X X
4 89.5 87.9 4.0 3.8913 X X X X
4 89.5 87.8 4.1 3.8962 X X X X
4 70.1 65.4 48.6 6.5723 X X X X
4 67.1 61.8 55.7 6.9036 X X X X
5 89.6 87.4 6.0 3.9674 X X X X X
3
Tabel 2. Hasil persamaan terbaik dari “All Possible Regression”

Number of Independent Degree of F

2
parameters Variables Freedom R

1 None 29 0 -
2 X2 28 0.6370 49.090
3 X1, X2 27 0.8948 66.220
4 X1, X2, X5 26 0.8953 0.124
5 X1, X2, X3, X5 25 0.8955 0.054
6 X1, X2, X3, X4, X5 24 0.8955 0.000

Nilai F untuk perbandingan dua model :

1. Y = 0 + 1 X1 R2F = 0,6370 KF = 2
2. Y = 0 R2R = 0 KR = 1

 RF2  RR2   K F  K R 
F 
1  RF2   N  K F 
 0,6938  0   2  1
  49,090
1  0,6938  30  2 

 Kesimpulan :
Model terbaik dengan menggunakan metode ini adalah :

Yˆ = 0 + 1 X1 + 2X2

model ini menjelaskan 89,48% variasi dari Y (vol. penjualan).

2. Stepwise Regression

4
Prosedure ini dilakukan dengan menambahkan satu variabel
independen pada setiap step dalam model.

Pada prosedur ini, setiap step dilakukan :

1. Pembentukan persamaan regresi
2. Penambahan atau penghapusan suatu variabel
independen

Kriteria untuk suatu variabel independen masuk ke model regresi:

1. Variabel independen yang menjelaskan paling besar variasi
dari variabel dependen yang akan masuk model pertama kali.
2. Variabel selanjutnya yang menjelaskan paling besar variasi
dengan variabel pertama yang masuk model, dan seterusnya.
3. Statistik F-parsial digunakan untuk mengevaluasi apakan
suatu variabel tetap dipertahankan dari model atau dikeluarkan
dari model.

Contoh : (lihat kembali kasus perusahaan pharmasi di atas)

Dengan menggunakan MINITAB dan kriteria suatu variabel
independen masuk dalam model apabila F-statistik nya lebih besar
dari 4, diperoleh :

MTB > Stepwise 'Y' 'X1'-'X5';

SUBC> FEnter 4.0;
SUBC> FRemove 4.0.
F-to-Enter: 4.00 F-to-Remove: 4.00
Response is Y on 5 predictors, with N = 30
Step 1 2
Constant -100.85 -86.79
X2 6.97 5.93
T-Value 7.01 10.60
X1 0.200
T-Value 8.13
S 6.85 3.75
R-Sq 63.70 89.48

5
Step 1.
Buatlah Matriks Korelasi antara variabel dependen dan
independen. (hasil lihat tabel halaman 7 output MINITAB).

Dari matriks tersebut diperoleh korelasi yang tinggi antara

variabel penjualan dengan variabel independen umur (R2 =
0,7982 = 0,6368).

Oleh karena itu variabel umur yang dimasukkan pertama kali

menurut metode stepwise ini.

Step 2.
Dari step 1 diperoleh model regresi :

MTB > Regress 'Y' 1 'X2';

The regression equation is

Y = - 101 + 6.97 X2

Predictor Coef StDev T P

Constant -100.85 22.31 -4.52 0.000
X2 6.9680 0.9940 7.01 0.000

S = 6.847 R-Sq = 63.7% R-Sq(adj) = 62.4%

Analysis of Variance
Source DF SS MS F P
Regression 1 2303.7 2303.7 49.14 0.000
Error 28 1312.6 46.9
Total 29 3616.3

Bandingkan model yang menggunakan variabel umur dengan model

tanpa variabel independen.

1. Y = 0 + 1 X1 R2F = 0,6370 KF = 2
2. Y = 0 R2R = 0 KR = 1

 0,6938  0  2  1
F  49,090
1  0,6938  30  2 

6
Berarti : Variabel umur mempunyai kontribusi penting dalam
penaksiran penjualan.
Hal ini juga bisa dilakukan dengan melakukan pengujian signifikansi
parameter dengan uji t dengan alpha yang dikehendaki. (ex. =5%)

Step 3.
Masukkan variabel tes perilaku (bakat) dalam persamaan
karena variabel ini mempunyai nilai korelasi terbesar kedua
(0,676) terhadap volume penjualan.
Variabel ini juga mempunyai korelasi kurang kuat dengan variabel
umur. Koefisien determinasinya R2F = 0,8948.

Step 4.
Bandingkan model dari step 3 dan step 1, yaitu :
1. Y = 0 + 1 X1 + 2 X2 R2F = 0,8943 KF = 3
2. Y = 0 + 2 X2 R2R = 0,6368 KR = 2

 0,8948  0,6938  3  2
F  66,220
1  0,8948  30  3
Hal ini juga bisa dilakukan dengan melakukan pengujian signifikansi
parameter dengan uji t dengan alpha yang dikehendaki. (ex. =5%)

MTB > Regress 'Y' 2 'X1' 'X2';

The regression equation is
Y = - 86.8 + 0.200 X1 + 5.93 X2
Predictor Coef StDev T P
Constant -86.79 12.35 -7.03 0.000
X1 0.19973 0.02456 8.13 0.000
X2 5.9314 0.5596 10.60 0.000
S = 3.754 R-Sq = 89.5% R-Sq(adj) = 88.7%
Analysis of Variance
Source DF SS MS F P
Regression 2 3235.9 1617.9 114.83 0.000
Error 27 380.4 14.1
Total 29 3616.3

Source DF Seq SS
X1 1 1653.2
X2 1 1582.7

7
Step 5.
Masukkan lagi variabel independen nilai ijasah SMA. R 2 yang
dihasilkan hanya meningkat menjadi 0,8953.

Step 6.
Bandingkan model dari step 5 dan step 3, yaitu :
1. Y = 0 + 1 X1 + 2 X2 + 5 X5 R2F = 0,8953 KF = 4
2. Y = 0 + 1 X1 + 2 X2 R2R = 0,8943 KR = 3

 0,8953  0,8948  4  3
F   0,124 (tidak signifikan)
1  0,8953  30  4

Hasil MINITAB diperoleh :

MTB > Regress 'Y' 3 'X1' 'X2' 'X5';

The regression equation is

Y = - 89.4 + 0.202 X1 + 6.12 X2 - 0.59 X5

Predictor Coef StDev T P

Constant -89.42 14.56 -6.14 0.000
X1 0.20181 0.02564 7.87 0.000
X2 6.1160 0.7701 7.94 0.000
X5 -0.592 1.666 -0.36 0.725

S = 3.816 R-Sq = 89.5% R-Sq(adj) = 88.3%

Analysis of Variance
Source DF SS MS F P
Regression 3 3237.7 1079.2 74.12 0.000
Error 26 378.6 14.6
Total 29 3616.3

Source DF Seq SS
X1 1 1653.2
X2 1 1582.7
X5 1 1.8

Model terbaik dengan metode stepwise adalah yang melibatkan :

X1 (tes bakat/aptitude) dan X2 (umur).

8
 Tabel 3. Hasil metode stepwise untuk pemilihan model terbaik

Number of Independent Kenaikan

parameters Variables R2 R2 F

1 None 0 0 -
2 X2 0.6370 0.6370 49.090
3 X1, X2 0.8948 0.2580 66.220
4 X1, X2, X5 0.8953 0.0005 0.124
5 X1, X2, X3, X5 0.8955 0.0002 0.054
6 X1, X2, X3, X4, X5 0.8955 0.0000 0.000