REGRESI LINEAR

SEDERHANA
Hendro Widjanarko
Jurusan Manajemen
UPN Veteran Yogyakarta
Latar Belakang
Terdapat kejadian kejadian , kegiatan-
kegiatan, atau masalah- masalah yang saling
berhubungan satu sama lain
Dibutuhkan analisis hubungan antara
kejadian tersebut
Perlu dibahas mengenai bentuk hubungan
yang ada atau diperkirakan ada antara kedua
peubah tersebut
Pengertian
Untuk mengukur besarnya pengaruh variabel bebas terhadap
variabel tergantung dan memprediksi variabel tergantung dengan
menggunakan variabel bebas. Gujarati (2006) mendefinisikan
analisis regresi sebagai kajian terhadap hubungan satu variabel
yang disebut sebagai variabel yang diterangkan (the explained
variabel) dengan satu atau dua variabel yang menerangkan (the
explanatory). Variabel pertama disebut juga sebagai variabel
tergantung dan variabel kedua disebut juga sebagai variabel
bebas. Jika variabel bebas lebih dari satu, maka analisis regresi
disebut regresi linear berganda. Disebut berganda karena
pengaruh beberapa variabel bebas akan dikenakan kepada
variabel tergantung.
Tujuan
Tujuan menggunakan analisis regresi ialah
Membuat estimasi rata-rata dan nilai variabel
tergantung dengan didasarkan pada nilai
variabel bebas.
Menguji hipotesis karakteristik dependensi
Untuk meramalkan nilai rata-rata variabel
bebas dengan didasarkan pada nilai variabel
bebas diluar jangkaun sample.
Asumsi
Penggunaan regresi linear sederhana didasarkan pada asumsi
diantaranya sbb:
Model regresi harus linier dalam parameter
Variabel bebas tidak berkorelasi dengan disturbance term (Error)
.
Nilai disturbance term sebesar 0 atau dengan simbol sebagai
berikut: (E (U / X) = 0
Varian untuk masing-masing error term (kesalahan) konstan
Tidak terjadi otokorelasi
Model regresi dispesifikasi secara benar. Tidak terdapat bias
spesifikasi dalam model yang digunakan dalam analisis empiris.
Jika variabel bebas lebih dari satu, maka antara variabel bebas
(explanatory) tidak ada hubungan linier yang nyata
Persyaratan Penggunaan Model
Regresi
Model kelayakan regresi linear didasarkan pada hal-hal sebagai
berikut:
Model regresi dikatakan layak jika angka signifikansi pada
ANOVA sebesar < 0.05
Predictor yang digunakan sebagai variabel bebas harus layak.
Kelayakan ini diketahui jika angka Standard Error of Estimate <
Standard Deviation
Koefesien regresi harus signifikan. Pengujian dilakukan dengan
Uji T. Koefesien regresi signifikan jika T hitung > T table (nilai
kritis)
Tidak boleh terjadi multikolinieritas, artinya tidak boleh terjadi
korelasi yang sangat tinggi atau sangat rendah antar variabel
bebas. Syarat ini hanya berlaku untuk regresi linier berganda
dengan variabel bebas lebih dari satu.
Tidak terjadi otokorelasi. Terjadi otokorelasi jika angka Durbin dan Watson (DB)
sebesar < 1 dan > 3
Keselerasan model regresi dapat diterangkan dengan menggunakan nilai r2
semakin besar nilai tersebut maka model semakin baik. Jika nilai mendekati 1
maka model regresi semakin baik. Nilai r2 mempunyai karakteristik diantaranya:
1) selalu positif, 2) Nilai r2 maksimal sebesar 1. Jika Nilai r2 sebesar 1 akan
mempunyai arti kesesuaian yang sempurna. Maksudnya seluruh variasi dalam
variabel Y dapat diterangkan oleh model regresi. Sebaliknya jika r2 sama
dengan 0, maka tidak ada hubungan linier antara X dan Y.
Terdapat hubungan linier antara variabel bebas (X) dan variabel tergantung (Y)
Data harus berdistribusi normal
Data berskala interval atau rasio
Kedua variabel bersifat dependen, artinya satu variabel merupakan variabel
bebas (disebut juga sebagai variabel predictor) sedang variabel lainnya variabel
tergantung (disebut juga sebagai variabel response)

Linieritas
Ada dua macam linieritas dalam analisis
regresi, yaitu linieritas dalam variabel dan
linieritas dalam parameter. Yang pertama,
linier dalam variabel merupakan nilai rata-
rata kondisional variabel tergantung yang
merupakan fungsi linier dari variabel
(variabel) bebas. Sedang yang kedua, linier
dalam parameter merupakan fungsi linier
parameter dan dapat tidak linier dalam
variabel.
Uji Hipotesis
Pengujian hipotesis dapat didasarkan dengan menggunakan dua
hal, yaitu: tingkat signifikansi atau probabilitas () dan tingkat
kepercayaan atau confidence interval. Didasarkan tingkat
signifikansi pada umumnya orang menggunakan 0,05. Kisaran
tingkat signifikansi mulai dari 0,01 sampai dengan 0,1. Yang
dimaksud dengan tingkat signifikansi adalah probabilitas
melakukan kesalahan tipe I, yaitu kesalahan menolak hipotesis
ketika hipotesis tersebut benar. Tingkat kepercayaan pada
umumnya ialah sebesar 95%, yang dimaksud dengan tingkat
kepercayaan ialah tingkat dimana sebesar 95% nilai sample
akan mewakili nilai populasi dimana sample berasal. Dalam
melakukan uji hipotesis terdapat dua hipotesis, yaitu:
H0 (hipotessis nol) dan H1 (hipotesis alternatif)

Contoh uji hipotesis misalnya rata-rata
produktivitas pegawai sama dengan 10 ( x=
10), maka bunyi hipotesisnya ialah:
H0: Rata-rata produktivitas pegawai sama
dengan 10
H1: Rata-rata produktivitas pegawai tidak
sama dengan 10

Hipotesis statistiknya:
- H0: x= 10
- H1: x > 10 Untuk uji satu sisi (one tailed) atau
- H1: x < 10
- H1: x ? 10 Untuk uji dua sisi (two tailed)

Beberapa hal yang harus diperhatikan dalam uji hipotesis ialah;
- Untuk pengujian hipotesis kita menggunakan data sample.
- Dalam pengujian akan menghasilkan dua kemungkinan, yaitu pengujian
signifikan secara statistik jika kita menolak H0 dan pengujian tidak signifikan
secara statistik jika kita menerima H0.
- Jika kita menggunakan nilai t, maka jika nilai t yang semakin besar atau menjauhi
0, kita akan cenderung menolak H0; sebaliknya jika nila t semakin kecil atau
mendekati 0 kita akan cenderung menerima H0.

Menggunakan kurva untuk menguji hipotesis dapat digambarkan sebagai berikut:
a) Untuk uji dua sisi












0

Area
penerimaan

= 2,5%

= 2,5%

95%


a) Untuk uji sebelah kanan











0

Area
penerimaan

= 5%

95%


a) Untuk uji sebelah kiri












0

Area
penerimaan

= 5%

95%

Karakteristik Model yang Baik
Model dikatakan baik menurut Gujarati (2006), jika memenuhi beberapa kriteria
seperti di bawah ini:
Parsimoni: Suatu model tidak akan pernah dapat secara sempurna menangkap
realitas; akibatnya kita akan melakukan sedikit abstraksi ataupun
penyederhanaan dalam pembuatan model.
Mempunyai Identifikasi Tinggi: Artinya dengan data yang ada, parameter-
parameter yang diestimasi harus mempunyai nilai-nilai yang unik atau dengan
kata lain, hanya akan ada satu parameter saja.
Keselarasan (Goodness of Fit): Tujuan analisis regresi ialah menerangkan
sebanyak mungkin variasi dalam variabel tergantung dengan menggunakan
variabel bebas dalam model. Oleh karena itu, suatu model dikatakan baik jika
eksplanasi diukur dengan menggunakan nilai adjusted r2 yang setinggi
mungkin.
Konsitensi Dalam Teori: Model sebaiknya segaris dengan teori. Pengukuran
tanpa teori akan dapat menyesatkan hasilnya.
Kekuatan Prediksi: Validitas suatu model berbanding lurus dengan kemampuan
prediksi model tersebut. Oleh karena itu, pilihlah suatu model yang prediksi
teoritisnya berasal dari pengalaman empiris.
Bentuk Hubungan ????
REGRESI
APA YANG DIUKUR DARI
HUBUNGAN TERSEBUT
Bagaimana hubungan fungsional dua
kejadian tersebut atau bagaimana
persamaan matematis yang
mempresentasikan hubungan dua kejadian
tersebut ( analisis regresi)
Bagaiman kekuatan atau keeratan
hubungan dua kejadian tersebut (analisis
korelasi)
Dua variabel dalam regresi
Variabel bebas X
Variabel terikat Y
UKURAN DALAM REGRESI
Koefisien Regresi
mengukur besarnya pengaruh X
terhadap Y
Koefisien korelasi
mengukur Kuat tidaknya hubungan X dan Y

UJI HIPOTESIS DALAM REGRESI
uji keberartian koefisien regresi
Uji keberartian model regresi / Uji linearitas
Uji Korelasi
JENIS REGRESI LINEAR
SEDERHANA
Linear positif
Linear negatif
APA ITU GARIS REGRESI?
Garis linear yang menunjukan pola hubungan
antara dua variabel misalnya variabel X dan
Y sebenarnya hanya merupakan garis
taksiran yang dipakai untuk mewakili pola
sebaran data tersebut
MODEL REGRESI LINEAR
SEDERHANA
Y = o+ |X + c
Dimana
c adalah error random (kasalahan
pengganggu)
c ~ N ( 0, o2 ).
METODE KUADRAT TERKECIL
kesalahan tidak dapat dihilangkan sama
sekali, maka resiko betapapun kecilnya
selalu ada.
Resiko hanya bisa diperkecil dengan
memperkecil kesalahan
persamaan garis regresi yang paling baik
adalah persamaan garis regresi yang
mempunyai total kuadrat kesalahan kecil

2
) Y (Y

TOTAL KUADRAT KESALAHAN

2
) Y (Y

No. Subyek Var. Bebas (X) Var. Terikat (Y)
1 x
1
y
1
2 x
2
y
2
3 x
3
y
3
n x
n
y
n
MODEL DARI n DATA
y
i
= o+ |x
i
+ c
i
, untuk i = 1,2, . . ., n
c
i
= y
i
- o - |x
i
(c
i
)
2
= ( y
i
- o - |x
i
)
2

J=
( )

= =
=
n
i
n
i
i i i
x y
1 1
2
2
) ( | o c
J Diturunan terhadap o dan |
0 ) ( 2
1
= =
c
c

=
i
n
i
i
x y
J
| o
o
0 ) ( 2
1
= =
c
c

=
i i
n
i
i
x x y
J
| o
|
Persamaan baru
0
1 1
=

= =
n
i
i
n
i
i
x n y | o
0
1
2
1 1
=

= = =
n
i
i
n
i
i
n
i
i i
x x x y | o
a dan b taksiran dari o dan |


= =
= =
=
=
n
i
i
n
i
i
n
i
i
n
i
i
x b y na
x b na y
1 1
1 1
0

= =
=
n
i
i
n
i
i
n
x
b
n
y
a
1 1
x b y a =
AKIBAT
0
0 ) (
0
1
2
1 1 1
1
2
1 1
1
2
1 1
= +
=
=



= = = =
= = =
= = =
n
i
i
n
i
i
n
i
n
i
i i i
n
i
i
n
i
i
n
i
i i
n
i
i
n
i
i
n
i
i i
x b x x b x y x y
x b x x b y x y
x b x a x y
0
1 1
1
2
1 1 1 1 1
= +

= = = = = =
n
i
i
n
i
i
n
i
i
n
i
n
i
i
n
i
i i i
x b x x
n
b x y
n
x y

= = = = =
=
|
|
.
|

\
|
|
.
|

\
|

n
i
i
n
i
i
n
i
i i
n
i
i
n
i
i
x y
n
x y x
n
x b
1 1 1
2
1 1
2
1 1
Hasil
2
1 1
2
1 1 1
1
1
|
.
|

\
|

=


= =
= = =
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i i
x
n
x
x y
n
x y
b
2
1 1
2
1 1 1
|
.
|

\
|

=


= =
= = =
n
i
i
n
i
i
n
i
i
n
i
i
n
i
i i
x x n
x y x y n
b
RUMUSAN LAIN
2
1
2
1
x n x
x y n x y
b
n
i
i
n
i
i i

=
=
( )( )
( )

=
=

=
n
i
i
n
i
i i
x x
x x y y
b
1
2
1
SIMPANGAN KUADRAT X DAN Y
( )
2
1 1
2
2
1
1
|
.
|

\
|
= = =

= = =
n
i
i
n
i
n
i
i xx xx
x
n
x x x S J
i
( )
2
1 1
2
2
1
1
|
.
|

\
|
= = =

= = =
n
i
i
n
i
n
i
i yy yy
y
n
y y y S J
i
( )( )

= = = =
= = =
n
i
i
n
i
i
n
i
i i
n
i
i i xy xy
y x
n
y x y y x x S J
1 1 1 1
1
AKIBAT
xy
xx
J
J
b =
JUMLAH KUADRAT
Jumlah kuadrat total (JKT)
Jumlah kuadrat regresi (JKR)
Jumlah kuadrat sesatan (JKS)
JUMLAH KUADRAT TOTAL (JKT)
( )
2
1 1
2
2
1
1
|
.
|

\
|
= = =

= = =
n
i
i
n
i
n
i
i yy yy
y
n
y y y S J
i
JUMLAHKUADRAT REGRESI (JKR)
( ) ( ) ( ) ( )

= =
+ + =
n
i
i
n
i
i
x b a bx a y y
1
2
1
2

( )
( )

=
=
=
=
n
i
i
n
i
i
x x b
x b bx
1
2
2
1
2
= b
2
J
xx
= b J
xy

JUMLAH KUADRAT SESATAN (JKS)
( ) ( )

= =
=
n
i
i i
n
i
i i
bx a y y y
1
2
1
2

( ) ( )
( ) ( )
{ }

=
=
=
+ =
=
=
n
i
i i i i
n
i
i i
n
i
i i
x x b x x b y y y y
x x b y y
bx x b y y
1
2 2 2
1
2
1
2
) ( ) ( ) ( 2 ) (
( )
LANJUTAN JKS
( ) ( )( ) ( )
xy yy
xx xy yy
n
i
i
n
i
i i
n
i
i
bJ J
J b bJ J
x x b x x y y b y y
=
+ =
+ =

= = =
2
1
2
1 1
2
2
2
2
=Jyy - bJxy
HUBUNGAN JKT, JKR, JKS
JKT = JKR + JKS
DERAJAT KEBEBASAN(DK)
MASING-MASING JK
Derajat kebebasan untuk JKT adalah n -1
Derajat kebebasan untuk JKR adalah 1
Derajat kebebasan untuk JKS adalah n -2
HUBUNGAN DK
(n -1) = (n -2) + 1
RATA-RATA JUMLAH KUADRAT
(RJK)
kuadrat tengah / kuadrat rata- rata /rata-rata
jumlah kuadrat didefinisikan dengan jumlah
kuadrat dibagi oleh derajat bebasnya
dinamakna

..
..
..
DK
JK
RJK =
JENIS-JENIS RJK
RJK REGRESI (RJKR)
RJKR = JKR
RJK SESATAN (RJKS)

2 n
JKS
RJKS

=
Ringkasan
Analisis regresi berbeda dengan analisis korelasi. Jika analisis
korelasi digunakan untuk melihat hubungan dua variable; maka
analisis regresi digunakan untuk melihat pengaruh variable
bebas terhadap variable tergantung serta memprediksi nilai
variable tergantung dengan menggunakan variable bebas.
Dalam analisis regresi variable bebas berfungsi untuk
menerangkan (explanatory) sedang variable tergantung
berfungsi sebagai yang diterangkan (the explained). Dalam
analisis regresi data harus berskala interval atau rasio.
Hubungan dua variable bersifat dependensi. Untuk
menggunakan analisis regresi diperlukan beberapa persyaratan
yang harus dipenuhi.
Pertanyaan

Apa yang dimaksud dengan analisis regresi?
Apa tujuan kita menggunakan analisis regresi?
Apa perbedaan dasar antara regresi linier sederhana dan
regresi linier berganda?
Sebutkan asumsi dalam analisis regresi?
Sebutkan persyaratan dalam menggunakan analisis regresi?
Apa yang dimaksud dengan linieritas dalam analisis regresi?
Ada berapa jenis hipotesis dalam analisis regresi?
Bagaimana menguji suatu model regresi dikatakan sudah
baik?
Terangkan uji hipotesis dua sisi dan satu sisi?
Sebutkan syarat-syarat model yang baik?