REGRESI LINEAR DAN KORELASI

REGRESI LINEAR
 http://duktek.del.ac.id/software/Utilities/
 Pendahuluan
Dalam praktek, kita sering dihadapkan dengan persoalan yang
menyangkut sekelompok peubah bila diketahui bahwa
diantara peubah tersebut terdapat suatu hubungan alamiah.
Dua analisis : (1) Analisis Regresi (2) Analisis Korelasi
Analisis Regresi : Untuk mengetahui regresi yang dapat
digunakan untuk memprediksi variabel Y (variabel dependent)
dari variabel X1, X2, ... , Xk (variabel independent)
Analisi Korelasi : untuk menemukan keeratan hubungan
antara variabel X1, X2, ... , Xk and variabel Y.
 Analisis Regresi
Jadi, analisis regresi adalah alat statistika
untuk mengevaluasi hubungan antara :
Satu peubah dengan peubah lainnya
Satu peubah dengan beberapa peubah lainnya
 Variabel X : Variabel bebas, Independent
Variable Y : Variabel terikat, bergantung pada
x.
Variabel sering juga disebut sebagai Peubah
 Contoh
Tentukan yang mana peubah bebas dan mana
peubah terikat jika kita ingin mengetahui apakah
ada hubungan antara variabel tsb.
Dosis pupuk mempengaruhi banyaknya padi
yang dihasilkan
Banyaknya barang yang terjual per minggu
dipengaruhi oleh ada tidaknya hari libur dan
harga barang.
 Regresi Linear sederhana
Regresi linear dengan hanya satu peubah
bebas X dan satu peubah terikat Y.
 Regresi Linier Sederhana
membangun model linier sedemikian rupa
sehingga nilai-nilai variabel Y dapat diprediksi
dari nilai-nilai dari satu variabel X.
Data disajikan sebagai n pasangan terurut dari
pengamatan independent (Xi, Yi), i = 1, 2, ..., n;
dimana Xi adalah nilai dari variabel
independent ke-i, dan Yi adalah nilai dari
variabel dependent ke-i
 Contoh
No\Mata Kuliah Bahasa Inggris (X) Matematika (Y)
Diagram Pencar
 Model Regresi Linear Sederhana di
Populasi
Yi Xi i
= nilai ke-i dari variabel Y
= konstanta, rata-rata Y jika nilai
semua X adalah nol.
= konstanta, koefisien regresi Y pada X
= eror ke-i
diperoleh dari a pada sampel
diperoleh dari b pada sampel
diperoleh dari ei
 Koefisien Regresi
Koefisien regresi dan merupakan dua
parameter yang akan ditaksir agar kita
memperoleh persamaan linear populasi.
Taksiran untuk kedua parameter ini
selanjutnya dinyatakan dengan a dan b.
Garis Regresi Sederhana dari Sampel
Y a bX
adalah nilai prediksi, diprediksi dari nilai tertentu
Biasanya nilai prediksi dari Y tidak sama dengan nilai
sebenarnya
Perbedaan antara nilai prediksi dan nilai sebenarnya
disebut eror dan dilambangkan dengan e pada
sampel.

ei Yi Yi
 Metode Kuadrat Terkecil
Akan dicari a dan b, taksiran dari dan , sehingga jumlah kuadrat
sisa minimum.
Cara meminimumkan penaksir parameter disebut metode kuadrat
terkecil.
Jadi a dan b akan dicari sehingga meminimumkan jumlah kuadrat
galat (JKG).

= 2 = 2

=1 =1
Dengan menggunakan teorema dalam kalkulus, JKG akan minimum
jika nilai a dan b adalah :

Y X 2 X XY

a
n X 2 X 2
n XY X Y
b
n X 2 X 2

 Contoh
ING (X) MATH (Y)
 Contoh

Garis Regresi : = 29.529 + 0.897

Diagram Pencar
 Selanjutnya
Hasil pemeriksaan diagramj pencar
menunjukkan bahwa titiknya mendekati suatu
garis lurus, menunjukkan bahwa anggapan
kelinearan antara kedua peubah kelihatannya
wajar.
Perlu diingat bahwa a dan b hanya taksiran
untuk parameter sebenarnya. Agar inferensi a
alpa dan beta dapat dibuat, maka perlu
ditaksir parameter sigma 2 nya.
 Jumlah Kuadrat

= 2

Y Y Y Y
2

2

= JKR + JKG

JKT = Jumlah Kuadrat Total

JKR = Jumlah kuadrat regresi
JKG = jumlah kuadrat galat
 FORMULA KOMPUTASI
2

= 2

2

= +

= 2
 Perlu diingat bahwa nilai dan hanya
taksiran untuk parameter dan
Agar inferensi mengenai dan dapat
dibuat, maka perlu ditaksir parameter 2
Parameter 2 menggambarkan variasi acak
atau variasi galat percobaan di sekitar garis
regresi
 Dalam menurunkan penaksir untuk 2 , diperkenalkan
lambang berikut
2

( =1 )
2 2
= =

=1 =1
2
(
2 =1 )
= = 2

=1 =1

( )
=1 =1
= ( ) =

=1 =1
=
Dengan JKG menyatakan Jumlah Kuadrat Galat
 Teorema
Suatu taksiran tak bias untuk 2 adalah
2

= =
2 2
 Inferensi Mengenai Koefisien Regresi
a. Selang Kepercayaan Untuk
Suatu selang kepercayaan sebesar (1-)100%
untuk parameter dalam persamaan garis
regresi = + adalah

2 2
< <+

Dalam rumus ini, menyatakan distribusi t
2
dengan derajat kebebaan n-2.
 Inferensi Mengenai Koefisien Regresi
b. Selang kepercayaan untuk .
Suatus elang kepercayan (1-)100% untuk
parameter dalam persamaan garis regresi
= + adalah
2 2

=1
=1
2 2
<<+

Dalam rumus ini, menyatakan distribusi t dengan
2
derajat kebebaan n-2.
 Pendekatan Melalui Analisis Variansi
Seringkali penilaian atas baik tidaknya taksiran
garis regresi dilakukan melalui analisis
variansi.
Analisis Variansi yang kita pelajari kali ini
adalah analisis variansi satu arah (eka arah)
ANAVA SATU JALAN
 Asumsi
Asumsi berikut harus dipenuhi ketika kita akan menggunakan Anava

Sample dipilih secara acak

Populasinya saling bebas
Semua populasi berdistribusi normal
Semua populasi punya viansi yang sama
 Model Data Populasi
= + +
dimana
= data ke-i dari populasi ke-j
= rata-rata dari semua data
= = pengaruh perlakuan untuk populasi ke-j
= =penyimpangan dari rataan populasi
= Eror yang bersesuaian dengan = galat
Simpangannya berdistribusi normal dengan rata-rata 0 dan
variansinya 2
= 1,2,3, ,
= 1,2,3, ,
= urutan perlakuan.
 Contoh Pengantar
Misalkan dalam suatu percobaan seorang
insinyur ingin menyelidiki bagaimana rataan
penyerapan uap air dalam beton (apakah
sama atau berubah) di antara 5 adukan beton.
Masing-masing adukan berbeda dalam
komponen tertentu. Dari tiap adukan di ambil
6 sampel untuk diuji, sehingga ada 30 sampel
yang kita peroleh. Datanya seperti tabel
berikut
Model untuk masalah ini adalah sbb. Ada enam pengamatan
yang diambil dari 5 populasi dengan rataan 1 , 2 , , 5 .
Hipotesis yang ingin diuji
0 : 1 = 2 = = 5
1 : paling sedikit dua diantara rataan tersebut tidak sama
 K Sampel Acak
Perlakuan
Sampel Ke 1 2 ... k
1 11 12 1
21 22 2

1 2
Jumlah 1 2 . .
Rataan 1 2 . .

Disini menyatakan jumlah semua pengamatan dalam

sampel dari perlakuan ke i
1 menyatakn rataan semua pengamatan dalam sampel dari
perlakuan ke
. . Jumlah semua nk pengamatan
rataan semua nk pengamatan
k: jumlah perlakuan
 Hipotesis Secara Umum

0 : 1 = 2 = =
1 : paling sedikit dua diantara rataan tersebut
tidak sama

Catatan :
Jangan menuliskan yang berikut:
0 : 1 = 2 = =
1 : 1 2
 JKT, JKA, JKG
Teorema : Identitas Jumlah Kuadrat.
Jumlah Kuadrat Total (JKT)

= ( )2
=1 =1

2
= . . + ( )2
=1 =1 =1

Jumlah Kuadrat
Perlakuan Jumlah Kuadrat Galat
(JKA) (JKG)
 JKT, JKA, JKG

2
= . .
=1

= ( )2
=1 =1

= + = ( )2
=1 =1
 Formula Komputasi

2
2
=

=1 =1
2

=1 2
=

=

dimana = . . = Jumlah total

 Tabel Anava
Sumber Jumlah Derajat Rataan ; , Keputusan
Variansi Kuadrat Kebebasan kuadra
t
Perlakuan JKA 1 Lihat di 0 diterima
tabel atau ditolak
= =
1
Galat JKG ( 1)
- - -
=
( 1
Total JKT nk-1 - - - -

Daerah Kritis : Dengan kata lain, Jika

DK = > ; 1, Fhitng lebih besar dari F
Keputusan Tes : tabel, maka H0 ditolak
1. 0 ditolak jika
2. 0 diterima jika
 Ingat Kembali, Prosedur pengujian hipotesis

Anggap hipotesis berbentuk = =

1. Tuliskan hipotesis nol 0 : = 0
2. Pilih hipotesis tandingan 1 yang sesuai dari
salah satu < 0 , > 0 atau 0
3. Pilih taraf signifikansi berukuran
4. Pilih uji statistik yang sesuai dan tentukan
daerah kritisnya berdasarkan
5. Hitunglah nilai uji statistik dari data sampel
6. Keputusan : tolak 0 bila uji statistik tersebut
mempunyai nilai dalam daerah kritis, sebaliknya
terima 0 .
 Contoh
Uji hipotesis untuk permasalahan sebelumnya dengan
taraf keberartian = 0,05 adalah sebagai berikut :
1. 0 : 1 = 2 = = 5
2. 1 : paling sedikit dua diantara rataan tersebut tidak
sama
3. = 0,05
4. > 2,76 dengan 1 = 4 dan 2 = 25
5. Hitung : JKT , JKG. Diperoleh = 4,30
6. Kesimpulan : Tolak 0 dan simpulkan bahwa kelima
adukan tidak mempunyai rata-rata penyerapan yang
sama.