Teorema 1.1 katakan X adalah sebuah random variable dan misalkan a, b, dan c adalah konstanta.

Kemudian untuk beberapa fungsi gi(x) dan g2(x) yang ekspektasinya ada(expectation exist)
a.

E [ a g1 ( X ) +b g2 ( X )+ c ]=aE g1 ( X ) +bE g2 ( X ) +c

b. Jika

g1 ( x ) 0 untuk semua

c. Jika

g1 ( x ) g2 ( x ) untuk semua

x , maka

d. Jika

a g 1 ( x ) b untuk semua

x , maka a Eg 1 ( X ) b

x , maka

Eg1 ( X ) 0
Eg1 ( X ) Eg2 ( X )

Moments dan moment generating function

Definisi 1.1 Untuk setiap n integer, moment ke-n dari

(atau

f X ( x ) ),

n , adalah

In=E [ X n ]

Moment sentral ke-n dari

n=E [ X ]

dimana

X ,

n , adalah

=1I =E [ X ]

Teorema 1.2 variance dari sebuah random variable X adalah moment sentral kedua (second central
moment),

Var [ X ] =E [ XE [ X ] ]

. Akar kuadrat dari

Var [ X ] adalah standar deviasi dari X.

Teorema 1.3 Jika X adalah random variable dengan varians tertentu, maka untuk konstanta a dan b
2

Var [ aX + b ] =a Var [ X ]
Varians dapat dihitung menggunakan
2

Var [ X ] =E [ X ] ( E [ X ] )

Sedangkan moment sentral ke tiga (3rd central moment) diketahui sebagai skewness dari sebuah distribusi
dan digunakan sebagai ukuran asimetris (measure of asymmetry). Jika sebuah distribusi adalah simetris
meannya

( f ( x )=f ( + x ) ) . Skewness akan bernilai 0. Jika nilai skewness tidak nol (non-zero),

distribusinya asimetris.
Moment sentral ke empat (4th central moment) adalah kurtosis. Digunakan sebagai ukuran dari
sebagaimana bobot ekor dari sebuah distribusi. Kurtosis dari distribusi normal adalah

Moment generating function (mgf), seperti yang digambarkan oleh namanya, mgf
dapat digunakan untuk membangkitkan moments (generate moments). Pada
prakteknya, hal ini lebih mudah dibeberapa persoalan untuk menghitung moment
secara langsung daripada menggunakan mgf. Bagaimanapun kegunaan utama dari
mgf adalah bukan untuk membangkitkan moments (generate moments), tetapi
untuk membantu dalam mengelompokkan sebuah distribusi. Sifat dari mgf ini dapat
menuntun kepada extremely powerful results jika digunakan dengan tepat.
The probability density function (variabel kontinyu) atau probability mass function
(variable diskrit) dari sebuah random variabel X berisi semua informasi tentang
variabel ini. Therefore, it seems that it should always be possible: Oleh karena itu,
ini terlihat bahwa harus selalu mungkin:

Untuk menghitung mean, varians, dan order moments yang lebih tinggi dari

X dari pdfnya (atau dari pmfnya untuk yang diskrit)

Untuk menghitung distribusi dari, katakan penjumlahan dari dua random
variable independent X dan Y yang distribusinya diketahui

Namun, pada prakteknya, ternyata bahwa perhitungan dari prinsip-prinsip pertama

sering sulit. Mgf kemudian dapat digunakan untuk membantu
Sebelum kita menggambarkan MGF, suatu penyimpangan kecil adalah dalam
susunan. The difficulty we just mentioned is not specific to Probability Theory.
Kesulitan kita hanya disebutkan tidak khusus untuk Teori Probabilitas. In fact, just
about any disciplin in Physics or Mathematics will run into the same problem sooner
or later: a certain property of a function f is needed, the equations are there, but
cannot be solved in a closed form. Bahkan, hampir semua disiplin dalam Fisika atau
2

Matematika akan berjalan ke dalam masalah yang sama cepat atau lambat yaitu
sebuah sifat tertentu dari fungsi f diperlukan, persamaan ada di sana, tetapi tidak
dapat diselesaikan dalam bentuk tertutup.
Sebuah ide yang kuat dan sangat umum, yang ada di bawah banyak samaran,
terdiri kemudian dalam perubahan fungsi asli f menjadi sebuah fungsi g terpilih
secara tepat dan baru,sedemikian rupa termasuk penghitungan sederhana pada g
akan membangun hasil yang diinginkan.
Kendalanya diolehkarenakan menghindar pada mengorbankan perubahan fungsi
asli f (original function) yang tepat. Cara ini digambarkan pada ilustrasi di bawah ini
The obstacle is therefore circumvented, at the expense of
appropriately transforming the original function f .

Gambar di sebelah kanan menggambarkan secara eksplisit dasar dari perubahan

sebuah fungsi (transformation of a function) yaitu:

transformation

Pertama, hitung g (function f

Kemudian lakukan penghitungan yang tepat pada g untuk menghasilkan

function g)

quantity Q yang diinginkan

Mgf dihasilkan dari sebuah transformasi dari pdf (atau pmf). Perubahan ini
didefinisikan sebagai berikut:
Muncul sebuah parameter baru t
Terbentuk Random variabel

E [ e tX ] . Ekspektasi dari

e tX

e tX

dihitung. Sebagai contoh, jika X radom variabel

berdistribusi kontinyu

E [ e tX ]= e tx f ( x ) dx
Dan untuk variable berdistribusi diskrit

Dimana

f (x)

adalah pdf dari random variabel X

Pengintegralan dilakukan terhadap x, oleh karena itu x tidak ditemukan pada hasil
akhir, yang ada hanya fungsi dari t. sedangkan pada variabel diskrit, indeks berjalan
untuk x, sehingga variable x juga tidak akan ditemukan pada penghitungn
ekspektasi itu, yang ada hanya fungsi dari t.

Jadi definisi dari moment generating function (mgf) dari variabel X atau dari pdf

f (x)

MX (t)

akan dinotasikan dengan

M (t )

atau

adalah

M X ( t ) =E [ etX ]

Dengan syarat ekspektasi dari

semua

pada

ada (exist) disekitar 0. Yaitu dimana

h untuk

h<t< h , E [ e tX ] ada (exist). Jika ekspektasinya tidak ada (does

not exist) di sekitar 0, kita dapat katakana bahwa moment generating functionnya
tidak ada (does not exist).
Teorema 1.4 Jika X mempunyai MGF

M X ( t ) , maka

E [ X n ]=M nX ( 0 )
Dimana didefinisikan

M X (n ) ( 0 )=

dn
M X (t )
n
dt
t =0

Yaitu moment ke-n adalah sama dengan turunan ke-n dari

M X (t)

pada saat

t =0
Bukti, asumsikan bahwa kita dapat menurunkan dibawah integral, kita dapatkan

d
d
M X ( t )= etx f X ( x ) dx
dt
dt

( dtd e ) f
tx

( x ) dx

( x etx ) f X ( x ) dx

E [ X etX ]
Jadi,

d
M ( t ) =E [ X etX ]|t=0=E [ X ]
dt X t=0
Maka,

d
M X ( t ) =E [ X n etX ]|t=0=E [ X n ]
n
dt
t=0
FX ( x )

Teorema 1.5 misalkan

a. Jika

semua

dan

dan

FY ( y ) adalah cdf yang mgfnya ada (exist)

F X ( u )=FY ( u )

mempunyai bounded support, maka

jika dan hanya jika

E [ X r ]=E [ Y r ]

untuk

untuk semua integer

r=0,1, 2, .
M X ( t ) =M Y ( t )

b. Jika mgf ada (exist) dan

F X ( u )=FY ( u )

untuk semua

untuk semua

disekitar 0, maka

u .

Teorema 1.5 (convergence of mgfs) misalan

{ X i , i=1,2, }

dari random variable, dengan mgfnya masing-masing

adalah sebuah urutan

M X ( t ) . Dapat dikatakan
i

bahwa

lim M X ( t )=M X ( t )
t

, untuk semua

disekitar 0
6

MX (t)

Dan

adalah sebuah mgf, maka ada sebuah cdf yang unik

momentnya dihasilkan oleh

MX (t)

untuk semua

dimana

FX

FX ( x )

yang
adalah

kontinyu, kita dapatkan

F X ( x )= F X ( x )
lim
i

Yaitu konvergen untuk

|t|<h , dari mgfs kepada sebuah mgf menyatakan

convergen of cdf
Teorema 1.6 untuk a dan b konstan, mgf dari random variable

aX =b

adalah

sebagai berikut

M aX +b (t )=ebt M X ( at )
Bukti

M aX +b (t )=E [ e( aX+ B )t ]
e bt E [ e( at ) X ]
e bt M X ( at )
2. Differentiating under an integral sign
Maksud dari bagian ini adalah untuk menggolongkan kondisi di bawah operator
logic. Kita juga akan membicarakan mengenai pertukaran order dari penurunan dan
penjumlahan. Banyak dari kondisi ini dapat dibuat menggunakan teorema standar
dari kalkulus.
Teorema 2.1 (leibruts rule) jika

f ( x ; ), a ( ), b ()

adalah turunan terhadap

maka
7

b ( )

d
d
d
d
f ( x , ) dx =f ( b ( ) , ) b ( )f ( a ( ) , )
a ( )+ f ( x , ) dx

d a ( )
d
d
d
a ()

Jika
b

b ()

dan

adalah konstanta, formula leibnitzs rule menjadi

d
d
f ( x , ) dx=
f ( x , ) dx

d a
a d
Jadi secara umum jika kita mempunyai integral dari sebuah fungsi turunan terhadap
sebuah rank tertentu, jika range dari integral adalah terbatas , bagaimanapun,
permasalahan dapat muncul.
Pertanyaannya adalah apakah penggantian dari order dari differentiation dan
pengintegralan dibenarkan merupakan pertanyaan apakah limit dan pengintegralan
dapat saling mengganti, karena sebuah turunana merupakan sebuah jenis limit
yang mungkin. Katakana bahwa jika

f ( x , ) dapat diturunkan (differentiable),

maka

f ( x ,+ )f ( x , )

f ( x , )=lim

0
jadi kita dapatkan

f ( x ,+ ) f ( x , )

f ( x , ) dx= lim
dx

Sedangkan

f ( x , + )f ( x , )
d
f ( x , ) dx=lim
dx

Semua teorema berikutnya berhubungan dengan dengan lebesgues dominated

convergence theorem.

Teorema 2.2 misalkan fungsi

sebuah fungsi

g (x )

i.|h ( x , y )| g ( x )

h(x, y)

adalah pada

y0

untuk setiap x, dan ada

yang memenuhi

untuk semua

dan

ii . g ( x ) dx < .

Maka

lim

h ( x , y ) dx= lim h ( x , y ) dx

y y 0

y y 0

Kondisi kunci pada teorema ini adalah keberadaan dari fungsi

g ( x ) , dengan

sebuah integral tertentu, yang meyakinkan bahwa integralnya tidak berlaku buruk.
Teorema 2.3 misalkan

lim

f ( x , ) dapat diturunkan pada

f ( x ,+ ) f ( x , )
=
f (x , )

Ada untuk setiap

konstanta

0> 0

= 0

yaitu

x , dan disana ada sebuah fungsi

g ( x , 0 ) dan sebuah

yaitu

i.

f ( x , + )f ( x , )
g ( x , 0 ) ,untuk semua x dan| | 0 ,

ii

g ( x , 0 ) dx < .

Maka

f ( x , ) dx|= =
f ( x , )| = dx .

d

0

Penting untuk menyadari bahwa walaupun kita terlihat memperlakukan

sebagai sebuah variable, pernyataan dari teorema itu adalah untuk suatu nilai dari

. Yaitu, untuk setiap nilai

(differentiable) pada

= 0

yang mana

dan memenuhi kondisi

f ( x , )

(i)

dan

dapat diturunkan

( ii ) , urutan dari

integral dan turunan dapat saling mengganti.

Formula di atas dapat juga ditulis

f ( x , ) dx=
f ( x , ) dx

Mgf dari beberapa distribusi

MGF Distribusi Binomial
Mx(t) = E(etx)
n

etx (nx ) p x (1 p)n x

x=0

10

pe

n
x

()
n

x=0

pet +1p

MGF Distribusi Bernoulli

Mx(t) = E(etx)
1

etx f ( x)

etx p x ( 1 p)1x

x=0

x=0

pet

x=0

pet
pet

= [( q + [( q

q+ pe

Distribusi poisson
11

e
F(x)= x !

x=0,1,...

tx
Mx(t)=E( e )

etx e x !

x=0

e
x
( t)
x!
n

x=0

e
= e e

(e 1)
= e

Distribusi Uniform UNIF(a,b)

1
F(x)= ba

a<x<b

tx
Mx(t)= E( e )

e tx F ( x )

1
dx
e tx ba

12

1
etx dx
= ba
b

1
e tx dx
= ba
a
1 1 tx b
e |
= ba t a
1 1 t(ba )
= ba t e
1

= t (ba)

et (ba)

Distribusi geometrik GEO(p)

x1
F(x)=p q

x=1,2,...

tx
Mx(t)= E( e )

etx p
x=1

q x1

p
tx x
e q
= q
x=1

13

q et

q et

=
q e t +
p

q
p q et
= q (1q et )
p et
= (1q et )

Negative Binomial NB ( k , p )
x 1 p q
[
F(x)= k1 ]
k

xk

x=k,k=1,...

tx
Mx(t)= E( e )

k+n

x
k
p k ( 1 p ) ( 1 p ) e tx
(kx1
)
1
x=k

p
q

=(

x1 ( q e tx ) x
k 1

( )

k +n

k
x=k

14

p
q
et
q
=(
)

2
k
(
k
+1
)
t
(q et ) +
1+kq e +
2!
k
p
q
et
q

=(
1q et

k
pk ( q et )

= qk (1q e t )k

p et
1q et

MGF Distribusi Gamma

Mx(t) = E(etx)

e ( 1) x 1 e dx
0

( t )x
1
x 1 e
dx

() 0

tx

( )
1

() 1
( t)

15

( )
1
( ) (1t )

1t

16

Fungsi karakteristik
Diberikan sebuah subset A dari sebuah set yang besar, fungsi karakteristik
didefinisikan identik satu pada pada

XA

dan nol untuk lainnya. Fungsi karakteristik

kadang-kadang dinotasikan dengan menggunakan yang dinamakan Iverson bracket,

dan dapat berguna untuk descriptive devices karena hal itu akan mudah untuk
diucapkan, contohya, characteristic function of the primes lebih baik dari pada
mengulang sebuah definisi yang telah diberikan. Sebuah fungsi karakteristik adalah
kasus khusus dari simple function.
Istilah fungsi karaktristik digunakan dengan cara berbeda di peluang, dimana
dinotasikan dengan

(t)

dan didefinisikan sebagai fourier transformation dari pdf

menggunakan fourier transform parameters

( a , b ) =( 1,1 )

( t )=F X [ P ( x ) ] ( t )

e itx P ( x ) dx

1
P ( x ) dx +it xP ( x ) dx + ( it )2 x2 P ( x ) dx +
2

k=0

(i t )k '

k! k

1
1
1
1+ it '1 t 2 '2 it 3 '3+ t 4 '4 +
2
3!
4!

Dimana

(kadang dinotaasikan dengan

) adalah moment ke n disekitar 0 dan

(Abramowitz and Stegun 1972, p. 928; Morrison 1995).

17

Sebuah distribusi statistic tidak di golongkan secara unik oleh momentnya, tetapi
adalah oleh fungsi karakteristiknya jika semua momentnya terhingga dan series
untuk fungsi karakteristiknya secara absolute konvergen didekat origin (Papoulis
1991, p. 116). Pada kasus ini pdfnya diberikan sebagai berikut

(Papoulis 1991, p. 116).

Fungsi karakteristik dapat juga digunakan untuk mengenerate raw moments,

Atau cumulants

18