Escuela Colombiana de Ingeniera

Programa de Economa
Modelos Univariados de Series de Tiempo y
Pronstico
Basado en captulo 3 de Franses et al (2014)

Martes 30 de agosto de 2016.

1

Procesos estocsticos
Definicin 1: Un proceso estocstico es una
sucesin de variables aleatorias ordenadas en
el tiempo (en el caso de series temporales).
Definicin 2: Una serie temporal es una
realizacin del proceso estadstico, es decir, es
una observacin de T variables aleatorias
ordenadas en el tiempo.

Estacionariedad
Definicin:
Un
proceso
estocstico
es
estacionario en sentido estricto o fuerte cuando
la distribucin de probabilidad conjunta de
cualquier parte de la secuencia de variables
aleatorias es invariante del tiempo.

F ( xt , xt 1 ,..., xt k ) F ( xt , xt 1 ,..., xt k )
El modelo probabilstico de la serie no
cambia a travs del tiempo.

Estacionariedad
Definicin: Un proceso estocstico es
estacionario en sentido dbil si los
momentos del primero y segundo orden
de la distribucin (esperanzas, varianzas,
covarianzas) son constantes a largo del
tiempo.
E ( xt ) ,
para todos los t .
E ( xt t ) 2 2

E xt t xt t ,

para todos t y .

Estacionariedad
Definicin: Homogenizacin de una serie
temporal es cuando a travs de una
transformacin la serie temporal es
estacionaria.
Queremos tener una serie temporal con
una media y varianza (ms o menos)
constante a largo del tiempo.

Estacionariedad

Las funciones de autovarianza y

autocorrelacin
Funciones de autocorrelacin miden la
relacin lineal entre variables aleatorias
de procesos separadas de una cierta
distancia en el tiempo.
Estimacin de estas funciones permiten
determinar la forma del procesos
estocstico.

Las funciones de autovarianza y

autocorrelacin
La funcin de autocovarianza
t , Cov ( yt , yt ) E[( yt t )( yt t )]
...,1,0,1,...

Si el proceso es estacionario, su esperanza

es constante a largo del tiempo, y la
funcin de autocovarianza no depende del
momento en tiempo, es decir:

E[( yt )( yt )]

Las funciones de autovarianza y

autocorrelacin
Para cada retardo hay un valor diferente
para la funcin de autocovarianzas,
autocovarianza de orden .
Funcin de autocorrelacin simple (FAS),
t ,
E[( yt t )( yt t )]
t ,

2
2
t t
E ( yt t ) E ( yt t )

Las funciones de autovarianza y

autocorrelacin
Si el proceso es estacionario, los
momentos de segunda orden no depende
de t .
E[( yt )( yt )]

0
E ( yt ) 2

Una correlograma ensea la FAS en

funcin de .

Las funciones de autovarianza y

autocorrelacin
La funcin de autocorrelacin parcial
(FAP) ensea la relacin lineal cuando se
ha eliminado la correlacin que estas
variables tienen con otras variables o con
la misma variable. Corrige por el efecto
intermedio de la variable.
kk Corr ( yt , yt k | yt 1 ,..., yt k 1 )

Las funciones de autovarianza y

autocorrelacin
Cov (( yt y t ), ( yt k y t k ))
kk
Var ( yt y t )Var ( yt k y t k )

Se puede obtener los coeficientes de FAS a

travs regresiones. y y v
t

11 t 1

yt 21 yt 1 22 yt 2 vt

yt k1 yt 1 k 2 yt 2 ... kk yt k vt

xt

Nota: Si la esperanza de
no es cero, hay
que aadir una constante en cada regresin.

Estimacin de los momentos

mustrales
Para un proceso estocstico estacionario con
ergodicidad (muestras finitas), con una sola
serie temporal, podemos estimar;

La funcin de autocovarianza
La funcin de autocovarianza se puede
estimar a travs de la funcin de
autocovarianza muestral:
T

T 1 ( yt y )( yt y )
t 1

Funcin de autocorrelacion simple

Funcin de autocorrelacion simple
muestral,
T

(y
t 1

y )( yt y )

2
(
y

y
)
t
t 1

Procesos de ruido blanco

Definicin:
T

t t 1
es un proceso estocstico de ruido
blanco si;
E ( t ) 0

2
2
E ( t ) V ( t )
E ( ) 0
t t

para todos t
para todos t
para todos t y 0

Es un proceso con media = 0, varianza

constante, y sin autocorrelacin. No se
puede predecir a partir de su pasado.

Procesos lineales
Definicin: Un proceso estocstico
es lineal cuando lo podemos escribir
como una funcin de una combinacin
lineal (posiblemente infinita) de variables
aleatorios de ruido blanco.
xt t 1 t 1 2 t 2 ...

j t j
j 0

Procesos lineales
Hay tres tipos de procesos estocsticos lineales;
Autoregresivos (AR)
Media mvil (MA)
ARMA (la combinacin de AR y MA)
AR ( p );

yt 1 yt 1 2 yt 2 ... p yt p t

MA(q );

yt t 1 t 1 2 t 2 ... q t q

ARMA( p, q );

yt 1 yt 1 ... p yt p t 1 t 1 ... q t q

Procesos lineales
Se puede introducir una constante para tener
procesos con una media 0 .
Se puede expresar los procesos con un
polinomio de operadores de retardos. El
operador de retardos L esta definido por;
Lyt yt 1

Lk yt yt k

Este operador retarda la serie tantas periodos

como el exponente k indica.

Procesos lineales
Utilizando el operador de retardos y la
generalizacin con la constante,
,
podemos escribir los procesos:
AR ( p ); p ( L) yt t
MA(q );

yt q ( L) t

ARMA( p, q ); p ( L) yt q ( L) t
p ( L) 1 1 L 2 L2 ... p Lp

polinomio autoregres sivo

p ( L) 1 1 L 2 L2 ... q Lq

polinomio media mvil

Se puede transformar procesos AR y ARMA

en procesos MA.

Procesos lineales
Teorema de Wold. Cualquier proceso
estocstico
estacionario
se
puede
representar con una suma de dos
procesos.
yt d t u t

Donde d t es linealmente determinista y

ut es un proceso MA() : u ( L)
t

Donde t es ruido blanco.

j 0

t j

Procesos lineales
El proceso MA() se puede aproximar a travs
modelos lineales, cuando el polinomio infinito (L)
se puede aproximar bien con un cociente de
dos polinomios en:
q ( L)
L : ( L )
p ( L)
Transformaciones
puede
hacer
series
estacionarias y la teorema permite crear modelos
relativamente sencillos a partir de modelos
lineales.

Procesos autoregresivos (AR)

Un proceso autoregresivo se puede
escribir,
p ( L ) yt t
(1 1 L 2 L2 ... p Lp ) yt t
yt 1 yt 1 2 yt 2 ... p yt p t

Procesos autoregresivos (AR)

Para que un proceso AR sea estacionario el
polinomio en el operador de retardos p (L)
asociados al proceso tiene que ser estable, es
decir, al calcular las races del polinomio,

p ( L) (1 1 L 2 L ... p L ) 0
2

estas tienen de caer dentro del crculo unidad. Los

valores de L que satisfacen esto cumple L 1 .

Procesos autoregresivos (AR)

Si hay alguna raz igual a 1 (raz unitario)
el proceso AR no es estacionario, y no se
pueden expresar como procesos MA() . Si
hay alguna raz mayor a 1 el proceso ser
explosivo y tampoco estacionario.

Procesos autoregresivos (AR)

Las condiciones para estacionariedad
son:
p

(necesaria, pero no suficiente):

j 1

(suficiente, pero no necesario):

j 1

Procesos autoregresivos (AR)

AR(1) estacionariedad
yt 1 yt 1 t
(1 L) yt t

Condicin necesaria y suficiente:

Procesos autoregresivos (AR)

Un proceso AR(1) estacionario se puede
escribir como un proceso MA() .
t
(1 L 2 L2 ...) 1 ( t )
(1 L)

j t j
1 j 0

yt

Se puede llegar a la misma solucin a

travs de substitucin recursiva.
yt yt 1 t .

Procesos autoregresivos (AR)

La solucin se usa para calcular los momentos
del proceso. Tambin se puede usar para
ensear el siguiente resultado, valido por h 0 .

E ( yt t h ) E

2
t t 1 t 2 ... t h 0
1

Procesos autoregresivos (AR)

El momento de primer orden es;

j
E ( yt ) E
t j
1 j 0
1

( E ( yt ) E ( yt 1 ) )
Con estacionariedad
tenemos el mismo resultado;

E ( yt ) E ( yt 1 t ) (1 ) 1

Procesos autoregresivos (AR)

La varianza del proceso es;

0 E ( yt ) 2 E

j 0

t j

2 j 2 2
1
j 0

Tambin se puede llegar a este resultado

a travs;
0 V ( yt ) V ( yt 1 t ) 2 0 2 2 (1 2 ) 1

Procesos autoregresivos (AR)

La autocovarianza del proceso es,
~
donde; xt
indica la desviacin con
respecto a la media.
1 E ( ~yt ~yt 1 ) E ((~yt 1 t ) ~yt 1 ) 0
2 E ( ~yt ~yt 2 ) E ((~yt 1 t ) ~yt 2 ) 1 2 0

E ( ~y ~y ) E ((~y ) ~y )

t 1

Procesos autoregresivos (AR)

La funcin de autocorrelacin simple es;

y tiene un decrecimiento exponencial.

FAP, al otro lado, slo tiene un coeficiente
diferente de cero. Se puede demostrar con las
ecuaciones de Yule-Walker.

Procesos autoregresivos (AR)

Procesos autoregresivos (AR)

AR(2):

yt 1 yt 1 2 yt 2 t
(1 1 L 2 L2 ) yt t

2 ( L ) yt t
donde 2 ( L) (1 1 L 2 L2 )

Al calcular las races del polinomio

(1 1L 2 L2 ) 0
tendramos dos soluciones
y hay los siguientes requisitos
(simultneamente) para tener un
1
polinomio estable.
2

2 1 1
2 1

Procesos autoregresivos (AR)

Procesos media mviles (MA(q))

Un proceso media mvil de orden q;

yt t 1 t 1 2 t 2 ... q t q
q ( L) t
Estos procesos siempre son estacionarios (los
momentos de primer y segundo orden son
siempre finitas y constantes a largo del tiempo).
Una condicin (que hay que comprobar) para
estos procesos es que son invertibles.

Procesos media mviles (MA(q))

Esta condicin implica que las races del
polinomio q (L) estn dentro del crculo
unitario. Los procesos MA no invertibles
no permiten una representacin
autoregresiva convergente.

Procesos media mviles (MA(1))

MA(1):

yt t 1 t 1

La condicin de invertibilidad es para un

proceso MA(1) es 1 .
Esperanza:
E ( yt ) E ( t 1 t 1 )

Procesos media mviles (MA(1))

Varianza:
0 E ( yt ) 2 E ( t 1 t 1 ) 2 E ( t2 ) 12 E ( t21 ) 21 E ( t t 1 )
1 12 2

Autocovarianza:
1 E ( yt )( yt 1 ) E ( t 1 t 1 )( t 1 1 t 2 ) 1 2
2 E ( yt )( yt 2 ) E ( t 1 t 1 )( t 2 1 t 3 ) 0
0 2

Procesos media mviles (MA(1))

FAS es:

1
1
2
(1 1 )
0
2

La FAP presenta un decrecimiento exponencial;

1k (1 12 )
kk
1 12 ( k 1)

Se puede llegar a este resultado general con las

ecuaciones de Yule-Walker.

Procesos media mviles (MA(1))

11

1
1 12

2 12
12
22

2
1 1
1 12 14
3 13 1 22 2 1 2 12 3
13
33

2
2
2
1 2 1 2 2 1 2
1 2 12

2
1 1

1 2
2
1 1

13

1 12 14 16

Procesos media mviles (MA(1))

Procesos media mviles (MA(2))

(1 1L 1L ) 0
2

Procesos media mviles (MA(2))

Para tener un modelos estable;

Procesos media mviles (MA(2))

Procesos media mviles (MA(2))

Procesos media mviles (MA(2))

Funcin de autocorrelacin simple

Procesos media mviles (MA(2))

Procesos media mviles (MA(q))

MA(q) con deriva (intercepto):
E ( yt ) E ( t 1 t 1 2 t 2 q t q )
0 E ( yt ) 2 E ( t 1 t 1 2 t 2 q t q ) 2

1 12 22 q2 2

(el mismo resultado)

Procesos media mviles (MA(q))

1 E ( yt )( yt ) E ( t 1 t 1 2 t 2 q t q )( t 1 t 1 2 t 1 q t q )
( 11 q q ) 2 si q

si q
0

Procesos media mviles (MA(q))

Procesos autoregresivos media

mviles (ARMA(p,q))

Procesos autoregresivos media

mviles (ARMA(p,q))

MA()

Procesos autoregresivos media

mviles (ARMA(p,q))
AR()

Procesos autoregresivos media

mviles (ARMA(p,q))
Los procesos ARMA tienen un FAS como
la de su parte AR y una
FAP como su parte MA.
ARMA tiene FAS y FAP que decrecen
exponencialmente en valor absoluta hacia
cero.
No se puede determinar el orden.

ARMA(1,1)
yt yt 1 t 1 t 1
(1 1 ) 1
1 211 12 2
0

1 12

FAS:

(1 11 )(1 1 )

1 211 12
1 1

1
1

ARMA(1,1)

ARMA(p,q)
p (1)
Representar con MA() :
1

yt j t j ( L) t
j 0

0 E ( yt )
2

j
j 0

Procesos autoregresivos
integrados media mvil;
ARIMA(p,d,q)

Procesos ARIMA presentan races

unitarias en el polinomio autoregresivo; no
*

son estacionarios. Se puede factorizar r ( L)

a partir de las races unitarias. Podemos
escribir; * ( L) (1 L) d ( L)
r

r* d ( L)

r d

Donde
no incluye races unitarias y d
es el nmero de races unitarias.

Procesos autoregresivos integrados media mvil;

ARIMA(p,d,q)

ARIMA(p,d,q)

ARIMA(p,d,q)
Si una serie presenta un correlograma
como un AR(1) con 1 ; FAS est muy
cerca 1, y no caen rpidamente.

ARIMA(p,d,q)
Si aplicamos el operador de diferencia
cuando no es necesario (sobrediferenciar), tendremos un MA(1) que no
es invertible.
Por ejemplo: Ruido blanco;

ARIMA(p,d,q)
Cuando el orden de diferencia se ha
decidido
, se puede escribir un
procesos ARIMA como AR() o un MA() .

Summary of the Behaviour of the acf for

AR and MA Processes
An autoregressive process has
a geometrically decaying acf
number of spikes of pacf = AR order
A moving average process has
Number of spikes of acf = MA order
a geometrically decaying pacf

66