Diego Alejandro Castro Llanos

Facultad de Ingeniería
Escuela de Estadística
Asignatura: Econometría
Universidad del Valle
Segundo Semestre 2017
Clase No 2
 Introducción a la Regresión Lineal Simple
 Es una de las técnicas más utilizadas en economía para investigar y modelar la
relación entre variables económicas, financieras, entre otras

Variable Dependiente Variable Independiente

También conocida Se conoce como variable
VARIABLES
como variable Regresora o exógena
Respuesta o endógena

El análisis de regresión se relaciona en gran medida con la estimación o predicción

de la media de la población o valor promedio de la variable dependiente, con base
en los valores conocidos o fijos de la variable explicativa. Ejemplos:

Variable endógena: Ventas en una empresa

Regresión Lineal Simple
Variable exógena: Gasto en publicidad

Variable endógena: Salario mensual

Variable exógena: Años de educación, edad, Regresión Lineal
profesión, género, estrato socioeconómico, estado Múltiple
civil.
 Ecuación Poblacional del Modelo
La ecuación poblacional de un modelo de regresión lineal, con sólo una
variable regresora viene dado por:
Yi  f ( X i )   i f ( X i )   0  1 X i

Yi   0  1 X i   i
Se denota a:

Y  Variable dependiente  0  Intercepto o constante

X  Variable independiente 1  Pendiente
  error

Las estimaciones o predicciones de la variable dependiente serán validas

estadísticamente, siempre y cuando los residuales del modelo se
asemejen a una distribución normal estándar, su varianza sea constante,
el valor esperado de los residuales es cero y no se encuentren
autocorrelacionados de ningún orden.
 Diagrama de Dispersión
El gráfico de dispersión para el ejemplo visto en la clase 1 es:

Grafico de dispersión Ingresos vs Gasto

110

Yˆi  2141,38  0,8004( X i )

Gasto de Consumo (miles de millones)

La media condicional
100

de E (Y / X i )  f ( X i )
es una función de Xi,
90

donde Xi es un valor
dado de X.
80
70
60

70 80 90 100 110 120 130

Ingreso (miles de millones)

 ¿Que forma tiene la función de regresión?
 En una situación real no tenemos la totalidad de la población para
efectuar el análisis.

 La forma de la función de regresión poblacional es una pregunta

empírica, aunque en algunos casos la teoría económica puede
tener algo que decir. Por ejemplo, un economista podría plantear
que el ingreso monetario de una persona está relacionado
linealmente con los años de educación de la misma.

 Como una primera aproximación podemos suponer que la función de

regresión poblacional es una función lineal de Xi. Específicamente:

E (Y / X i )  f ( X i )
E (Y / X i )   0  1 X i
 Significado de término lineal
Linealidad en las variables

Se dice que una función Y  f ( X ) es lineal en X, siempre y cuando X

aparezca a una potencia o índice igual al valor unitario. Además, la
variable no está multiplicada ni dividida por alguna otra variable. Es decir:

E (Y / X i )   0  1 X i Es lineal en Xi

Geométricamente la curva de regresión es una línea recta, con pendiente

diferente de cero.

La linealidad de las variables regresoras en un modelo se determinará en

el capítulo 3 a través de la prueba de especificación de Ramsey,
prueba de Chow entre otras.
 Significado de término lineal
Linealidad en los parámetros

Se dice que una función es lineal en el parámetro 𝛽1 , por ejemplo si la

pendiente aparece elevado a una potencia o índice igual al valor unitario y
no está multiplicado ni dividido por ningún otro parámetro. Es decir:

E (Y / X i )   0  1 X i2

Es lineal en los parámetros pero no es

lineal en la variable X

Este modelo se puede estimar a partir de i) Método de Mínimos

Cuadrados Ordinarios (MCO), ii) Método de Máxima Verosimilitud
(MV). Se debe tener cuidado a la hora de interpretar la pendiente del
modelo, puesto que la variable se encuentra elevada al cuadrado.
 Especificación estocástica de la función de
regresión poblacional
¿Qué podemos decir sobre la relación entre el gasto de consumo
de un hogar y un nivel dado de ingresos?
En la gráfica se observó que dado el nivel de ingresos de 𝑋𝑖 , el gasto de
consumo de un hogar está agrupado alrededor del consumo promedio
de todas las familias en ese nivel de 𝑋𝑖 , es decir, alrededor de su
esperanza condicional. Específicamente:
Yi  f ( X i )   i Yi  E (Y / X i )   i
 i  Yi  E (Y / X i )
donde ε𝑖 es una variable aleatoria no observable que puede tomar
cualquier valor real. Técnicamente, ε𝑖 es conocido como perturbación
estocástica, término de error estocástico o término idiosincrático del
modelo.
 Especificación estocástica de la función de
regresión poblacional
Por lo descrito anteriormente, se puede decir que el gasto de consumo de
un hogar, puede ser expresado como la suma de dos componentes:

Yi  E (Y / X i )   i
Es la media condicional del gasto
de consumo de todos los hogares
con el mismo nivel de ingresos
Es un componente aleatorio. Es
un sustituto para todas aquellas
variables que fueron omitidas del
modelo, pero que de manera
conjunta afectan a la variable
dependiente.

Se espera que el error sea lo más

pequeño posible, de tal manera
que las predicciones sean
mejores y se acerquen a la
realidad.
 Especificación de la función de regresión
muestral
Ahora si se toma el valor esperado de Yi se obtiene:
E (Yi )  E (  0  1 X i   i )
E (Yi )  E (  0 )  E ( 1 X i )  E ( i )
E (Yi )  ˆ0  ˆ1 X i Yˆi  ˆ0  ˆ1 X i

El valor esperado de los residuales es igual a cero: E ( i )  0

En términos de la función de regresión muestral, la Yi observada puede
ser expresada como: Yi  Yˆi  ˆi Yi  Yˆi  ˆi
El objetivo es estimar la función de regresión poblacional con base en la
función de regresión muestral en la forma más precisa posible. Para ello
se puede emplear el MCO o MV.
El método de MCO es el que más se emplea en el análisis de regresión
por ser en gran medida más intuitivo y matemáticamente más simple.
Además posee ventajas en muestras pequeñas.
 Método de Mínimos Cuadrados Ordinarios
(MCO)
El Método de MCO se atribuye a Carl Friedrich Gauss un matemático,
astrónomo y físico alemán (1777-1855). Bajo ciertos supuestos asociados
al error, el método tiene algunas propiedades estadísticas muy atractivas
que lo han convertido en uno de los más eficaces en el análisis de
regresión. El criterio es minimizar la Suma de Cuadrados de los Errores
(SCE).

Se trata de seleccionar valores de los coeficientes que resuelvan el siguiente

problema:
n
Minimizar ( ˆ0 , ˆ1 )   ˆi2
i 1

n
Minimizar ( ˆ0 , ˆ1 )   (Yi  Yˆi ) 2
i 1
Método de Mínimos Cuadrados Ordinarios (MCO)
n
SCE   (Yi  Yˆi ) 2
i 1

n
SCE   (Yi  ( ˆ0  ˆ1 X i )) 2
i 1
n
SCE   (Yi  ˆ0  ˆ1 X i ) 2
i 1

Si la SCE tiene un mínimo, ocurrirá para valores que satisfagan las siguientes
ecuaciones:
SCE SCE
0 0
ˆ0 1
ˆ
Tomando las derivadas parciales de la suma de cuadrados de los residuales
con respecto a ˆ0 y ˆ1 e igualando a cero se obtiene:
Método de Mínimos Cuadrados Ordinarios (MCO)
n 
  (Yi  ˆ0  ˆ1 X i ) 2  n
SCE
  i 1   2(Y  ˆ  ˆ X )(1)  0

ˆ0 ˆ0
i 0 1 i
i 1

n n n
 2 (Yi  ˆ0  ˆ1 X i )  0 Y
i 1
i  nˆ0  ˆ1  X i
i 1
(1)
i 1

n 
  (Yi  ˆ0  ˆ1 X i ) 2  n
SCE
  i 1   2(Y  ˆ  ˆ X )( X )  0

ˆ1 ˆ1
i 0 1 i i
i 1

n n n n
 2 (Yi X i  ˆ0 X i  ˆ1 X )  0i
2
 i i 0  i 1 i
Y X ˆ X  
ˆ X 2
(2)
i 1 i 1 i 1 i 1

Las ecuaciones (1) y (2) se denominas ecuaciones de mínimos cuadrados

para estimar los parámetros de una recta. También se denominan
ecuaciones normales.
Método de Mínimos Cuadrados Ordinarios (MCO)

De la ecuación (1) se despeja el estimador de ̂ 0

n n

Y  nˆ0  ˆ1  X i
n n

i 1
i
i 1
 Y  ˆ  X
i 1
i 1
i 1
i  nˆ0

n
1 
Y
n
Sabemos que: Y   i Y i  nY
n  i 1  i 1

De esta manera:

nY  ˆ1nX  nˆ0 n(Y  ˆ1 X )  nˆ0

ˆ0  Y  ˆ1 X (*)

Ahora la ecuación (*) se reemplaza en la ecuación (2), obteniendo:
Método de Mínimos Cuadrados Ordinarios (MCO)
n n n

 i i 0  i 1 i
Y X
i 1
ˆ X  
ˆ X 2

i 1 i 1
; ˆ0  Y  ˆ1 X
n n n

i i
Y X
i 1
 (Y  
ˆ1 X )  i 1 i
X  
ˆ X 2

i 1 i 1

n n n n

Y X
i 1
i i  (Y  ˆ1 X )nX  ˆ1  X i2
i 1
Y X
i 1
i i Y nX  ˆ1nX 2  ˆ1  X i2
i 1

n
 n
2

i 1
Y X
i i  n Y X  ̂1 

 n X 2
 
i 1
X i 

n
 n
2
i 1
Yi X i  nY X 1   X i  nX 
ˆ
 i 1
2


n

Y X i i nY X
Cov ( x, y ) S xy
ˆ1  i 1
n
 2
 2
 i
Sx Sx
X 2
 n X 2

i 1
 Interpretación de los estimadores de MCO
Interpretación de la constante del modelo:
Si la variable exógena permanece constante o es igual a cero, se espera que
la variable endógena tome el valor de ˆ0 unidades.

Interpretación de la pendiente del modelo:

ˆ1  0 Por cada unidad que aumente la variable exógena, se espera

que la variable endógena aumente en promedio ̂1 unidades.

ˆ1  0 Por cada unidad que aumente la variable exógena, se espera

que la variable endógena disminuya en promedio ̂1 unidades.

En caso que la pendiente sea igual a cero, no existe una relación lineal
entre la variable exógena y endógena del modelo econométrico.
 Ejemplo: Teoría de Keynes
La interpretación de los parámetros estimados para el ejemplo entre el
gasto de consumo y el ingreso de los hogares colombianos es:

Yˆi  2141,38  0,8004( X i )

El gasto promedio mínimo de consumo de los hogares colombianos es de

$2.141 (mil millones) aproximadamente. En economía se conoce como
el consumo promedio básico.

Por cada mil millones de pesos que aumente el ingreso de los hogares
colombianos en un determinado trimestre, se espera que el gasto
promedio de consumo aumente $0,80 (mil millones) en el mismo
trimestre.
Estimación de los parámetros en forma matricial
La ecuación en forma matricial viene dada por: Y  X  
donde:  Y1   1 
  1 X 1   
 
 Y2   1 X2   0   2 
Y   X         

  
 
  1   

Y  1 X   
 n  n  n

La ecuación de regresión muestral viene dada por: Yˆ  Xˆ  ˆ  Xˆ

Donde:

 Yˆ1  1 X 1 
   
 Yˆ2  1 X 2   ˆ0 
Yˆ    X  ˆ   
      ˆ1 
 
 Yˆ  1 X 
 n  n
Estimación de los parámetros en forma matricial
La Suma de Cuadrados de los Errores viene dada por:

SCE  Q   T   (Y  Yˆ )T (Y  Yˆ )  (Y  Xˆ )T (Y  Xˆ )

SCE  (Y T  ˆ T X T )(Y  Xˆ )

SCE  Y T Y  Y T Xˆ  ˆ T X T Y  ˆ T X T Xˆ

SCE  Y T Y  2 ˆ T X T Y  ˆ T X T Xˆ
Y T Xˆ  ˆ T X T Y
Para hallar el mínimo de SCE respecto a los parámetros, debemos igual el
vector de primeras derivadas al vector nulo, es decir:
 ( SCE)  ( T  )
  2 X T Y  2 X T Xˆ  0
 
Estimación de los parámetros en forma matricial
 2 X T Y  2 X T Xˆ  0

De aquí obtenemos las ecuaciones normales: X T X̂  X T Y

Multiplicando a ambos lados de la ecuación por 𝑋 𝑇 𝑋 , se obtiene:

ˆ  ( X T X ) 1 X T Y
Modelo Ingenuo: La variable endógena solo está en función de la
variable dependiente: Y   0  
Matricialmente se tiene: Y  X  
 Y1   1  1 
     
 Y2   1  2 
Y   X     (0 )   
  
     
Y   1  
 n    n
Estimación del Modelo Ingenuo y Modelo que pasa
por el origen
La estimación de los parámetros es:
1
 1    Y1 
     
  1   Y2  n
ˆ  ( X X ) X Y  (1 1  1)  (1 1  1)   (n) *  Y i  Y
T 1 T 1
   
      i 1
1  Y 
    n

Modelo por el origen: Es aquel modelo que no tiene intercepto. En otros

términos se asume como cero o estadísticamente no es significativo.
Matricialmente se tiene: Y  X  

 Y1   X1   1 
     
 Y2   X2   2 
Y   X    ( 1 )   
    

   
Y  X   
 n  n  n
 Modelo que pasa por el origen
La estimación de los parámetros es:
1
  X 1   Y1 
    
 X 2   Y2 
̂  ( X T X ) 1 X T Y  ( X 1 X2  X n )  (X 1 X2  X n ) 
   
    
 X  Y 
  n   n
n

 n

1 n X i Yi
̂   X i2  X i Yi  i 1
n
 i 1  i 1
X
i 1
i
2

Los problemas que presenta este modelo econométrico en la validación de

los supuestos se verán más adelante.
 Modelo Centrado
Modelo centrado: A cada uno de las observaciones de la variable
endógena y exógena se le resta su respectiva media, es decir:

Y  X   Yi   0  1 X i   i
(Yi  Y )   0  1 ( X i  X )   i

Yi *   0  1 ( X i* )   i Yi *  Yi  Y ; X i*  X i  X

Matricialmente se tiene:

 Y1  Y  1 X 1  X   1 
     
 Y2  Y  1 X 2  X   0   2 
Y 
*
X 
*       
      1   

   
 Y Y  1 X  X   
 n   n   n
 Modelo Centrado
ˆ  ( X T X ) 1 X T Y
1
 1 X 1  X   Y1  Y 
    
 1 1  1 1 X 2  X   1 1  1  2 Y  Y 
ˆ      
 X 1  X X2  X  Xn  X      X1  X X 2  X  X n  X   
  
1 X n  X   Y Y 
   n 

1
   n

  (Yi  Y )
n

 n  ( X i  X )   i 1


̂   n i 1
n   n 
 (X  X ) ( X i  X )2 
 i     X i  X )(Yi  Y ) 
i 1 i 1  i 1 

Por propiedades de la media sabemos que la sumatoria de la discrepancia

entre cada observación respecto a su media es igual a cero.
n n n

(X
i 1
i  X )   X i   X  nX  nX  0
i 1 i 1
 Modelo Centrado

n 0 
1
 0 
 n 
̂  0 2
n



 ( X i  X ) 


 i X  X )(Yi  Y )


i 1
 i 1 

n   0 
̂ 
1 
*  i 1
( X i  X ) 2
0  n



det( X X )    i  
T
( X X )(Y Y ) 
 n i
0  i 1 

 n 
det( X X )    ( X i  X ) 2  * n
T

 i 1 
n
Sabemos que:  i
( X
i 1
 X ) 2
 ( n  1) S 2
x

det( X T X )  (n  1) S x2 n
 Modelo Centrado
n   0 
̂ 
1 
*  i 1
( X i  X ) 2
0  n



(n  1) S x n 
2

 0

n  
 i 1
( X i  X )(Yi  Y ) 


 0 
1  
̂  * n

(n  1) S x n  n ( X i  X )(Yi  Y ) 
2

 i 1 
 0   0 
 n   n   0 
     
   n ( X i  X )(Yi  Y )     ( X i  X )(Yi  Y )    Cov ( x, y ) 
ˆ
 i 1   i 1
  2 
(n  1) S x n
2   (n  1) S x
2   S x 
   

El intercepto del modelo es igual a cero y la pendiente del modelo no cambia en

relación a la pendiente del modelo econométrico que incluye el intercepto.

Además, la desviación estándar o típica del modelo no cambia al igual que sus
medidas de bondad de ajuste.
 Paso Previo al Análisis de Regresión Lineal

 El análisis de correlación lineal intenta medir la fuerza o grado de la

relación entre dos variables continuas. Se cuantifica a través del
coeficiente de correlación lineal de Pearson. El Objetivo es determinar
qué tan intensa es la relación lineal entre dos o más variables.
Gráfico de dispersión Color Vs Turbiedad.
Rio Cauca. Juanchito

600
Variable dependiente

500
El comportamiento
de las variables
400
sugiere una
relación de línea
Turbiedad

300
recta.
200

100

0
0 50 100 150 200 250 300 350

Variable independiente
Color
 Paso Previo al Análisis de Regresión Lineal
Definición: Sean X y Y variables aleatorias con varianzas  x2 ,  y2 y
covarianza C ov( X , Y )   xy2

Su estructura matemática viene dada por:

 xy    coeficiente de correlación poblacional

C ov  X , Y  C ov  X , Y 
 
 
2
x
2
y
 x y

donde:
N
1
(X
N
1
Cov( X , Y )   ( X i   X )(Yi  Y )    
2 2
; X i X )
N i 1
N i 1

N
1
 
2
Y
N
 i Y
(Y
i 1
  ) 2
 Coeficiente de Correlación Lineal de Pearson
 El coeficiente de correlación toma valores entre -1 y 1.

1    1
 Si el coeficiente es aproximadamente cero no hay relación entre las
variables.

 Si el coeficiente es mayor a cero, la relación entre las variables es directa,

es decir, a medida que una variable aumenta, la otra variable también lo
hará o viceversa.

 Si el coeficiente es menor a cero, la relación entre las variables es inversa,

es decir, a medida que una variable aumenta, la otra variable disminuirá o
viceversa.
 Coeficiente de Correlación Lineal Muestral
rxy  r  coeficiente de correlación muestral
n

x y  nx y 1 n
; S x2   
i i 2
Cov ( x, y ) ( x x )
r  i 1

i
SxS y  n 2 
n
2
n 1 i 1
  ( xi  x )   ( yi  y ) 
 i 1  i 1  1 n
S 
2
y  i
n  1 i 1
( y  y ) 2

1 n
Cov ( x, y )   ( xi  x )( yi  y )
n  1 i 1
Relación entre el coeficiente de correlación lineal y
pendiente del modelo de regresión
Cov ( x, y ) S xy
Sabemos que: r  
SxS y SxS y

Cov ( x, y ) S xy Sy S xy Sy Sy
1 
ˆ  *  *  r*
S x2 Sx Sx S y Sx S y Sx Sx

Es decir, el estimador de la pendiente del modelo proporciona la relación

entre la variable endógena y exógena. Está muy relacionado con el coeficiente
de correlación entre ambas variables, siendo una modificación del mismo por
el cociente de las desviaciones típicas. Por ejemplo:

 La desviación típica es una medida del tamaño de la fluctuación que

experimenta una variable a lo largo de la muestra. Si X e Y tienen igual
desviación típica, experimentan fluctuaciones de igual tamaño. En tal caso,
una variación de una unidad en X se traducirá, de acuerdo con ̂1 en una
variación en Y igual al coeficiente de correlación lineal.
Correlación Lineal Muestral
 Medidas de Bondad de Ajuste

Dada la cuidadosa interpretación del coeficiente de correlación de

Pearson, es común utilizar una medida llamada coeficiente de
determinación (r2). Indica la proporción de la variación total de la
variable aleatoria Y, que puede ser explicada a través del conocimiento de
la variable X.

Ejemplo: Si el coeficiente de determinación es igual a 0,6 significa que el

60% de la variación total de los valores de la variable endógena se deben a
una relación lineal con los valores de la variable exógena.

Se calcula como el cociente entre la variabilidad explicada por la regresión

y la variabilidad total. Matemáticamente se tiene:

R 
2  i
( y  y ) 2


Suma de Cuadrados de la Regresion
 ( yi  y ) 2
Suma de Cuadrados Total
 Tabla de Análisis de Varianza (ANOVA)
Fuente de Grados de Suma de Cuadrados
Variación libertad Cuadrados (SC) Medios (CM) FCalculado
Regresión 1 SCregresion SCregresion / 1 CMregresion / CMerror

Error n-2 SCerror SCerror / (n-2) ˆ 2

Total n-1 SCtotal

n n n
SCTotal   ( yi  y )   ( yˆ i  y )   ( yi  yˆ i ) 2  SCRe gresion  SC Error
2 2

i 1 i 1 i 1

 σˆ 2
 SCE/(n- 2 )
 SCRe gresion   ( yi  y ) 2


 σˆ
2
 SCE/(n-k-1 )
donde  SCTotal   ( yi  y ) 2

 n
k  Numero de
 SCerror  SCTotal  SCRe gresion    yi  yˆ i 2 variables exógenas

 i 1
 Prueba de Hipótesis para el coeficiente de
correlación lineal
a ) H 0 :    0 vs H a :   0
b) H 0 :    0 vs H a :    0
c) H 0 :    0 vs H a :    0

En regresión lineal generalmente se verifica el caso 3, con rho igual a

cero. El estadístico de prueba viene dado por:
r  0
tCal 
1 r 2
n2

Si la hipótesis es unilateral, el punto crítico es: tCritico  t ; glerror  t ;n  2

Si la hipótesis es bilateral, el punto crítico es: tCritico  t / 2; glerror  t / 2;n  2
 Prueba de Significancia General o Global del
Modelo
El contraste de regresión más importante en regresión lineal simple
es el que establece que ninguno de los parámetros influye en la variable
endógena. Este contraste se formula de la siguiente manera:

H 0 : 0  1  0 v.s H a : 0  1
El estadístico de prueba es:
CM Re gresion
FCalculado 
CM Error

El punto crítico viene dado por: FCritico  F ; gl _ regresion; gl _ error  F ; 1; n  2

Regla de decisión: Si FCalculado  FCritico ; Se Rechaza la Ho

Si p  valor   ; Se Rechaza la Ho

En econometría se conoce como el supuesto de linealidad.

 Prueba de Significancia Individual de los
Coeficientes
 Un contraste muy importante en regresión lineal es el que establece que
cada uno de los parámetros de manera individual no son significativos
para predecir la variable endógena.
 La hipótesis nula y alterna vienen dadas por:

H o : i  0 vs. H a : i  0

 El estadístico de prueba es:

ˆi   i ˆi  0
tCalculado  
Var (  i ) Var (  i )

 El punto crítico es: tCritico  t /2; n2

 Regla de decisión: Si tCal  tCritico ; Se rechaza la Ho
Si p  valor   ; Se Rechaza la Ho
 Intervalo de Confianza para los parámetros del
modelo
Recordemos que la confiabilidad de un estimador puntual se mide por su
error estándar. Por consiguiente, en lugar de depender de un solo estimar
puntual, se puede construir un intervalo alrededor del estimador, teniendo
en cuenta una confiabilidad de al menos el 90%.

En términos de probabilidad se tiene:

   

Pr  βi -tα/ 2 ;n  2*ee( βi )   i  βi  tα/ 2 ;n  2*ee( βi )   1  
 

El intervalo es:
   

IC ( βi ) (1α )%   βi -tα/ 2 ;n  2*ee( βi ); βi  tα/ 2 ;n  2*ee( βi ) 
 
Sí el intervalo de confianza incluye el valor cero, el parámetro no es
significativo en la estimación de la variable endógena.
Propiedades descriptivas en la regresión lineal
simple
1. Supuesto Inicial: Siempre que incluyamos el término constante en la
ecuación de regresión, podemos suponer que la sumatoria de los
residuales estimados del modelo es igual a cero, es decir:
n

 ˆ
i 1
i 0

Por definición del residuo se tiene:

ˆi  Yi  Yˆi  Yi  (ˆ0  ˆ1 X i )  Yi  ˆ0  ˆ1 X i

Si sumamos para las n observaciones, se obtiene:
n n n n n n

 ˆ   Y   ˆ   ˆ X   Y  nˆ
i 1
i
i 1
i
i 1
0
i 1
1 i
i 1
i 0  ˆ1  X i (*)
i 1
Propiedades descriptivas en la regresión lineal
simple
Por otra parte, la primera ecuación del sistema de ecuaciones normales es:
n n

Y
i 1
i  nˆ0  ˆ1  X i
i 1
(1)

Reemplazando la ecuación (1) en (*) se obtiene

n n n

 ˆ
i 1
i  nˆ0  ˆ1  X i  nˆ0  ˆ1  X i  0
i 1 i 1

2. La ecuación de regresión pasa necesariamente por el punto (Y , X )

Dividiendo a ambos lados de la ecuación (1) por el tamaño de muestra (n)
se obtiene:
n n n n

Y nˆ0  ˆ1  X i Y nβˆ 0 ˆ 

Xi
Y  ˆ0  ˆ1 X
i i
i 1
 i 1 i 1
  β1 i 1
n n n n n
Propiedades descriptivas en la regresión lineal
simple
3. La suma de los productos cruzados entre la variable explicativa y los
residuales del modelo es igual a cero, es decir:
n

 ˆ X
i 1
i i 0

Sabemos que
ˆi  Yi  Yˆi  Yi  ( ˆ0  ˆ1 X i )  Yi  ˆ0  ˆ1 X i
Reemplazando en la sumatoria se tiene:
n n n

 ˆ X   (Y  ˆ
i 1
i i
i 1
i 0  ˆ1 X i ) X i   (Yi X i  ˆ0 X i  ˆ1 X i X i )
i 1

n n n n

 i i  i i 0  i 1  i (**)

ˆ X
i 1
 Y X  
ˆ X  
ˆ
i 1
X 2

i 1 i 1
 Propiedades descriptivas en la regresión lineal
simple
Por otra parte, la segunda ecuación del sistema de ecuaciones normales es:
n n n

 i i 0  i 1 i
Y X
i 1
ˆ X  
ˆ X
i 1
2

i 1
(2)

Reemplazando la ecuación (2) en (**) se obtiene:

n n n n n

 i i 0  i 1

ˆ X
i 1
 
ˆ X  
ˆ X  
ˆ 0
i 1
X i  
ˆ1 X i
2

i 1
i
2

i 1 i 1
n

 ˆ X
i 1
i i 0

Tarea: Mostrar que la Suma de los Cuadrados Totales (SCT) se puede

descomponer en la Suma de los Cuadrados de la Regresión (SCR) y la
Suma de Cuadrados de los Errores (SCE), es decir:
n n n

 i
( y
i 1
 y )   i
( ˆ
2
y  y )
i 1
  i i
( y  ˆ
y ) 2 2

i 1
 Supuestos de los Residuales del Modelo de
Regresión
Supuesto 1: El valor esperado o la esperanza matemática de los residuales
es igual a cero, es decir:
E ( i )  E ( i / X i )  0

Para todos los posibles valores de X, la media de los residuales es la

misma, 0. Este supuesto se puede verificar a través de la prueba t-student.

Supuesto 2: Dado el valor de X, la varianza de los residuales  i es la

misma para todas las observaciones, es decir, las varianzas condicionales
de  i son idénticas, es decir:

Var( i / X i )   2
En otros términos los residuales son homocedasticos o presentan
varianza constante.
 Supuestos de los Residuales del Modelo de
Regresión
El supuesto de homogeneidad de varianza se puede verificar a través de
herramientas gráficas o pruebas formales. Se gráfica los residuales
estimados en el eje (y) y en el eje (x) se consideran los valores estimados de
la variable endógena.

Gráficamente se puede
concluir que los residuales
presentan varianza constante
Supuestos de los Residuales del Modelo de
Regresión

Gráficamente se puede
concluir que los
residuales no presentan
varianza constante.
 Supuestos de los Residuales del Modelo de
Regresión
Algunas pruebas formales para validar el supuesto son White, Breusch-
Pagan y Levene.

Supuesto 3: Dados dos valores cualesquiera de X , X i y X j la correlación

entre  i y  j es igual a cero, es decir:

Cov( i ,  j / X i , X j )  0

Si la covarianza es igual a cero, entonces el coeficiente de correlación entre

el residual i y residual j es igual a cero.

Gráficamente se puede probar a través de los residuales vs los valores de la

variable regresora. Algunas de las herramientas formales que existen es la
prueba Durbin-Watson, Breusch-Godfrey, Ljung-Box, entre otras.
 Supuestos de los Residuales del Modelo de
Regresión
Supuesto 4: Cada uno de los residuales está normalmente distribuido con
valor esperado igual a cero y varianza constante, es decir:

 i ~ N( 0,σ 2 ) E ( )  0 Var ( T )  σ 2

Para validar este supuesto, se emplea el Gráfico Probabilístico (Q-Q Plots) y
como herramientas formales se encuentra la prueba Shapiro-Wilk, Jarque-
Bera, Anderson-Darling, entre otras.

En caso que el supuesto se cumpla estadísticamente, se pueden realizar

inferencias estadísticas a través de la prueba t-student y F de Snedecor.

Si al menos uno de los supuestos mencionados no se cumple, las inferencias o análisis

confirmatorio que se realice a partir del modelo estimado no serán validas
estadísticamente, por lo que se deben corregir los problemas que se presenten.
 Propiedades de los Estimadores

 Insesgado: Sabemos que:ˆ  ( X T X ) 1 X T Y ; E ( ˆ )   ; Y  X  

E ( ˆ )  E (( X T X ) 1 X T Y )  E (( X T X ) 1 X T ( X   ))
E ( ˆ )  E (( X T X ) 1 X T X )  E (( X T X ) 1 X T  )

E ( ˆ )  E ( I )  E (( X T X ) 1 X T  )    ( X T X ) 1 X T E ( )
E ( ˆ )  
 Óptimo: Es de mínima varianza dentro de la familia de estimadores
lineales e insesgados. La matriz de varianzas y covarianzas es:
Por definición: Var ( X )  E (( X  E ( X ))( X  E ( X ))T )

Var ( ˆ )  E (( ˆ  E ( ˆ ))( ˆ  E ( ˆ ))T )

Var ( ˆ )  E ((( X T X ) 1 X T Y   )(( X T X ) 1 X T Y   )T )

 Propiedades de los Estimadores
Var ( ˆ )  E ((( X T X ) 1 X T Y   )(( X T X ) 1 X T Y   ))

Var ( ˆ )  E ((( X T X ) 1 X T ( X   )   )(( X T X ) 1 X T ( X   )   ))

Var ( ˆ )  E ((( X T X ) 1 X T X  ( X T X ) 1 X T    ) *
(( X T X ) 1 X T X  ( X T X ) 1 X T    )T )

Var ( ˆ )  E ((   ( X T X ) 1 X T    ) * (   ( X T X ) 1 X T    )T )

Var ( ˆ )  E ((( X T X ) 1 X T  ) * (( X T X ) 1 X T  )T )

Var ( ˆ )  E (( X T X ) 1 X T  T X ( X T X ) 1 )

Var ( ˆ )  ( X T X ) 1 X T E ( T ) X ( X T X ) 1 Sabemos que: E ( T )  σ 2

Var ( ˆ )  ( X T X ) 1 2 X T X ( X T X ) 1  ( X T X ) 1 X T X ( X T X ) 1 2

Var ( ˆ )  ( X T X ) 1 2
 Propiedades de los Estimadores
 El estimador de MCO es consistente

Recordemos que para determinar si un estimador es consiste se debe

calcular la varianza del estimador y el límite cuando el tamaño de muestra
tiende infinito debe ser igual a cero, es decir:

límitenVar ( ˆ )  0

Además se debe probar que el límite del valor esperado del estimador
cuando n tiende a infinito es igual al parámetro. Es decir:

límiten E ( ˆ )  
 Ejemplo: Teoría de Keynes
Retomando el ejemplo visto en la primera clase, la estimación del modelo
de regresión lineal por el método de MCO(*) viene dada por:

Periodo Gasto PIB a) Interprete el coeficiente de correlación y coeficiente

de determinación según el contexto del problema.
2000-I 59.819 71.000
2000-II 60.104 71.017 b) Hay suficiente evidencia estadística para señalar que
2000-III 60.356 71.414 el coeficiente de correlación lineal entre el ingreso y
2000-IV 60.685 71.330 el gasto de consumo es mayor al 95%.
2001-I 60.892 71.843 c) Se puede inferir que al menos uno de los dos
2001-II 61.077 72.021 parámetros es significativo en la ecuación de gasto-
… … … consumo.
2016-I 111.028 134.707
d) Se puede concluir que la propensión marginal a
2016-II 110.952 135.279 consumir es superior a 0,78.
2016-III 111.262 135.159
2016-IV 112.278 136.530 e) A partir de herramientas gráficas se cumple el
supuesto de homogeneidad de varianza y
(*) La validación de los supuestos asociados al
término de error a partir de pruebas formales
normalidad de los residuales del modelo estimado.
se validarán en el siguiente capítulo.
 Ejemplo: Teoría de Keynes
a) La estimación del coeficiente de correlación lineal y coeficiente de
determinación son:
Estadísticas de la regresión El coeficiente de determinación
Coeficiente de correlación múltiple 0,9989 ajustado se emplea para seleccionar
Coeficiente de determinación R^2 0,9978 el mejor modelo, siempre y cuando
R^2 ajustado 0,9977 la estructura funcional de la
Error típico 812,059 variable endógena sea la misma.
Número de Observaciones 68

𝑅: El grado se asociación lineal entre el gasto de consumo y el ingreso es

del 99,89%, por lo que la relación entre las dos variables es fuerte. A
medida que el gasto de consumo aumente, el ingreso también aumentará
o viceversa.

𝑅2 : El porcentaje de variación del gasto de consumo que está explicado

por el ingreso es del 99,78%

El error típico es raíz cuadrada de la varianza del modelo estimado.

 Ejemplo: Teoría de Keynes
b) Significancia del Coeficiente de Correlación Lineal

H 0 :   0,95 vs H a :   0,95

r  0 0,9989  0,95
tCal    8,46
1 r 2
1  0,9978
n2 68  2

Se considera un nivel de significancia del 5%

𝑉𝑎𝑙𝑜𝑟 𝑃 = 𝑃 𝑡66 > 8,46 = 0,000

Como el valor p es menor que un nivel de significancia del 5%, hay

suficiente evidencia estadística para rechazar la Hipótesis nula, por lo que
se puede concluir que el grado de asociación lineal entre el gasto de
consumo de los hogares colombianos y el ingreso es superior al 95%
 Ejemplo: Teoría de Keynes

c) Prueba de Significancia Global del Modelo Econométrico

Grados de Suma de Promedio de los
libertad cuadrados cuadrados F Valor p
Regresión 1 1,9793E+10 1,9793E+10 30014,52 1,78862E-89
Error 66 43523078,8 659440,588
Total 67 1,9836E+10

La hipótesis nula y alterna son:

H 0 : 0  1  0 v.s H a : 0  1
Se aprecia que el valor p (0,000) es menor que un nivel de significancia
del 5%, se puede concluir que al menos uno de los dos parámetros es
significativo en la estimación del gasto de consumo trimestral de los
hogares colombianos.
 Ejemplo: Teoría de Keynes
d) Propensión marginal a consumir es superior a 0,78.

La estimación de los parámetros viene dada por:

Coeficientes Error típico Estadístico t Valor p

Intercepto 2141,383 474,762 4,5104 0,000
Ingreso 0,8003 0,0046 173,246 0,000

H 0 : 1  0,78 vs H a : 1  0,78
ˆ1  1 0,8003  0,78
tCalculado    4,413
Var ( 1 ) 0,0046

𝑉𝑎𝑙𝑜𝑟 𝑃 = 𝑃 𝑡66 > 4,413 = 0,000

Se observa que el valor p es menor que un nivel de significancia del 5%,
por lo que hay suficiente evidencia estadística para afirmar que la
propensión marginal a consumir es mayor al 0,78.
 Ejemplo: Teoría de Keynes
e) Gráfico Probabilístico

Se aprecia que los

residuales del modelo de
Keynes no se asemejan a
una distribución normal a
través del gráfico
probabilísticos, puesto que
en los extremos los
residuales no se ajustan a la
línea recta teórica.
 Ejemplo: Teoría de Keynes
e) Gráfico Residuales Estimados Vs Valores Ajustados

A partir del gráfico, los

residuales estimados parecen
no tener una varianza
constante, por lo que no son
homocedasticos.