Métodos Numéricos

en Ingeniería
4-Regresión lineal por
Mínimos Cuadrados
(Dr. Ricardo Quintero)

1
Introducción

En este apartado se estudiará el problema

de encontrar una curva y=f(x) que mejor
se “ajuste” a un conjunto de “n” puntos
(xi,yi) para cada valor de x en un rango.
La curva puede interpolar (ir a través de
cada uno de ellos –tema que veremos
más adelante-) lineal o no linealmente o
puede aproximarlos sin ir a través de
ellos.
2
Gráficamente

Regresión por mínimo cuadrados

Interpolación lineal

3
Interpolación curvilínea
Regresión lineal
 El ejemplo más simple es aproximar por
mínimos cuadrados buscando ajustar una
línea recta a un conjunto de observaciones
(x1,y1)…(xn,yn).
 La expresión para la línea recta sería:
y=a0+a1x+e
 Donde a0 y a1 son, respectivamente, la
ordenada al origen y la pendiente de la recta, e
el error entre el modelo y las observaciones.

4
Regresión lineal
 Despejando, el error estaría dado por:
e = y - a 0 - a 1x

5
Criterio para un “mejor” ajuste

La estrategia para ajustar la “mejor” línea

a través de los datos, será minimizar la
suma de los cuadrados de los residuos
entre la y medida y la y calculada con el
modelo lineal.

6
Obteniendo los coeficientes de la recta

Ecuaciones normales

7
Obteniendo los coeficientes de la
recta
La solución del sistema de ecuaciones
normales es el siguiente:

n xi yi   xi  yi
a1 
n xi  ( xi ) 2
2

a0  y  a1 x

8
Ej-Regresion lineal
 Ajuste a una línea recta los valores x e y de la tabla:

xi yi (yi-ym)2 (yi-a0-a1xi)2
1 0.5 8.5765 0.1687
2 2.5 0.8622 0.5625
3 2.0 2.0408 0.3473
4 4.0 0.3265 0.3265
5 3.5 0.0051 0.5896
6 6.0 6.6122 0.7972
7 5.5 4.2908 0.1993
S 24.0 22.7143 Sr=2.9911

ym=Promedio de y Sr=Sumatoria de los cuadrados de los errores

9
Ej-Regresion lineal
 Se calculan las siguientes cantidades:
n=7 Sxiyi=119.5 Sxi2=140
Sxi=28 xm=28/7=4
Syi=24 ym=24/7=3.428571
 Y calculando a0 y a1:
7(119.5)  28(24)
a1   0.8392857
7(140)  (28) 2
a0  3.428571  0.8392857(4)  0.07142857

 Por lo tanto, el ajuste por mínimos cuadrados es:

y=0.07142857+0.8392857x
10
Cuantificación del error

Cualquier otra línea diferente a la

calculada, daría como resultado una suma
mayor de los cuadrados de los residuos.
Así, la línea es única y es la mejor a
través de los puntos.

11
Cuantificación del error
 Es posible demostrar que si se cumplen:
1. Que la dispersión de los puntos alrededor de la
línea es de magnitud similar en todo el rango de
datos y
2. Que la distribución de estos puntos cerca de la
línea es normal
Entonces la regresión por mínimos cuadrados
proporcionará la mejor estimación para a0 y a1.
 Esto se conoce como el principio de máxima
verosimilitud.

12
Cuantificación del error

Además, si estos criterios se satisfacen,

una “desviación estándar” para la línea de
regresión se determina como sigue:
y/x = “el error es para un valor
Sr valor predicho de y correspondiente
Sy/x  a un valor particular de x”
n2 n-2= “se pierden 2 grados de libertad
(por a0 y a1)”

Donde a Sy/x se le llama error estándar

del estimado. Sr es la sumatoria de los
cuadrados de los errores: S(yi-a0-a1xi)2. 13
Cuantificación de error

Comparando entre la media (a) y la

regresión lineal (b):

14
Bondad de ajuste

Estos conceptos sirven para medir la

“bondad” de nuestro ajuste –que tan
bueno es- para comparar diferentes
métodos de regresión.

15
Coeficiente de determinación y
correlación
 Determina la mejora o reducción del error por describir
los datos en términos de línea recta en vez de un valor
promedio:
St  S r
r 
2
Coeficiente de determinación
St
r2 Coeficiente de correlación
 St es la sumatoria de los cuadrados de los errores
respecto la media ym =S(yi-ym)2
 Sr es la sumatoria de los cuadrados de los errores con la
regresión lineal = S(yi-a0-a1xi)2.

16
Coeficiente de determinación y
correlación
 En un ajuste perfecto, Sr=0 y r=r2=1. “La línea explica al
100% la variabilidad de los datos”.
 Si r=r2=0, Sr=St, el ajuste no representa alguna mejora.
 Una representación alternativa para implementar en
computadora es:
n xi yi  ( xi )(  yi )
r
n xi2  ( xi ) 2 n yi2  ( yi ) 2

17
Ej.- Estimación de errores en ajuste
lineal por mínimos cuadrados
Calcule la desviación estándar, el error
estándar estimado y el coeficiente de
correlación para los datos del ejemplo
anterior:
Desviación estándar (Sy):

22.7143
Sy   1.9457
7 1

18
Ej.- Estimación de errores en ajuste
lineal por mínimos cuadrados
Error estándar del estimado (Sy/x):
2.9911
Sy/x   0.7735
72

Como Sy/x<Sy, el modelo de regresión lineal es

adecuado. La mejora está dada por:
22.7143  2.9911
r 
2
 0.868
22.7143
r  0.868  0.932
El modelo lineal explicó el 86.8% de la incertidumbre original

19
 Algoritmo para regresión lineal 1/2
SUB Regress(x,y,n,a1,a0,syx, r2)
sumx=0:sumy=0:st=0
sumy=0:sumx2=0:sr=0
DOFOR i=1,n
sumx=sumx+xi
sumy=sumy+yi
sumxy=sumxy+xi*yi
sumx2=sumx2+xi*xi
END DO
xm=sumx/n
ym=sumy/n
a1=(n*sumxy-sumx*sumy)/(n*sumx2-sumx*sumx)
a0=ym-a1*xm

20
 Algoritmo para regresión lineal 2/2
DOFOR i=1,n
st=st+(yi-ym)2
sr=sr+(yi-a1*xi-a0)2
END DO
syx=(sr/(n-2))0.5
r2=(st-sr)/st
END Regress

21
Regresión polinomial

En ocasiones algunos datos exhiben un

patrón marcado que es pobremente
representado por una línea recta.
En estos casos una curva podría ser más
adecuada para ajustarse a los datos.
Una alternativa a esto es ajustar
polinomios a los datos mediante
regresión polinomial.
22
Extendiendo el procedimiento de
mínimos cuadrados a polinomios
Suponiendo que se ajusta a un polinomio
de grado superior, por ejemplo de
segundo grado:
y=a0+a1x+a2x2+e
En este caso la suma de los cuadrados
de los residuos es:
n
S r   ( yi  a0  a1 xi  a2 xi ) 2
2

i 1

23
Extendiendo el procedimiento de
mínimos cuadrados a polinomios
 Después de calcular las derivadas parciales de Sr
respecto a ai y reordenando los términos se obtienen las
ecuaciones normales:

(n)a0  ( xi )a1  ( xi )a2   yi

2

( xi )a0  ( xi )a1  ( xi )a2   xi yi

2 3

( xi )a0  ( xi )a1  ( xi )a2   xi yi

2 3 4 2

 Así el problema se reduce a resolver un sistema de tres

ecuaciones lineales simultáneas (las incógnitas serían
a0,a1 y a2)
24
Extendiendo a un polinomio de m-
ésimo grado
El caso bidimensional se extiende con
facilidad a un polinomio de m-ésimo grado
como sigue:
y=a0+a1x+a2x2+…+amxm+e
Así, la determinación de los coeficientes
de un polinomio de m-ésimo grado es
equivalente a resolver un sistema de m+1
ecuaciones lineales simultáneas.
25
Extendiendo a un polinomio de m-
ésimo grado
 El error estándar se formula como sigue:

Sr
Sy/ x 
n  (m  1)
 Se han perdido m+1 grados de libertad.
 Además se calcula un coeficiente de determinación y
de correlación para la regresión polinomial con la
ecuación:
St  S r
r 
2

St
r2
26
Ejercicio
 Ajustar un polinomio de segundo grado los datos de las
dos primeras columnas de la tabla:
xi yi (yi-ymedia)2 (yi-a0-a1xi-a2xi2)
0 2.1 544.44 0.14332
1 7.7 314.47 1.00286
2 13.6 140.03 1.08158
3 27.2 3.12 0.80491
4 40.9 239.22 0.61951
5 61.1 1272.11 0.09439
S 152.6 2513.39 3.74657

27
Solución
 A partir de los datos:

m=2 Sxi=15 Sxi4=979

n=6 Syi=152.6 Sxiyi=585.6

xmedia=2.5 Sxi2=55 Sxi2yi=2488.8

ymedia=25.433 Sxi3=225

28
Solución

Asi las ecuaciones lineales simultáneas

son:
6 15 55 a  0  
152.6 
15 55 225  a    585.6 
  1   
55 225 979    
a2  2488.8

Resolviendo: a0=2.47857, a1=2.35929 y

a2=1.86071

29
Solución

El error estándar del estimado es:

3.74657
Sy/x   1.12
63
El coeficiente de determinación:
2513.39  3.74657
r 
2
 0.99851
2513.39

Y de correlación: r=0.99925

30
Algoritmo para la regresión
polinomial
1. Introduzca el grado del polinomio sujeto a ajuste, m
2. Introduzca el número de datos, n
3. Si n<m+1, imprima un mensaje de error “la regresión
no es posible” y termine; en caso contrario continue.
4. Calcule los elementos de la ecuación normal en la
forma de una matriz aumentada.
5. Usando la matriz aumentada determine los coeficientes
a0, a1,…,am, por medio de un método de eliminación
6. Imprima los coeficientes.

31
Tarea

Será individual.
Elabore un Jupyter Notebook que resuelva
el problema 17.3. Incluya la graficación
de valores y el modelo de regresión
obtenido.
Entregue un document Word con el
Jupyter Notebook y la liga donde lo
publicó en Internet.
32