Вы находитесь на странице: 1из 36

METODOS NUMRICOS

CAP. 4 REGRESIN POR MNIMOS CUADRADOS


REGRESIN POR MNIMOS CUADRADOS

4.1. Regresin lineal.


4.2. Regresin polinomial.
4.3. Regresin lineal mltiple.
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


El ejemplo ms simple de una aproximacin por mnimos cuadrados es
ajustar una lnea recta a un conjunto de observaciones definidas por
puntos: (x1, y1), (x2, y2),, (xn, yn).
La expresin matemtica para la lnea recta es:

y = a0 + a1x + e (1)
donde a0 y a1 son coeficientes que representan la interseccin con el eje y
y la pendiente, respectivamente, e es el error, o diferencia, entre el modelo
y las observaciones, el cual se representa al reordenar la ecuacin (1)
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


As, el error o residuo es la discrepancia entre el valor verdadero de
y y el valor aproximado, a0 + a1x, que predijo la ecuacin lineal.
Criterio para un mejor ajuste
Una estrategia para ajustar una mejor lnea a travs de los datos
ser minimizar la suma de los errores residuales de todos los
datos disponibles, como sigue:
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


donde n = nmero total de
puntos. Sin embargo, ste es
un criterio inadecuado, como
lo muestra la figura, la cual
presenta el ajuste de una lnea
recta de dos puntos.
Obviamente, el mejor ajuste
es la lnea que une los puntos.
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


Sin embargo, cualquier lnea recta
que pase a travs del punto medio
que une la lnea (excepto una
lnea perfectamente vertical) da
como resultado un valor mnimo
de la ecuacin igual a cero, debido
a que los errores se cancelan.
Por lo tanto, otro criterio lgico
podra ser minimizar la suma de
los valores absolutos de las La figura muestra por qu este criterio tambin es
inadecuado. Para los cuatro puntos dados, cualquier lnea
discrepancias recta que est dentro de las lneas punteadas minimizar
el valor absoluto de la suma. As, este criterio tampoco
dar un nico mejor ajuste
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


Una tercera estrategia para ajustar una
mejor lnea es el criterio minimax. En esta
tcnica, la lnea se elige de manera que
minimice la mxima distancia a que un
punto se encuentra de la lnea.
Como se ilustra en la figura, tal estrategia
es inadecuada para la regresin, ya que da
excesiva influencia a puntos fuera del
conjunto; es decir, a un solo punto con un
gran error.
Deber observarse que el principio minimax
es, en algunas ocasiones, adecuado para
ajustar una funcin simple a una funcin
complicada
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


La estrategia que supera las deficiencias de los
procedimientos mencionados consiste en
minimizar la suma de los cuadrados de los
residuos entre la y medida y la y calculada con
el modelo lineal

Este criterio tiene varias ventajas, entre ellas el hecho


de que se obtiene una lnea nica para cierto conjunto
de datos
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


Antes de analizar tales propiedades, presentaremos una tcnica para determinar los
valores de a0 y a1 que minimizan la ecuacin:

Ajuste de una lnea recta por mnimos cuadrados


Para determinar los valores de a0 y a1, la ecuacin de la diapositiva anterior se
deriva con respecto a cada uno de los coeficientes:
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


Ajuste de una lnea recta por mnimos cuadrados

Observe que hemos simplificado los smbolos de la sumatoria; a menos que se indique otra
cosa, todas las sumatorias van desde i = 1 hasta n. Al igualar estas derivadas a cero, se dar
como resultado un Sr mnimo. Si se hace esto, las ecuaciones se expresan como
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


Ajuste de una lnea recta por mnimos cuadrados
Ahora, si observamos que a0 = na0, expresamos las ecuaciones como un conjunto de
dos ecuaciones lineales simultneas, con dos incgnitas (a0 y a1):
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


Ajuste de una lnea recta por mnimos cuadrados
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


Ajuste de una lnea recta por mnimos cuadrados
Planteamiento del problema. Ajuste a una lnea recta los valores x y y en las
dos primeras columnas de la tabla
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


Ajuste de una lnea recta por mnimos cuadrados

Planteamiento del problema. Ajuste a una lnea recta los valores x y y en las
dos primeras columnas de la tabla
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


Ajuste de una lnea recta por mnimos cuadrados

Planteamiento del problema. Ajuste a una lnea recta los valores x y y en las
dos primeras columnas de la tabla
REGRESIN POR MNIMOS CUADRADOS

4.1 REGRESION LINEAL


Ajuste de una lnea recta por mnimos cuadrados
REGRESIN POR MNIMOS CUADRADOS
REGRESIN POR MNIMOS CUADRADOS
REGRESIN POR MNIMOS CUADRADOS
REGRESIN POR MNIMOS CUADRADOS
REGRESIN POR MNIMOS CUADRADOS
REGRESIN POR MNIMOS CUADRADOS
REGRESIN POR MNIMOS CUADRADOS
Programa computacional para la regresin lineal
REGRESIN POLINOMIAL
REGRESIN POLINOMIAL
Al seguir el procedimiento de la regresin lineal tendremos:
REGRESIN POLINOMIAL
Estas ecuaciones se igualan a cero y se reordenan para desarrollar el siguiente conjunto de
ecuaciones normales:

donde todas las sumatorias van desde i = 1 hasta n. Observe que las tres ecuaciones anteriores son lineales y
tienen tres incgnitas: a0, a1 y a2. Los coeficientes de las incgnitas se evalan de manera directa, a partir de
los datos observados.
En este caso, observamos que el problema de determinar un polinomio de segundo grado por mnimos
cuadrados es equivalente a resolver un sistema de tres ecuaciones lineales simultneas. En la parte tres se
estudiaron las tcnicas para resolver tales ecuaciones.
REGRESIN POLINOMIAL
El caso bidimensional se extiende con facilidad a un polinomio de m-simo grado como sigue

El anlisis anterior se puede extender fcilmente a este caso ms general. As, se reconoce que la
determinacin de los coeficientes de un polinomio de m-simo grado es equivalente a resolver un sistema
de m + 1 ecuaciones lineales simultneas. En este caso, el error estndar se formula como sigue:

Esta cantidad se dividide entre n (m + 1), ya que (m + 1) coeficientes obtenidos de los datos, a0, a1,,
am, se utilizaron para calcular Sr; hemos perdido m + 1 grados de libertad. Adems del error estndar,
tambin se calcula un coeficiente de determinacin para la regresin polinomial.
REGRESIN POLINOMIAL
REGRESIN POLINOMIAL

Resolviendo estas ecuaciones con una tcnica como la


eliminacin de Gauss se tiene a0 = 2.47857, a1 = 2.35929 y a2 =
1.86071.

Por lo tanto, la ecuacin cuadrtica por mnimos cuadrados en


este caso es

y = 2.47857 + 2.35929x + 1.86071x2


REGRESIN POLINOMIAL
Algoritmo para la regresin polinomial
REGRESIN LINEAL MLTIPLE
Una extensin til de la regresin lineal es el caso en el que y es una funcin lineal de dos o ms variables
independientes. Por ejemplo, y podra ser una funcin lineal de x1 y x2, como en

y = a0 + a1x1 + a2x2 + e

En particular tal ecuacin es til cuando se ajustan datos experimentales donde la variable sujeta a
estudio es una funcin de otras dos variables. En este caso bidimensional, la lnea de regresin se
convierte en un plano
REGRESIN LINEAL MLTIPLE
Como en los casos anteriores, los mejores valores para los coeficientes se determinan al realizar la suma
de los cuadrados de los residuos

Los coeficientes que dan la suma mnima de los cuadrados de los residuos se obtienen al igualar a cero
las derivadas parciales y expresando el resultado en forma matricial
REGRESIN LINEAL MLTIPLE
Planteamiento del problema. Los siguientes datos se calcularon con la ecuacin y = 5 + 4x1 3x2:

Utilice la regresin lineal mltiple para ajustar estos datos.


REGRESIN LINEAL MLTIPLE
El caso bidimensional anterior fcilmente se extiende a m dimensiones as

Вам также может понравиться