INTRODUCCIÓN

El análisis de regresión engloba a un conjunto de métodos estadísticos que usamos

cuando tanto la variable de respuesta como la(s) variable(s)
predictiva(s) son continuas y queremos predecir valores de la primera en función de
valores observados de las segundas. En esencia, el análisis de regresión consiste
en ajustar un modelo a los datos, estimando coeficientes a partir de las
observaciones, con el fin de predecir valores de la variable de respuesta a partir de
una (regresión simple) o más variables (regresión múltiple) predictivas o
explicativas.

El análisis de regresión juega un papel central en la estadística moderna y se usa

para:

 identificar a las variables predictivas relacionadas con una variable de

respuesta

 describir la forma de la relación entre estas variables y para derivar una

función matemática óptima que modele esta relación

 predecir la variable de respuesta a partir de la(s) explicativas o predictoras

 REGRESION DE MINIMOS CUADRADOS

La dependencia entre dos (o más) variables puede ser tal que se base en una
relación funcional (matemática) exacta, como la existente entre la velocidad y la
distancia recorrida por un móvil; o puede ser estadística. La dependencia estadística
es un tipo de relación entre variables tal que conocidos los valores de la (las)
variable (variables) independiente(s) no puede determinarse con exactitud el valor
de la variable dependiente, aunque si se puede llegar a determinar un cierto
comportamiento (global) de la misma. (Ej. la relación existente entre el peso y la
estatura de los individuos de una población es una relación estadística).
El análisis de la dependencia estadística admite dos planteamientos (aunque
íntimamente relacionados):
El estudio del grado de dependencia existente entre las variables que queda
recogido en la teoría de la correlación.
La determinación de la estructura de dependencia que mejor exprese la relación, lo
que es analizado a través de la regresión.
Una vez determinada la estructura de esta dependencia la finalidad última de la
regresión es llegar a poder asignar el valor que toma la variable Y en un individuo
del que conocemos que toma un determinado valor para la variable 𝑋 (para las
variables 𝑋1 , 𝑋2 , … , 𝑋𝑛 ).
En el caso bidimensional, dadas dos variables 𝑋 e 𝑌 con una distribución conjunta
de frecuencias ( 𝑥𝑖 , 𝑦𝑗 , 𝑛𝑖𝑗 ), llamaremos regresión de Y sobre 𝑋( 𝑥⁄𝑦 ) a una función
que explique la variable Y para cada valor de 𝑋, y llamaremos regresión de 𝑋 sobre
𝑌 (𝑥⁄𝑦) a una función que nos explique la variable 𝑋 para cada valor de 𝑌.(Hay que
llamar la atención, como se verá más adelante, que estas dos funciones, en general,
no tienen por qué coincidir).
MÉTODO DE CUADRADOS MÍNIMOS – REGRESIÓN LINEAL.

Hemos enfatizado sobre la importancia de las representaciones gráficas y hemos

visto la utilidad de las versiones linealizadas de los gráficos (𝑋, 𝑌) junto a las
distintas maneras de llevar a cabo la linealización. A menudo nos confrontamos con
situaciones en las que existe o suponemos que existe una relación lineal entre las
variables 𝑋 e 𝑌.

Surge de modo natural la pregunta: ¿cuál es la relación analítica que mejor se ajusta
a nuestros datos? El método de cuadrados mínimos es un procedimiento general
que nos permite responder esta pregunta. Cuando la relación entre las
variables 𝑋 e 𝑌 es lineal, el método de ajuste por cuadrados mínimos se denomina
también método de regresión lineal.

Observamos o suponemos una tendencia lineal entre las variables y nos

preguntamos sobre cuál es la mejor recta:

𝑦(𝑥) = 𝑎 𝑥 + 𝑏

Que representa este caso de interés. Es útil definir la función:

2
𝑥 2 = ∑ 𝑖 (𝑦𝑖 − (𝑎 ∙ 𝑥𝑖 + 𝑏))

Que es una medida de la desviación total de los valores observados 𝑦𝒊 respecto de

los predichos por el modelo lineal 𝑎 𝑥 + 𝑏. Los mejores valores de la pendiente a y
la ordenada al origen 𝑏 son aquellos que minimizan esta desviación total, o sea, son
los valores que remplazados en la 𝐸𝑐. (1) minimizan la función 2. 𝐸𝑐. (2). Los
parámetros a y b pueden obtenerse usando técnicas matemáticas que hacen uso
del cálculo diferencial. Aplicando estas técnicas, el problema de minimización se
reduce al de resolver el par de ecuaciones:

𝑑𝑥 2 𝑑𝑥 2
=0 𝑦 =0
𝑑𝑎 𝑑𝑏
𝑛 ∑ 𝑥𝑖 𝑦𝑖 − ∑ 𝑥𝑖 ∑ 𝑦𝑖
𝑎=
𝑛 ∑ 𝑥𝑖2 𝑦𝑖 − (∑ 𝑥𝑖 )2

𝑛 ∑ 𝑥𝑖2 ∑ 𝑦𝑖 − ∑ 𝑥𝑖 ∑ 𝑥𝑖 𝑦𝑖
𝑏=
𝑛 ∑ 𝑥𝑖2 − (∑ 𝑥𝑖 )2

Actualmente, la mayoría de los programas de análisis de datos y planillas de cálculo,

realizan el proceso de minimización en forma automática y dan los resultados de los
mejores valores de 𝑎 y 𝑏, o sea los valores indicados por las ecuaciones.
Gráfico de datos asociados a un modelo lineal. La cantidad 𝑦𝑖 – 𝑦(𝑥𝑖 )
representa la desviación de cada observación de 𝑦𝑖 respecto del valor predicho por
el modelo 𝑦(𝑥).

El criterio de mínimos cuadrados reemplaza el juicio personal de quien mire los

gráficos y defina cuál es la mejor recta. En los programas como Excel, se realiza
usando la herramienta “regresión lineal” o “ajuste lineal”. Los resultados se aplican
en el caso lineal cuando todos los datos de la variable dependiente tienen la misma
incertidumbre absoluta y la incertidumbre de la variable independiente se considera
despreciable.

REGRESIÓN MÍNIMO-CUADRÁTICA

Consiste en explicar una de las variables en función de la otra a través de un

determinado tipo de función (lineal, parabólica, exponencial, etc.), de forma que la
función de regresión se obtiene ajustando las observaciones a la función elegida,
mediante el método de Mínimos-Cuadrados (M.C.O.).

Elegido el tipo de función ¦ ( ) la función de regresión concreta se obtendrá

minimizando la expresión:

2 𝑦
(𝑦𝑗 − (𝑥𝑖 )) . 𝑛𝑖𝑗 en el caso de la regresión de ⁄𝑥

2
(𝑥𝑖 − (𝑦𝑗 )) . 𝑛𝑖𝑗 en el caso de la regresión de 𝑥⁄𝑦
Puede probarse que es equivalente ajustar por mínimos cuadrados la totalidad de
las observaciones (toda la nube de puntos) que realizar el ajuste de los puntos
obtenidos por la regresión de la media; de forma que la regresión mínimo-cuadrática
viene ser, en cierto modo, la consecución de una expresión analítica operativa para
la regresión en sentido estricto.

Coeficientes de regresión.

Se llama coeficiente de regresión a la pendiente de la recta de regresión:

𝑦 𝑆𝑥𝑦
en la regresión ⁄𝑥 ∶ 𝑏 = 𝑆𝑥 2

𝑆𝑥𝑦
en la regresión 𝑥⁄𝑦 𝑏 ′ = 𝑆𝑦 2

El signo de ambos coincidirá con el de la covarianza, indicándonos la tendencia

(directa o inversa a la covariación). Es interesante hacer notar que 𝑏. 𝑏′ = 𝑟 2

BONDAD DEL AJUSTE (Varianza residual, varianza de la regresión y

coeficiente de determinación)

Por bondad del ajuste hay que entender el grado de acoplamiento que existe entre
los datos originales y los valores teóricos que se obtienen de la regresión.
Obviamente cuanto mejor sea el ajuste, más útil será la regresión a la pretensión de
obtener los valores de la variable.

Obtener indicadores de esta bondad de ajuste es fundamental a la hora de optar

por una regresión de un determinado tipo u otro.

Puesto que la media de los residuos se anula, el primer indicador de la bondad del
ajuste (no puede ser el error medio) será el error cuadrático medio, o varianza del
residuo, o varianza residual:

Considerando la regresión Y/X:

Que será una cantidad mayor o igual que cero. De forma que cuanto más baja sea
mejor será el grado de ajuste. Si la varianza residual vale cero el ajuste
será perfecto (ya que no existirá ningún error).
Del hecho de que 𝑦𝑖 = 𝑦 ∗ 𝑖 + 𝑒𝑖 , 𝑦 de que las variables 𝒚 ∗ ý e están
incorrelacionadas se tiene que:

Donde S2y* es la llamada varianza de la regresión y supone la varianza de la

variable regresión:

Igualdad fundamental anterior de la que se deduce que la varianza total de la

variable y puede descomponerse en dos partes una parte explicada por la regresión
(la varianza de la regresión) y otra parte no explicada (la varianza residual).

Considerando que la varianza nos mide la dispersión de los datos este hecho hay
que entenderlo como que la dispersión total inicial queda, en parte explicada por la
regresión y en parte no. Cuanto mayor sea la proporción de varianza explicada (y
menor la no explicada) tanto mejor será el ajuste y tanto más útil la regresión.

A la proporción de varianza explicada por la regresión se le llama coeficiente de

determinación (en nuestro caso lineal):

que evidentemente estará siempre comprendido entre 0 y 1 y, en consecuencia, da

cuenta del tanto por uno explicado por la regresión.

Una consecuencia importante en la práctica es que la varianza residual será

obviamente:

Es sencillo probar que en el caso lineal que nos ocupa el coeficiente de

determinación coincide con el cuadrado del coeficiente de correlación:

R2 = r2

Con lo cual la varianza residual y la varianza debida a la regresión pueden

calcularse a partir del coeficiente de correlación:
REGRESIÓN MÍNIMO CUADRÁTICA NO-LINEAL

La regresión mínimo-cuadrática puede plantearse de forma que la función de ajuste

se busca no sea una función lineal. El planteamiento general sería similar, aunque
obviamente habría que minimizar el cuadrado de los residuos entre los datos
originales y los valores teóricos obtenibles a través de la función no-lineal
considerada.

Regresión parabólica. Desarrollaremos someramente la regresión Y/X y debe

quedar claro que la regresión X/Y resultaría análoga.

Supongamos para simplificar que los datos no están agrupados por frecuencias.

En tal caso, obtener la función parabólica 𝑦 ∗ = 𝑎0 + 𝑎1 𝑥 + 𝑎2 𝑥 2 se llevará a cabo

determinado los valores de los tres parámetros 𝑎0 , 𝑎1 , 𝑎2 que minimicen:
2
𝑦 (𝑎0 , 𝑎1 , 𝑎2 ) = 𝑆 (𝑦𝑖 − (𝑎0 + 𝑎1 𝑥 + 𝑎2 𝑥 2 ))

Igualando a cero las tres derivadas parciales se obtendrá las ecuaciones normales,
que convenientemente manipuladas acaban siendo:

Sistema de ecuaciones del que se pueden despejar los valores de los coeficientes
de regresión.
 Regresión polinomial
Algunas veces cuando la relación entre las variables dependientes e independientes
es no lineal, es útil incluir términos polinomiales para ayudar a explicar la variación
de nuestra variable dependiente.
Las regresiones polinomiales se pueden ajustar la variable independiente con varios
términos

Que, derivando respecto a cada uno de los coeficientes nos da el planteamiento un

sistema de ecuaciones de la siguiente forma (donde m es el número de pares de
datos):
Ejemplo

x y xy x2 y2 x2y x3 x4

1 3 3 1 9 3 1 1

1.2 3.4 4.08 1.44 11.56 4.896 1.728 2.0736

1.5 5 7.5 2.25 25 11.25 3.375 5.0625

2 2 4 4 4 8 8 16

3 4.1 12.3 9 16.81 36.9 27 81

3.7 5 18.5 13.69 25 68.45 50.653 187.4161

4 7 28 16 49 112 64 256

4.5 6.5 29.25 20.25 42.25 131.625 91.125 410.0625

Σ 20.9 Σ 36 Σ 106.63 Σ 67.63 Σ 182.62 Σ 376.121 Σ 246.881 Σ 958.6147

Usando una Matriz para calcular valores de los coeficientes

Usando el método de Eliminación de Gauss-Jordán

La ecuación final que modela el sistema es

Una extensión útil de la regresión lineal es el caso en el que y es una función lineal
de dos o más variables independientes. Por ejemplo, 𝑦 podría ser una función
lineal de 𝑥1 y 𝑥2 , como en
𝑦 = 𝑎0 + 𝑎1 𝑥1 + 𝑎2 𝑥2 + 𝑒
En particular tal ecuación es útil cuando se ajustan datos experimentales donde la
variable sujeta a estudio es una función de otras dos variables. En este caso
bidimensional, la “línea” de regresión se convierte en un “plano”
Como en los casos anteriores, los “mejores” valores para los coeficientes se
determinan al realizar la suma de los cuadrados de los residuos
𝑛

𝑆𝑟 = ∑(𝑦𝑖 − 𝑎0 − 𝑎1 𝑥1𝑖 − 𝑎2 𝑥2𝑖 )2

𝑖=1

Y derivando con respecto a cada uno de los coeficientes desconocidos

Los coeficientes que dan la suma mínima de los cuadrados de los residuos se
obtienen al igualar a cero las derivadas parciales y expresando el resultado en
forma matricial:

Ejemplo
Planteamiento del problema: Los siguientes datos se calcularon con la ecuación
𝑦 = 5 + 4𝑥1 − 3𝑥2 :
Utilice la regresión lineal múltiple para ajustar estos datos.
Solución

Que se resuelve mediante un método como el de eliminación de Gauss,

obteniéndose
𝑎0 = 5 𝑎1 = 4 𝑎2 = −3

Que es consistente con la ecuación original, de la cual se obtienen los datos

 BIBLIOGRAFÍA

 https://sites.google.com/site/numerictron/unidad-4/4-3-regresion-por-minimos-cuadrados-
lineal-y-cuadratica
 http://www.ccg.unam.mx/~vinuesa/R4biosciences/docs/Tema9_regresion.html
 https://es.wikipedia.org/wiki/Regresi%C3%B3n_no_lineal#Regresi%C3%B3n_polinomial
 https://es.scribd.com/document/390545146/Metodos-numericos-para-Ingenieros-7ma-
Edicion-Chapra-pdf