Академический Документы
Профессиональный Документы
Культура Документы
Dans toute la suite on supposera que le nuage a n points et on utilisera comme critère
de recherche de a et b:
Critère:
Les coefficients a et b sont les valeurs qui rendent minimum la fonction de deux
variables f(a,b) somme des carrés des écarts
n n
2
f(a, b) = e 1 +...+ e n = ∑ (y i − y i ) = ∑ (y i − ax i − b) 2
2 2
i =1 i =1
Théorème:
Les coefficients a et b existent et sont uniques. La droite obtenue y=ax+b s'appelle la
droite de régression de y en x. C'est la droite ( le modèle algébrique) qui explique le
nuage de points.
Rappel sur les fonctions de deux variables
Si une fonction de deux variables admet un minimum (ou un maximum) alors les
dérivées partielles d'ordre 11 sont nulles.
∂f ∂f
f (x1 , x 2 ) minimum ⇒ = 0et =0
∂x1 ∂x 2
Dans le cas particulier de la fonction considérée il y a équivalence. Rechercher a et b revient
donc à trouver les valeurs qui annulent les dérivées partielles d'ordre 1.
Théorème
Les coefficients a et b existent; ce sont les valeurs qui rendent minimum la fonction
de deux variables f(a,b) qui mesure la somme des carrés des écarts
n
f (a, b) = e1 +... + e n = ∑ (y i − ax i − b) 2
2 2
i =1
Démonstration:
Nous allons calculer les deux dérivées partielles de f par rapport à a et b
∂f
Calcul de :
∂a
n
∂( ∑ (y i − ax i − b) 2 ) ∂ (y i − ax i − b) 2 ∂ (y i − ax i − b) 2
∂f (a, b) ∂(e12 +... + e n 2 ) n n
= = i =1
=∑ =∑ =
∂a ∂a ∂a i =1 ∂a i =1 ∂a
n n n n
i =1
∂f
Calcul de :
∂b
⎧ n 2 n n
⎪ a ∑
⎪ i =1
x i + b ∑
i =1
x i = ∑i =1
x i yi (1) ⎧ n 2
⎪ ∑ i
a x + b ∑
n
x
n
i ∑ x i yi
= (1)
⇔⎨ n n
⇔ ⎨ i =1 i =1 i =1
⎪b= 1 y − a 1 x ⎪
⎪⎩ n ∑ ∑ i ⎩b=y − ax
i (2) (2)
i =1 n i =1
∑ xi2 ∑x i n
⎛ n ⎞
2
⎛ n 2
2 1 1 ⎛ n ⎞ ⎞
2
i =1 i =1
= n∑ xi 2
− ⎜ ∑ x i ⎟ = n ⎜ ∑ x i − 2 ⎜ ∑ x i ⎟ ⎟⎟ = n 2 V(x)
⎜
⎝ i =1 ⎠ n ⎝ i =1 ⎠ ⎠
n
∑x
i =1
i n i =1 ⎝ n i =1
Le déterminant du système est nul si tous les points du nuages ont la même abscisse
(dispersion nulle sur l'axe des abscisses ⇔ V(x)=0).
Les solutions a et b sont égales à:
n n
∑ xiy i
i =1
∑x
i =1
i
n n
⎛ n n
⎞
∑yi
i =1
n n∑ xiy i − ⎜∑ xi ∑ y i ⎟
i =1 ⎝ i =1 i =1 ⎠
a= = b = y − ax
n n
n 2 V(x)
∑x
i =1
i
2
∑x i =1
i
∑x i =1
i n
1 n ⎛ 1 n ⎞⎛ 1 n ⎞
En posant Cov(x, y) = ∑
n i =1
x y
i i − ⎜ ∑ x i ⎟ ⎜ ∑ y i ⎟ (cette expression s'appelle la
⎝ n i =1 ⎠ ⎝ n i =1 ⎠
covariance de x et de y), on peut exprimer a et b sous les formules résumées
Cov(x, y)
a= b = y − ax
V(x)
La moyenne des yi est égale à la moyenne des axi+b
1 n 1 n ⎛1 n ⎞
y = ∑ yi = ∑ (axi + b) = a ⎜ ∑ xi ⎟ + b = ax + b = y
n i =1 n i =1 ⎝ n i =1 ⎠
⎛1 n 2⎞ 2 ⎛1 n 2⎞
Vr = ⎜ ∑ ei ⎟ − e = ⎜ ∑ ei ⎟ car e = 0
2
⎝ n i =1 ⎠ ⎝ n i =1 ⎠
Démonstration:
⎛1 n 2⎞ 1 n 2 1 n 2 1 n 1 n 1 n 2 n
⎜ n ∑ ei ⎟ = n ∑ (yi − yi ) = n ∑ (yi − y + y − yi ) = n ∑ ⎡⎣ (yi − y ) − (yi - y ) ⎤⎦ = n ∑ (yi − y ) + n ∑ (yi - y ) − n ∑ (yi − y )(yi - y )
2
2 2
⎝ i =1 ⎠ i =1 i =1 i =1 i =1 i =1 i =1
a)
1 n
1 n 1 n 1 n Cov(x, y) 2 Cov(x, y) 2
∑
n i =1
(y i - y) 2 = ∑ (ax i + b - ax - b) 2 = ∑ (ax i - ax) 2 = a 2 ∑ (x i - x) 2 =
n i =1 n i =1 n i =1 V(x) 2
V(x) =
V(x)
b)
1 n 1 n 1 n 1 n Cov(x, y) Cov(x, y) 2
∑
n i =1
(y i − y)(y i - y) = ∑ (y i − y)(ax i + b - ax - b) = ∑ (y i − y)(ax i - ax) = a ∑ (y i − y)(x i - x) =
n i =1 n i =1 n i =1 V(x)
Cov(x, y) =
V(x)
Il en résulte que
Donc:
⎛1 n 2⎞ 1 n 1 n 2 n 1 n 1 n
⎜ n ∑ ei ⎟ = n ∑ (yi − y) + n ∑ (yi -y) − n ∑ (yi − y)(yi -y) = n ∑ (yi − y) − n ∑ (yi -y) = V(y) − Ve
2 2 2 2
⎝ i =1 ⎠ i =1 i =1 i =1 i =1 i =1
Il en résulte la propriété, à savoir que la variance résiduelle est la variance de la série des écarts
que l'on a utilisé pour mettre en évidence la droite de régression.
⎛1 n 2⎞ 1 n 1 n 2 n 1 n 1 n
⎜ n ∑ ei ⎟ = n ∑ (yi − y) + n ∑ (yi -y) − n ∑ (yi − y)(yi -y) = n ∑ (yi − y) − n ∑ (yi -y) = V(y) − Ve
2 2 2 2
⎝ i =1 ⎠ i =1 i =1 i =1 i =1 i =1
Relation entre le coefficient de détermination r² et les variances expliquée
et résiduelle
Démonstration
D'après ce qui précède on a
1 n 1 n 1 n 2 1
n
Cov(x, y) 2 Cov(x, y) 2
Ve = ∑ i
n i =1
(y - y) 2
= ∑ i
n i =1
(ax + b - ax - b) 2
= ∑ i
n i =1
(ax - ax) 2
= a ∑ i
n i =1
(x - x) 2
=
V(x) 2
V(x) =
V(x)
Ve Cov(x, y) 2
donc: = = r².
V ( y ) V(y)V(x)
Vr V(y) - Ve
Comme Vr = V(y) - Ve ⇒ = = 1− r ².
V(y) V(y)
On utilisera ces résultats pour calculer les différentes variances. Si r² et V(y) sont connus par
le calcul, il est facile d'évaluer les variances expliquée et résiduelle.
Ve = V(y)r² et Vr = V(y) - Ve = V(y) - V(y) r ² = (1 − r ²) V(y)