ChronoMath, une chronologie des MATHÉMATIQUES
à l'usage des professeurs de mathématiques, des étudiants et des élèves des lycées & collèges

Ajustement statistique         Cas linéaire (droites de régression)  |  Utiliser le programme en ligne
    Régression par la méthode des moindres carrés   

On considère un nuage de points Mi(xi,yi) que l'on désire ajuster au mieux par une courbe mathématique (c) de type x y = f(x) dont on devra choisir le type de façon pertinente eu égard au phénomène étudié. On recherche les paramètres de f, fonction affine, polynôme, exponentielle, etc., minimisant la somme des carrés des distances entre yi et f(xi), autrement dit :

On parle de régression pour exprimer la diminution de la somme des écarts. Utiliser la valeur absolue des écarts n'est pas pratique au niveau calculatoire, raison pour laquelle les scientifiques (astronomes, statisticiens) ont préféré leurs carrés δi2 = Mi Hi 2 où Hi est la projection de Mi sur (c) parallèlement à (Oy).

      
Cas d'un ajustement linéaire de type f(x) = ax + b; on cherche à minimiser Σδi2

La recherche d'un ajustement exponentiel (comme l'évolution d'une population) par une fonction de la forme :

f(x) = keax

relève de l'ajustement linéaire des points de coordonnées (xi , ln yi). En effet, si la méthode des moindres carrés fournit la droite d'équation y = ax + b, on a en fait :

ln y = ax + b, soit y = k.e ax avec k = eb

En astronomie, outre l'ajustement décrit ci-après, Gauss appliqua la méthode des moindres carrés à des mesures d'observation conduisant à la résolution de systèmes d'équations linéaires rectangulaires (possédant plus d'équations que d'inconnues) : il s'agit de rechercher une solution moyenne (ensemble de mesures) la plus vraisemblable en minimisant la somme Σri2 où ri désigne le résidu, différence entre le 1er membre de la i-ème équation et son terme constant.

Étudions le cas d'une approximation polynomiale de degré p :

Posons :

f(x) = co + c1x + … + cpxp

où p est le degré du polynôme d'ajustement et ck, k variant entre o et p, les coefficients recherchés. Il s'agit ici de minimiser :

Nous admettons ici deux résultats :

1. Concernant les fonctions numériques à plusieurs variables, une condition nécessaire (non suffisante) d'extremum en un point (co, …,cp) est que toutes les dérivées partielles de , à savoir /co , /c1 , ..., /cp soient nulles en ce point.

Condition d'extremum d'une fonction de plusieurs variables :

2. Dans le cas présent de la méthode des moindres carrés, on obtient effectivement un minimum (on peut le prouver en développant en série de Taylor). Les calculs peuvent paraître assez "techniques" mais ne présentent pas de difficultés majeures :

On écrit , pour tout k :

Ce qui conduit au système de p+1 équations :

avec f(x) = co + c1x + … + cpxp. Notons, pour simplifier :

 

c'est à dire : nco + c1S1 + c2S2 + … + cpSp = Wo

c'est à dire : coS1 + c1S2 + c2S3 + … + cpSp+1 = W1

Le système s'écrira alors matriciellement :

On constate que la matrice du système est symétrique. Si nous notons ai,j le terme général, on a :

On applique à ce système la méthode du pivot et l'on obtient le programme ci-après fournissant les coefficients a(n) de l'ajustement polynomial :

y = a(n)xn + a(n-1)xn-1 + ... a(2)x2 + a(1)x + a(0)


Le programme ci-dessous vous fournira les caractéristiques de l'ajustement polynomial désiré, le point moyen, les variances de X et Y ainsi que leur écarts-types, la covariance du couple (X,Y) et le coefficient de corrélation. A toute fin utile, le programme vous fournira également comme la plupart des calculatrices les valeurs des cinq sommes fondamentales nécessaires à l'obtention de ces valeurs, à savoir : xi , yi , xiyi , xi2, yi2.


           
Attention : dans le programme 2,25 doit être tapé 2.25 (point décimal) !!!

Cas particulier des droites de régression (p = 1), corrélation linéaire :

Lorsque p = 1, il s'agit de la recherche d'un ajustement au moyen d'une droite, on parle de régression linéaire. On distingue deux cas :

  La droite de régression de y en x, également appelée 1ère droite de régression d'équation, y = ax + b peut être obtenu par le programme (système 2x2). Le coefficient directeur a et l'ordonnée à l'origine b correspondent à :

Tout comme le programme ci-dessus, la plupart des calculatrices fournissent, après entrée des données xi et yi, les valeurs des quatre sommes nécessaires au calcul de a : xi , yi , xiyi , xi2, yi2.

En termes de probabilités, E désignant l'espérance mathématique, V la variance, on peut écrire plus simplement (division par n2 dans le calcul de a) :

où XY désigne la variable aléatoire prenant pour tout i = 1, 2, ...,n  les valeurs xiyi. On reconnaît au numérateur du coefficient directeur la covariance du couple (X,Y), donc :

 

La covariance est parfois notée σ(XY), notation malheureuse car si X = Y, on aura σ(X2) = E(X2) - [E(X)]2 = V(X) = [σ(X)]2. Or  l'écart-type du carré de X n'est pas le carré de son écart-type.

Vu que b = y - ax, c'est à dire y = ax + b, il est important, dans la pratique, de ne pas oublier que la droite de régression de y en x, notons-là (d1), passe par le point G(x,y), dit point moyen du nuage et son équation peut s'écrire :

d1 : y - y = a(x - xou encore :  y = ax + (y - ax)  

  La droite de régression de x en y ou seconde droite de régression, est obtenue en échangeant les rôles de x et y : on projette cette fois Mi sur (c) parallèlement à (Ox). Notons-là (d2).

Son coefficient directeur est a' = cov(X,Y)/V(Y), son ordonnée à l'origine b' = E(X) - a'E(Y) ou, si l'on préfère : b' = x - a'y. Dans le même repère que (d1), son équation est x = a'y + b', ou encore :

d2 : x - x = a'(y - yce qui peut s'écrire :  y = x/a' + (y - x/a')

Tout comme la droite (d1) de y en x, cette seconde droite de régression passe par le point moyen G(x,y) du nuage étudié et son coefficient directeur dans le repère de (d1) est 1/a'.

  Sachant que le coefficient de corrélation linéaire du couple (X,Y) est :

  on remarque que r2 = aa' :

Le carré du coefficient de corrélation linéaire d'un couple statistique est égal
au produit des coefficients directeurs des droites de régression

On peut démontrer que dans le cas p = 1, le minimum de Δ (somme des carrés des écarts) n'est autre (1 - r2)V(Y) pour la droite de y en x et (1 - r2)V(X) pour celle de x en y ( preuve). Cela signifie que si r = ± 1, on a Δ = 0 : tous les points sont alignés sur les droites (confondues) de régression. On estime ( Pearson) qu'un ajustement linéaire est pertinent lorsque l'on a r > 0,87. Dans l'exemple donné en début d'étude, un ajustement par la méthode des moindres carrés fournit sensiblement y = 0,42x + 1,6 et r = 0,51 : un ajustement linéaire ne semble pas pertinent !

Karl Pearson et le coefficient de corrélation :

Exemples d'application :

1.  Voici un nuage de 9 points. On désire l'ajuster linéairement par la méthode des moindres carrés :

Point 1 Point 2 Point 3 Point 4 Point 5 Point 6 Point 7 Point 8 Point 9
x = 1 x = 2 x = 3 x = 4 x = 5 x = 6 x = 7 x = 8 x = 9
y = 1 y = 1.5 y = 1.8 y = 2.2 y = 2.7 y = 3.3 y = 3.5 y = 4 y = 4.7

Avec p = 1 (polynôme de degré 1), le programme répond :

La droite de régression de y en x a ainsi pour équation y = 0,45x + 0,51. Ci-dessous, le tableau de valeurs correspondant à la régression (arrondis à 0,1) comparé au tableau de données. L'ajustement linéaire du phénomène étudié semble judicieux !

Point 1 Point 2 Point 3 Point 4 Point 5 Point 6 Point 7 Point 8 Point 9
x = 1 x = 2 x = 3 x = 4 x = 5 x = 6 x = 7 x = 8 x = 9
y = 1 y = 1.4 y = 1.9 y = 2.3 y = 2.8 y = 3.2 y = 3.7 y = 4,1 y = 4.6


2.  Les résultats suivants correspondent à l'ajustement par un polynôme du second degré (parabole, p = 2) d'un nuage de 7 points représenté ci-dessous :

Point1 Point 2 Point 3 Point 4 Point 5 Point 6 Point 7
x = -3 x = -2 x = 1 x = 2 x = 3 x = 4 x = 5
y = 2 y = 0.5 y = -1 y = -1 y = 0 y = 2 y = 4

Le programme répond : a(2) = 0.26987... , a(1) = - 0.3043... ,  a(0) = - 1,2583... C'est dire que la parabole d'ajustement a sensiblement pour équation :

y = 0.27x2 - 0.3x - 1,26

On constate l'efficacité de la méthode au vu du graphique : la parabole calculée ajuste remarquablement le nuage.


3.  Voici un cas tout à fait artificiel montrant encore cependant l'efficacité de la méthode. On a relevé sur la courbe d'équation y = 1/x + x/2 les coordonnées de 8 points à 0,1 près.

En admettant savoir que l'ajustement est de la forme y = a/x + bx (x > 0), on demande de calculer a et b par la méthode des moindres carrés.


Point1 Point 2 Point 3 Point 4 Point 5 Point 6 Point 7 Point 8
x = 0,5 x = 1 x = 1,5 x = 2 x = 2,5 x = 3 x = 4 x = 5
y = 2,3 y = 1.5 y = 1,4 y = 1,5 y = 1,7 y = 1,8 y = 2,3 y = 2,7

Attention : dans le programme 2,25 doit être tapé 2.25 (point décimal) !!!

On remarque que xy = a + bx2. En posant Y = xy et X = x2, on se ramène à une régression linéaire Y = a + bX. Formons le tableau des (X,Y) :

Point1 Point1 Point 2 Point 3 Point 4 Point 5 Point 6 Point 7 Point 8
x2 x = 0,25 x = 1 x =2,25 x = 4 x = 6,25 x = 9 x = 16 x = 25
xy y = 1,15 y = 1.5 y =2,1 y = 3 y = 4,25 y = 5,4 y = 9,2 y = 13,5

Avec p = 1, Le programme répond :

On retrouve bien l'équation y = 1/x + x/2.


Exercice pas gai
... : taux de mortalité , droite de Mayer
, PIB & Production automobile
 

Complément :   

On montre ici que dans le cas de la régression linéaire, le minimum de Δ = Σ[yi - f(xi)]2, somme des carrés des écarts, n'est autre (1 - r2)V(Y) pour la droite de y en x et (1 - r2)V(X) pour celle de x en y, r désignant le coefficient de corrélation de Pearson. Considérons la droite de régression (d1) de y en x. Nous avons ici Δ = Σ[yi - axi - b]2, la somme s'entendant pour i variant de 1 à n. Développons : Δ = Σyi2 + a2Σxi2 + nb2 - 2aΣxiyi - 2bΣyi + 2abΣxi. Divisons par n :

Δ/n = b2 - 2b(Y - aX) + + a2 - 2aXY = [b - (Y - aX)]2 - (Y - aX)2 +  Y²  + a2 - 2aXY

On développe le carré à droite du crochet et on voit apparaître V(X) =  X² - X² et V(Y) =  Y² - Y² (espérance du carré diminué du carré de l'espérance : attention à la place des ² dans ces expressions...), ainsi que cov(X,Y) = XY - XX :

Δ/n = [b - (Y - aX)]2 + V(Y) + a2V(X) - 2acov(X,Y) = [b - (Y - aX)]2 + V(Y) + V(X)[a - cov(X,Y)/V(X)]2 - cov2(X,Y)/V(X)

Les coefficients a et b cherchés minimiseront Δ/n, donc Δ si et seulement si les carrés [b - (Y - aX)]2 et [a - cov(X,Y)/V(X)]2 sont nuls. C'est dire que la solution optimale est donnée par b = Y - aX et a = cov(X,Y)/V(X). Le minimum est alors :

On voit apparaître là le coefficient de corrélation r = cov(X,Y)/[σ(X)σ(Y)] et on obtient Δmin = V(Y)(1 - r2).


© Serge Mehl - www.chronomath.com