ChronoMath, une chronologie des MATHÉMATIQUES
à l'usage des professeurs de mathématiques, des étudiants et des élèves des lycées & collèges

Ajustement statistique         Cas linéaire (droite de régression)  |  Utiliser le programme en ligne
    Régression par la méthode des moindres carrés   

On considère un nuage de points Mi(xi,yi) que l'on désire ajuster au mieux par une courbe mathématique de type x y = f(x) dont on devra choisir le type de façon pertinente eu égard au phénomène étudié. On recherche les paramètres de f, fonction affine, polynôme, exponentielle, etc., minimisant la somme des carrés des distances entre yi et f(xi). On cherche alors à minimiser (régression) la somme :

La recherche d'un ajustement exponentiel (comme l'évolution d'une population) par une fonction de la forme :

f(x) = keax

relève de l'ajustement linéaire des points de coordonnées (xi , ln yi). En effet, si la méthode des moindres carrés fournit la droite d'équation y = ax + b, on a en fait :

ln y = ax + b, soit y = k.e ax avec k = eb

En astronomie, outre l'ajustement décrit ci-après, Gauss appliqua la méthode des moindres carrés à des mesures d'observation conduisant à la résolution de systèmes d'équations linéaires rectangulaires (possédant plus d'équations que d'inconnues) : il s'agit de rechercher une solution moyenne (ensemble de mesures) la plus vraisemblable en minimisant la somme Σri2 où ri désigne le résidu, différence entre le 1er membre de la i-ème équation et son terme constant.

Étudions le cas d'une approximation polynomiale de degré p :

Posons :

f(x) = co + c1x + … + cpxp

où p est le degré du polynôme d'ajustement et ck , k variant entre o et p, les coefficients recherchés. Il s'agit ici de minimiser :

Nous admettons ici deux résultats :

1. Concernant les fonctions numériques à plusieurs variables, une condition nécessaire (non suffisante) d'extremum en un point (co, …,cp) est que toutes les dérivées partielles de , à savoir /co , /c1 , ..., /cp soient nulles en ce point.

Condition d'extremum d'une fonction de plusieurs variables :

2. Dans le cas présent de la méthode des moindres carrés, on obtient effectivement un minimum (on peut le prouver en développant en série de Taylor). Les calculs peuvent paraître assez "techniques" mais ne présentent pas de difficultés majeures :

On écrit , pour tout k :

Ce qui conduit au système de p+1 équations :

avec f(x) = co + c1x + … + cpxp. Notons, pour simplifier :

 

c'est à dire : nco + c1S1 + c2S2 + … + cpSp = Wo

c'est à dire : coS1 + c1S2 + c2S3 + … + cpSp+1 = W1

Le système s'écrira alors matriciellement :

On constate que la matrice du système est symétrique. Si nous notons ai,j le terme général, on a :

Droites de régression (p = 1), corrélation linéaire :

Lorsque p = 1, il s'agit d'un ajustement linéaire, on parle de régression linéaire. Le cas de la droite de régression dite de y en x d'équation y = ax + b est très fréquent; on a les formules :

E désignant l'espérance mathématique, V la variance, on peut écrire plus simplement (division par n2 dans le calcul de a) :

où XY désigne la variable aléatoire prenant pour tout i = 1,...n,  les valeurs xiyi.

La covariance du couple (X,Y) est cov(X,Y) = E(XY) - E(X)E(Y). Par suite :

La plupart des calculatrices fournissent, après entrée des données xi et yi, les valeurs de n (nombre de données), de a, de b et des quatre sommes nécessaires au calcul de a : xi , yi , xiyi , xi2. En inversant les rôles de x et y, on obtient la droite de régression de x en y. Les calculatrices fournissent d'ailleurs aussi yi2.

Le programme ci-dessous vous fournira les caractéristiques de l'ajustement polynomial désiré (linéaire si le degré demandé est 1), dont la covariance et le coefficient de corrélation corr(X,Y) d'autant proche de 1 en valeur absolue que l'ajustement linéaire est probable :

Complément sur l'interprétation du coefficient de corrélation :

On applique à ce système la méthode du pivot et l'on obtient le programme ci-après fournissant les coefficients a(n) de l'ajustement polynomial :

y = a(n)xn + a(n-1)xn-1 + ... a(2)x2 + a(1)x + a(0)

ainsi que le point moyen, la variance en X et Y, la covariance c(X,Y) et le coefficient de corrélation c.

Attention : dans le programme 2,25 doit être tapé 2.25 (point décimal) !!!


           
Exemples d'application :

1.  Voici un nuage de 9 points. On désire l'ajuster linéairement par la méthode des moindres carrés :

Point 1 Point 2 Point 3 Point 4 Point 5 Point 6 Point 7 Point 8 Point 9
x = 1 x = 2 x = 3 x = 4 x = 5 x = 6 x = 7 x = 8 x = 9
y = 1 y = 1.5 y = 1.8 y = 2.2 y = 2.7 y = 3.3 y = 3.5 y = 4 y = 4.7

Avec p = 1 (polynôme de degré 1), le programme répond :

La droite de régression de y en x a ainsi pour équation y = 0,45x + 0,51. Ci-dessous, le tableau de valeurs correspondant à la régression (arrondis à 0,1) comparé au tableau de données. L'ajustement linéaire du phénomène étudié semble judicieux !

Point 1 Point 2 Point 3 Point 4 Point 5 Point 6 Point 7 Point 8 Point 9
x = 1 x = 2 x = 3 x = 4 x = 5 x = 6 x = 7 x = 8 x = 9
y = 1 y = 1.4 y = 1.9 y = 2.3 y = 2.8 y = 3.2 y = 3.7 y = 4,1 y = 4.6


2.  Les résultats suivants correspondent à l'ajustement par un polynôme du second degré (parabole, p = 2) d'un nuage de 7 points représenté ci-dessous :

Point1 Point 2 Point 3 Point 4 Point 5 Point 6 Point 7
x = -3 x = -2 x = 1 x = 2 x = 3 x = 4 x = 5
y = 2 y = 0.5 y = -1 y = -1 y = 0 y = 2 y = 4

Le programme répond : a(2) = 0.26987... , a(1) = - 0.3043... ,  a(0) = - 1,2583... C'est dire que la parabole d'ajustement a sensiblement pour équation :

y = 0.27x2 - 0.3x - 1,26

On constate l'efficacité de la méthode au vu du graphique : la parabole calculée ajuste remarquablement le nuage.


3.  Voici un cas tout à fait artificiel montrant encore cependant l'efficacité de la méthode. On a relevé sur la courbe d'équation y = 1/x + x/2 les coordonnées de 8 points à 0,1 près.

En admettant savoir que l'ajustement est de la forme y = a/x + bx (x > 0), on demande de calculer a et b par la méthode des moindres carrés.


Point1 Point 2 Point 3 Point 4 Point 5 Point 6 Point 7 Point 8
x = 0,5 x = 1 x = 1,5 x = 2 x = 2,5 x = 3 x = 4 x = 5
y = 2,3 y = 1.5 y = 1,4 y = 1,5 y = 1,7 y = 1,8 y = 2,3 y = 2,7

Attention : dans le programme 2,25 doit être tapé 2.25 (point décimal) !!!

On remarque que xy = a + bx2. En posant Y = xy et X = x2, on se ramène à une régression linéaire Y = a + bX. Formons le tableau des (X,Y) :

Point1 Point1 Point 2 Point 3 Point 4 Point 5 Point 6 Point 7 Point 8
x2 x = 0,25 x = 1 x =2,25 x = 4 x = 6,25 x = 9 x = 16 x = 25
xy y = 1,15 y = 1.5 y =2,1 y = 3 y = 4,25 y = 5,4 y = 9,2 y = 13,5

Avec p = 1, Le programme répond :

On retrouve bien l'équation y = 1/x + x/2.


Exercice pas gai
... : taux de mortalité , droite de Mayer


© Serge Mehl - www.chronomath.com