La régression linéaire et la droite des moindres carrés

Ce que dit la formule

On dispose de $n$ points $(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)$, avec $n \geq 2$ et des abscisses $x_i$ qui ne sont pas toutes égales. Parmi toutes les droites d’équation $y = ax + b$, il en existe une seule qui rend minimale la somme des carrés des écarts verticaux

C’est la droite des moindres carrés, ou droite de régression de $y$ en $x$. Ses coefficients sont

• $x_i$ et $y_i$ : les coordonnées du $i$-ème point (par exemple une durée et une mesure).
• $\bar{x}$ et $\bar{y}$ : les moyennes des $x_i$ et des $y_i$, soit $\bar{x} = \frac{1}{n} \sum_i x_i$ et $\bar{y} = \frac{1}{n} \sum_i y_i$.
• $\sum_i$ : la somme pour $i$ allant de 1 à $n$.
• $a$ : le coefficient directeur (la pente) de la droite. Son numérateur, divisé par $n$, est la covariance des $x_i$ et des $y_i$ ; son dénominateur, divisé par $n$, est la variance des $x_i$. Ce dénominateur n’est nul que si toutes les $x_i$ sont égales, d’où la condition.
• $b$ : l’ordonnée à l’origine. La relation $b = \bar{y} - a\,\bar{x}$ signifie que la droite passe par le point moyen $(\bar{x}, \bar{y})$.
• $y_i - (a x_i + b)$ : l’écart vertical du $i$-ème point à la droite, appelé résidu.

Le coefficient de corrélation. On mesure la qualité de l’ajustement par $r = \frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum_i (x_i - \bar{x})^2 \, \sum_i (y_i - \bar{y})^2}}$, toujours compris entre $-1$ et $1$ (quand les $y_i$ ne sont pas toutes égales). Plus $|r|$ est proche de 1, plus les points sont proches d’une droite ; $r = \pm 1$ quand ils sont exactement alignés.

Ce que la formule ne dit pas. Elle trouve toujours une droite, même pour un nuage qui n’a rien de rectiligne : il faut regarder les points avant de s’y fier. Une bonne corrélation ne prouve pas que $x$ cause $y$. Enfin, la régression n’est pas symétrique : la droite qui minimise les écarts horizontaux (régression de $x$ en $y$) est en général différente.

Un exemple

Prenons les cinq points $(1, 2)$, $(2, 4)$, $(3, 5)$, $(4, 4)$ et $(5, 5)$.

1. Les moyennes. $\bar{x} = \frac{1 + 2 + 3 + 4 + 5}{5} = 3$ et $\bar{y} = \frac{2 + 4 + 5 + 4 + 5}{5} = 4$.
2. Les écarts aux moyennes. Les $x_i - \bar{x}$ valent $-2, -1, 0, 1, 2$ et les $y_i - \bar{y}$ valent $-2, 0, 1, 0, 1$.
3. Le numérateur. On multiplie les écarts deux à deux et l’on additionne : $4 + 0 + 0 + 0 + 2 = 6$.
4. Le dénominateur. On additionne les carrés des $x_i - \bar{x}$ : $4 + 1 + 0 + 1 + 4 = 10$.
5. Les coefficients. $a = \frac{6}{10} = 0{,}6$ et $b = 4 - 0{,}6 \times 3 = 2{,}2$. La droite des moindres carrés a pour équation $y = 0{,}6\,x + 2{,}2$.

Les résidus. La droite prévoit 2,8 ; 3,4 ; 4 ; 4,6 et 5,2 aux abscisses 1 à 5. Les résidus valent donc $-0{,}8$ ; $0{,}6$ ; $1$ ; $-0{,}6$ et $-0{,}2$ : leur somme est nulle, comme toujours. La somme de leurs carrés vaut $0{,}64 + 0{,}36 + 1 + 0{,}36 + 0{,}04 = 2{,}4$. À titre de comparaison, la droite $y = x + 1$ donne une somme égale à 4 : elle est moins bonne au sens des moindres carrés.

Prévision et corrélation. Pour $x = 6$, la droite prévoit $0{,}6 \times 6 + 2{,}2 = 5{,}8$. Comme $\sum_i (y_i - \bar{y})^2 = 4 + 0 + 1 + 0 + 1 = 6$, le coefficient de corrélation vaut $r = \frac{6}{\sqrt{10 \times 6}} = \frac{6}{\sqrt{60}}$, environ 0,774 5, et $r^2 = 0{,}6$.

Pourquoi c’est vrai

La démonstration n’a besoin que d’un développement de carrés. Notons $S_{xx} = \sum_i (x_i - \bar{x})^2$, $S_{xy} = \sum_i (x_i - \bar{x})(y_i - \bar{y})$ et $S_{yy} = \sum_i (y_i - \bar{y})^2$.

Étape 1 : choix de $b$. Pour une pente $a$ fixée, on écrit chaque écart sous la forme $y_i - a x_i - b = u_i + c$, avec $u_i = (y_i - \bar{y}) - a(x_i - \bar{x})$ et $c = \bar{y} - a\,\bar{x} - b$. Comme la somme des $u_i$ est nulle, le développement donne

Le terme $n c^2$ est positif ou nul, et il s’annule exactement quand $c = 0$, c’est-à-dire quand $b = \bar{y} - a\,\bar{x}$.

Étape 2 : choix de $a$. Avec ce $b$, il reste $\sum_i u_i^2 = S_{yy} - 2a\,S_{xy} + a^2\,S_{xx}$. Puisque $S_{xx} > 0$ (les $x_i$ ne sont pas toutes égales), on peut mettre ce trinôme sous forme canonique :

Il est minimal pour une seule valeur, $a = \frac{S_{xy}}{S_{xx}}$ : c’est la formule de l’affiche. La somme minimale vaut $S_{yy} - \frac{S_{xy}^2}{S_{xx}} = S_{yy}(1 - r^2)$, ce qui montre au passage que $r^2 \leq 1$. Dans l’exemple : $6 \times (1 - 0{,}6) = 2{,}4$.

Si toutes les $x_i$ sont égales, $S_{xx} = 0$ : la formule n’a plus de sens, et une infinité de droites donnent la même somme minimale.

Les programmes de l’atelier vérifient tout cela par le calcul : l’exemple ci-dessus en fractions exactes ($a = \frac{3}{5}$, $b = \frac{11}{5}$), la nullité de la somme des résidus $r_i$ et de $\sum_i x_i\, r_i$ sur 5 000 nuages tirés au hasard, le passage par le point moyen, l’identité $S(a + \delta, b + \varepsilon) = S(a, b) + \sum_i (\delta x_i + \varepsilon)^2$ pour 20 000 décalages, et le cas des abscisses toutes égales.

Un peu d’histoire

La méthode des moindres carrés est née en astronomie, pour tirer une orbite fiable de nombreuses observations entachées d’erreurs. Sa première exposition claire est publiée par Adrien-Marie Legendre en 1805, dans ses Nouvelles méthodes pour la détermination des orbites des comètes. En 1809, Carl Friedrich Gauss la publie à son tour dans un traité sur le mouvement des corps célestes et affirme l’utiliser depuis 1795, ce qui ouvre une querelle de priorité entre les deux mathématiciens. Gauss la relie à la loi des erreurs qui porte aujourd’hui son nom.

Le mot « régression » vient de Francis Galton. Dans un article de 1886 sur la taille des enfants et celle de leurs parents, il constate que les enfants de parents très grands ou très petits ont une taille en moyenne plus proche de la moyenne générale : il parle de « régression vers la médiocrité », au sens de retour vers la moyenne. Le nom est resté à la méthode.

Ce que montre l’affiche

Le dessin montre 15 points tirés au hasard par le programme, avec une graine fixe, autour de la droite $y = 0{,}55\,x + 1{,}6$. La droite tracée est celle que donne la formule pour ces points : environ $y = 0{,}561\,1\,x + 1{,}559\,5$, affichée sous la forme $y \approx 0{,}56\,x + 1{,}55$ (coefficients tronqués). Sur chaque écart vertical entre un point et la droite, un carré a pour côté cet écart ; sa couleur indique si le point est au-dessus ou au-dessous de la droite. L’aire totale des carrés, environ 5,946, est la somme $S(a, b)$ : aucune autre droite ne fait mieux, et l’atelier l’a vérifié sur 10 000 droites tirées au hasard. Le petit cercle marque le point moyen $(\bar{x}, \bar{y})$, par lequel passe la droite. L’affiche existe en quatre styles : Papier, Nuit, Bauhaus et Tableau noir.

Pour aller plus loin

• La variance et l’écart type, qui apparaissent au dénominateur de la pente.
• L’espérance mathématique, version probabiliste de la moyenne.
• La loi normale, loi des erreurs de mesure que Gauss associe aux moindres carrés.
• Le produit scalaire : la droite des moindres carrés est une projection orthogonale.
• Le théorème central limite, qui explique pourquoi tant d’erreurs suivent une loi normale.

Sources : Méthode des moindres carrés (Wikipédia) (nouvel onglet), Régression linéaire (Wikipédia) (nouvel onglet), Simple linear regression (Wikipedia) (nouvel onglet), Least Squares Fitting (MathWorld) (nouvel onglet), Least squares (Wikipedia) (nouvel onglet), Regression toward the mean (Wikipedia) (nouvel onglet).