Le théorème central limite

Ce que dit le théorème

Soit $X_1, X_2, X_3, \ldots$ une suite de variables aléatoires réelles indépendantes, de même loi, d’espérance $\mu$ et de variance $\sigma^2$ finie et non nulle. Alors, quand $n$ tend vers l’infini,

ce qui signifie : pour tout nombre réel $x$, la probabilité que le membre de gauche soit inférieur ou égal à $x$ tend vers $\Phi(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{-t^2/2}\, \mathrm{d}t$, la probabilité correspondante pour la loi normale centrée réduite.

• $X_1, \ldots, X_n$ : les variables que l’on additionne (les résultats de $n$ lancers de dé, $n$ mesures répétées…).
• $\mu = E(X_i)$ : l’espérance commune ; la somme a pour espérance $n\mu$.
• $\sigma^2 = V(X_i)$ : la variance commune. Comme les variables sont indépendantes, les variances s’ajoutent : la somme a pour variance $n\sigma^2$, donc pour écart type $\sigma\sqrt{n}$.
• La fraction est la somme centrée (on retire sa moyenne) et réduite (on divise par son écart type) : elle a toujours pour moyenne 0 et pour écart type 1.
• La flèche marquée « loi » désigne la convergence en loi : ce sont les probabilités qui convergent, pas les valeurs elles-mêmes.
• $\mathcal{N}(0, 1)$ : la loi normale de moyenne 0 et d’écart type 1.

En pratique, on retient que pour $n$ grand, la somme $X_1 + \cdots + X_n$ suit à peu près la loi normale de moyenne $n\mu$ et d’écart type $\sigma\sqrt{n}$, et la moyenne $\frac{X_1 + \cdots + X_n}{n}$ la loi normale de moyenne $\mu$ et d’écart type $\frac{\sigma}{\sqrt{n}}$.

Les hypothèses comptent. Sans variance finie, le théorème tombe : la moyenne de $n$ variables de loi de Cauchy suit encore la loi de Cauchy, quel que soit $n$, et ne se resserre jamais. Sans indépendance aussi : si l’on recopie $n$ fois le même lancer de dé, la somme vaut $n$ fois ce lancer et ne prend jamais la forme d’une cloche.

À quelle vitesse ? Le théorème de Berry-Esseen le précise quand $\rho = E\big(|X_i - \mu|^3\big)$ est fini : l’écart entre les probabilités exactes et celles de la loi normale ne dépasse jamais $\frac{C\rho}{\sigma^3\sqrt{n}}$, avec une constante $C$ dont la meilleure valeur connue est inférieure à 0,4748. L’erreur décroît donc comme $\frac{1}{\sqrt{n}}$, plus lentement pour une loi de départ très dissymétrique. La règle pratique souvent citée « $n \geq 30$ » n’est qu’un ordre de grandeur.

Un exemple

On lance 100 dés équilibrés et l’on additionne les résultats. Un dé a pour espérance $\mu = 3{,}5$ et pour variance $\sigma^2 = \frac{35}{12}$, environ 2,916.

1. Moyenne et écart type de la somme. La somme $S$ a pour espérance $100 \times 3{,}5 = 350$ et pour variance $100 \times \frac{35}{12} = \frac{875}{3}$, environ 291,666 ; son écart type vaut donc environ 17,078.
2. Probabilité que la somme ne dépasse pas 370. $S$ ne prend que des valeurs entières : on vise le milieu, 370,5. On centre et réduit : $\frac{370{,}5 - 350}{17{,}078}$, environ 1,200. La loi normale donne $\Phi(1{,}200)$, environ 0,884 9.
3. Comparaison avec la valeur exacte. En dénombrant exactement les $6^{100}$ issues possibles, on trouve environ 0,884 8. Sans la demi-unité de l’étape 2, on aurait obtenu environ 0,879 2.
4. Un intervalle à 95 %. Pour la loi normale, 95 % des valeurs sont à moins de 1,96 écart type de la moyenne. Ici, $350 \pm 1{,}96 \times 17{,}078$ donne l’intervalle de 316,5 à 383,5 environ. Le calcul exact donne $P(317 \leq S \leq 383)$ environ égal à 0,950 3.

Pourquoi c’est vrai

La démonstration complète dépasse le cadre de cette page ; l’idée est la suivante.

On remplace chaque loi par sa fonction caractéristique $\varphi(t) = E\big(e^{itX}\big)$, une sorte d’empreinte qui détermine la loi et qui transforme une somme de variables indépendantes en produit. Posons $Y_i = \frac{X_i - \mu}{\sigma}$, de moyenne 0 et de variance 1. Pour $t$ petit, sa fonction caractéristique vaut $\varphi_Y(t) = 1 - \frac{t^2}{2} + \varepsilon(t)\, t^2$, où $\varepsilon(t)$ tend vers 0 avec $t$ : seules la moyenne et la variance apparaissent dans ce développement. La somme centrée réduite vaut $Z_n = \frac{Y_1 + \cdots + Y_n}{\sqrt{n}}$, donc

où $\varepsilon_n$ tend vers 0. Or $e^{-t^2/2}$ est exactement la fonction caractéristique de la loi $\mathcal{N}(0, 1)$. Un théorème dû à Paul Lévy (théorème de continuité) permet alors de passer de la convergence des fonctions caractéristiques à la convergence en loi. Le calcul montre aussi pourquoi la limite est universelle : tous les détails de la loi de départ, sauf sa moyenne et sa variance, disparaissent.

Les programmes de l’atelier vérifient le théorème par le calcul : valeurs de référence de $\Phi$, densités exactes du dessin (aire 1, moyenne 0, variance 1), décroissance de l’écart à la loi normale et respect de la borne de Berry-Esseen pour des sommes de variables exponentielles et de dés, 100 000 sommes simulées, et deux contre-exemples (loi de Cauchy, variables recopiées).

Un peu d’histoire

La première version remonte à Abraham de Moivre qui, dans un texte de 1733, approche la loi du nombre de piles sur un grand nombre de lancers de pièce par la courbe que l’on appelle aujourd’hui courbe de Gauss. Pierre-Simon de Laplace étend ce résultat au début du XIXe siècle, notamment dans sa Théorie analytique des probabilités (1812). Une démonstration rigoureuse sous des hypothèses générales est donnée par le mathématicien russe Alexandre Liapounov en 1901 ; la forme énoncée ici, pour des variables de même loi, est souvent appelée théorème de Lindeberg-Lévy, du nom de deux mathématiciens qui l’ont travaillée au début des années 1920.

Le nom vient de George Pólya, qui emploie en 1920 l’expression allemande zentraler Grenzwertsatz, « théorème limite central », pour souligner le rôle central de ce résultat en probabilités. On dit aussi en français « théorème de la limite centrale ».

Ce que montre l’affiche

Le dessin superpose, de haut en bas, la loi exacte de la somme centrée réduite de $n$ variables de loi exponentielle (de moyenne 1 et d’écart type 1), pour $n$ = 1, 2, 4, 8, 16, 32 et 64. La loi exponentielle décrit par exemple l’attente entre deux événements d’un processus de Poisson ; elle est très dissymétrique, ce qui rend la convergence visible. La somme de $n$ telles variables a une densité connue exactement, $\frac{s^{n-1} e^{-s}}{(n-1)!}$, que le programme trace sans simulation. Pour $n = 1$, la courbe démarre brusquement en $-1$ ; à mesure que $n$ double, elle se redresse et rejoint la cloche $\mathcal{N}(0, 1)$, tracée en pointillé sur chaque rangée. L’écart maximal entre les probabilités exactes et celles de la loi normale passe d’environ 0,158 pour $n = 1$ à environ 0,016 pour $n = 64$. L’affiche existe en quatre styles : Papier, Nuit, Bauhaus et Tableau noir.

Pour aller plus loin

• La loi normale, la loi limite du théorème.
• La loi binomiale, premier cas étudié par de Moivre.
• L’espérance mathématique et la variance et l’écart type, les deux seuls paramètres qui restent à la limite.
• La loi de Poisson, dont les temps d’attente sont exponentiels.
• L’intégrale de Gauss, qui donne la constante $\frac{1}{\sqrt{2\pi}}$.

Sources : Théorème central limite (Wikipédia) (nouvel onglet), Central limit theorem (Wikipedia) (nouvel onglet), Central Limit Theorem (MathWorld) (nouvel onglet), Berry–Esseen theorem (Wikipedia) (nouvel onglet), Loi exponentielle (Wikipédia) (nouvel onglet).