Régression linéaire simple : estimation et intervalles de confiance

1. Le modèle de régression linéaire simple

On observe $n$ couples $(x_1;y_1),\dots,(x_n;y_n)$. On suppose que la variable $y$ dépend « à peu près linéairement » de $x$ : chaque observation s'écrit

$$Y_i = a\,x_i + b + \varepsilon_i,\qquad i=1,\dots,n.$$

• $x_i$ est connu, non aléatoire (on le choisit ou on le mesure sans erreur) ;
• $a$ (pente) et $b$ (ordonnée à l'origine) sont des paramètres inconnus de la population ;
• $\varepsilon_i$ est une erreur aléatoire : on suppose les $\varepsilon_i$ indépendantes, de loi normale $\mathcal N(0;\sigma^2)$, avec la même variance $\sigma^2$ inconnue.

Les données ne donnent jamais $a$ et $b$ exactement : elles en donnent des estimations $\hat a$ et $\hat b$. Un autre échantillon donnerait d'autres valeurs. L'objectif des intervalles de confiance est de mesurer cette incertitude.

2. Les moindres carrés

Pour une droite $y=\alpha x+\beta$ quelconque, l'écart vertical au point $i$ vaut $y_i-(\alpha x_i+\beta)$. On choisit la droite qui rend minimale la somme des carrés de ces écarts :

$$S(\alpha,\beta)=\sum_{i=1}^n \bigl(y_i-\alpha x_i-\beta\bigr)^2 .$$

En annulant les deux dérivées partielles, on obtient :

La deuxième égalité montre que la droite passe par le point moyen $G(\bar x;\bar y)$. On note $\hat y_i=\hat a x_i+\hat b$ la valeur ajustée et $e_i=y_i-\hat y_i$ le résidu.

3. Estimer la variance des erreurs

Les résidus $e_i$ sont les « images observables » des erreurs $\varepsilon_i$. On estime $\sigma^2$ par

$$s^2=\frac{\mathrm{SCR}}{n-2}=\frac{1}{n-2}\sum_{i=1}^n e_i^2 .$$

On divise par $n-2$ et non par $n$ car on a estimé deux paramètres ($a$ et $b$) : il reste $n-2$ degrés de liberté. Avec cette division, $s^2$ est un estimateur sans biais de $\sigma^2$. Il faut donc $n\geq 3$.

4. Lois des estimateurs

Sous les hypothèses du modèle, $\hat a$ et $\hat b$ sont des combinaisons linéaires des $Y_i$, donc suivent des lois normales, centrées sur les vraies valeurs (estimateurs sans biais) :

$$\hat a\sim\mathcal N\!\left(a\;;\;\frac{\sigma^2}{S_{xx}}\right),\qquad \hat b\sim\mathcal N\!\left(b\;;\;\sigma^2\Bigl(\frac1n+\frac{\bar x^2}{S_{xx}}\Bigr)\right).$$

Comme $\sigma$ est inconnu, on le remplace par $s$. On obtient les écarts-types estimés :

$$s_{\hat a}=\frac{s}{\sqrt{S_{xx}}},\qquad s_{\hat b}=s\sqrt{\frac1n+\frac{\bar x^2}{S_{xx}}} .$$

Ce remplacement a un prix : la loi normale devient une loi de Student à $n-2$ degrés de liberté :

$$\frac{\hat a-a}{s_{\hat a}}\sim\mathcal T(n-2),\qquad \frac{\hat b-b}{s_{\hat b}}\sim\mathcal T(n-2).$$

5. Les intervalles de confiance

Pour un niveau de confiance $1-\alpha$ (par exemple $95\,\%$, soit $\alpha=0{,}05$), on note $t_{1-\alpha/2}$ le quantile de la loi de Student $\mathcal T(n-2)$ tel que $P(-t\leq T\leq t)=1-\alpha$.

6. Qu'est-ce qui rend un intervalle large ou étroit ?

• Le bruit $s$ : plus les points sont dispersés autour de la droite, plus l'intervalle est large.
• La dispersion des $x_i$ ($S_{xx}$) : des $x_i$ bien étalés « tiennent » mieux la pente. Des $x_i$ tous proches les uns des autres donnent une pente très incertaine.
• La taille $n$ : $S_{xx}$ augmente avec $n$, et $t_{1-\alpha/2}$ diminue vers $1{,}96$ (à 95 %).
• Le niveau de confiance : exiger 99 % au lieu de 95 % élargit l'intervalle.
• Pour $\hat b$ en plus : l'éloignement de $\bar x$ par rapport à 0. $b$ est la valeur de la droite en $x=0$ ; si les données sont loin de 0, estimer $b$ revient à extrapoler, d'où un terme $\bar x^2/S_{xx}$ qui peut être énorme.

7. Lien avec le test de nullité de la pente

Tester $H_0 : a=0$ (« $x$ n'a pas d'effet linéaire sur $y$ ») contre $H_1 : a\neq 0$ au risque $\alpha$ revient à regarder si 0 appartient à $\mathrm{IC}(a)$ au niveau $1-\alpha$ :

• si $0\notin\mathrm{IC}(a)$, on rejette $H_0$ : la pente est significativement non nulle ;
• si $0\in\mathrm{IC}(a)$, les données ne permettent pas de conclure à un effet de $x$.

La statistique de test est $T=\hat a/s_{\hat a}$, qui suit $\mathcal T(n-2)$ sous $H_0$. La page affiche la p-valeur correspondante.

8. Bande de confiance et bande de prédiction

En une abscisse $x_0$, deux questions différentes :

• Où est la droite « vraie » ? On estime la moyenne $E(Y\mid x_0)=a x_0+b$ par $\hat y_0$, avec l'intervalle $$\Bigl[\hat y_0-t_{1-\alpha/2}\,s\sqrt{\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}\;;\;\hat y_0+t_{1-\alpha/2}\,s\sqrt{\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}\Bigr]$$
• Où tombera une nouvelle observation ? Il faut ajouter le bruit propre à cette observation : $$\Bigl[\hat y_0-t_{1-\alpha/2}\,s\sqrt{1+\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}\;;\;\hat y_0+t_{1-\alpha/2}\,s\sqrt{1+\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}\Bigr]$$

Les deux bandes ont une forme d'hyperbole, minimale en $x_0=\bar x$. Remarque : l'intervalle de $b$ est exactement la bande de confiance lue en $x_0=0$.

9. Coefficient de détermination

On décompose la variabilité totale : $\mathrm{SCT}=\mathrm{SCE}+\mathrm{SCR}$, avec $\mathrm{SCT}=\sum(y_i-\bar y)^2$, $\mathrm{SCE}=\sum(\hat y_i-\bar y)^2$, $\mathrm{SCR}=\sum e_i^2$. Le rapport $R^2=\mathrm{SCE}/\mathrm{SCT}=r^2$ est la part de la variabilité de $y$ « expliquée » par la droite. Un $R^2$ élevé ne dit rien de la précision sur $a$ et $b$ si $n$ est petit : regardez les intervalles !