B10 · Statistiques descriptives

Régression linéaire et ajustement par moindres carrés

Déterminer la droite d'ajustement affine par la méthode des moindres carrés. Décomposer la variance, interpréter le coefficient de détermination et souligner la distinction entre corrélation et causalité.

Biostatistiques et méthodes d'analyse6 min de lecture15 QCM corrigés

Principe de l’ajustement affine

On considère $n$ individus sur lesquels deux variables quantitatives sont observées. Pour l’individu $i$ , les valeurs mesurées sont notées $x_i$ et $y_i$ , avec $i$ variant de $1$ à $n$ . Le nuage de points associé est étudié dans la fiche consacrée aux distributions à deux dimensions, à la covariance et à la corrélation.

La variable $X$ est appelée variable explicative et la variable $Y$ variable à expliquer. Ces termes indiquent seulement le sens choisi pour l’ajustement mathématique. Ils ne signifient pas que $X$ est la cause de $Y$ .

Pour chaque valeur observée $x_i$ , la droite fournit une valeur ajustée $\hat y_i=ax_i+b$ .

Un résidu positif correspond à un point situé au-dessus de la droite, tandis qu’un résidu négatif correspond à un point situé au-dessous. L’ajustement recherche donc une droite dont les résidus sont globalement aussi faibles que possible.

Méthode des moindres carrés

Additionner directement les résidus ne convient pas, car les écarts positifs et négatifs peuvent se compenser. Leur mise au carré supprime cette compensation et pénalise davantage les grands écarts.

Le minimum de $S(a,b)$ est obtenu en annulant ses dérivées partielles par rapport à $a$ et à $b$ . Cette opération conduit aux équations normales. Leur résolution donne une pente déterminée par les variations conjointes de $X$ et de $Y$ , rapportées à la dispersion de $X$ .

Coefficients de la droite

Formule

Coefficients de la droite des moindres carrés

\hat a= \frac{\displaystyle\sum_{i=1}^{n}(x_i-\bar x)(y_i-\bar y)} {\displaystyle\sum_{i=1}^{n}(x_i-\bar x)^2} \qquad\text{et}\qquad \hat b=\bar y-\hat a\bar x

La droite ajustée s’écrit donc $\hat y=\hat ax+\hat b$ . Elle passe nécessairement par le point moyen de coordonnées $(\bar x,\bar y)$ , car l’égalité $\hat b=\bar y-\hat a\bar x$ impose $\bar y=\hat a\bar x+\hat b$ .

La pente $\hat a$ mesure la variation ajustée de $Y$ associée à une augmentation d’une unité de $X$ . Son unité est l’unité de $Y$ divisée par celle de $X$ . L’ordonnée à l’origine $\hat b$ est la valeur ajustée de $Y$ lorsque $X=0$ , mais son interprétation n’est pertinente que si cette valeur de $X$ appartient au domaine étudié.

Exemple

Calculer une droite d’ajustement par moindres carrés

Pour trois individus, les valeurs observées sont :

$x_1=1$ , $y_1=2$
$x_2=2$ , $y_2=3$
$x_3=3$ , $y_3=5$

Les moyennes sont :

\bar x=\frac{1+2+3}{3}=2 \qquad\text{et}\qquad \bar y=\frac{2+3+5}{3}=\frac{10}{3}

La somme des produits centrés et la somme des carrés centrés de $X$ valent :

\sum_{i=1}^{3}(x_i-\bar x)(y_i-\bar y) =(-1)\times\left(-\frac{4}{3}\right)+0\times\left(-\frac{1}{3}\right)+1\times\frac{5}{3}=3

\sum_{i=1}^{3}(x_i-\bar x)^2=(-1)^2+0^2+1^2=2

La pente et l’ordonnée à l’origine sont donc :

\hat a=\frac{3}{2}=1{,}5 \qquad\text{et}\qquad \hat b=\frac{10}{3}-1{,}5\times2=\frac{1}{3}

La droite d’ajustement est $\hat y=1{,}5x+\frac{1}{3}$ . Elle passe bien par le point moyen de coordonnées $\left(2,\frac{10}{3}\right)$ : pour $x=2$ , elle donne $\hat y=\frac{10}{3}$ .

Propriétés des résidus

À l’optimum, les équations normales imposent deux propriétés importantes :

\sum_{i=1}^{n}e_i=0 \qquad\text{et}\qquad \sum_{i=1}^{n}x_ie_i=0

La première égalité signifie que la moyenne des résidus est nulle. La droite ne surestime donc pas systématiquement $Y$ et ne la sous-estime pas systématiquement. La seconde traduit l’absence de relation linéaire résiduelle avec $X$ selon le critère utilisé.

Ces propriétés supposent que la régression comporte bien une ordonnée à l’origine. Elles permettent aussi la décomposition exacte de la variabilité de $Y$ .

Décomposition de la variabilité

Pour chaque individu, l’écart total à la moyenne se décompose en une partie ajustée et une partie résiduelle :

y_i-\bar y=(\hat y_i-\bar y)+(y_i-\hat y_i)

Après élévation au carré et sommation, le terme croisé s’annule grâce aux propriétés des moindres carrés.

Formule

Décomposition de la somme des carrés

\underbrace{\sum_{i=1}^{n}(y_i-\bar y)^2}_{\mathrm{SCT}} = \underbrace{\sum_{i=1}^{n}(\hat y_i-\bar y)^2}_{\mathrm{SCE}} + \underbrace{\sum_{i=1}^{n}(y_i-\hat y_i)^2}_{\mathrm{SCR}}

Cette identité exprime que la variabilité totale de $Y$ est partagée entre la variabilité reproduite par l’ajustement et celle qui demeure dans les résidus. La terminologie des sommes de carrés peut varier selon les conventions, d’où la nécessité de toujours vérifier leur définition.

Coefficient de détermination

Dans une régression linéaire simple estimée par moindres carrés avec une ordonnée à l’origine, $R^2$ est compris entre $0$ et $1$ . Une valeur proche de $1$ indique que la droite restitue une grande part de la variabilité de $Y$ . Une valeur proche de $0$ indique qu’elle en restitue peu.

Le coefficient $R^2$ ne mesure ni la précision de chaque valeur ajustée, ni la pertinence scientifique du modèle, ni l’existence d’un mécanisme causal. Dans la régression linéaire simple avec ordonnée à l’origine, il est égal au carré du coefficient de corrélation linéaire $r$ présenté dans la fiche précédente.

Corrélation, régression et causalité

La corrélation quantifie l’intensité et le sens d’une association linéaire symétrique entre deux variables. La régression est asymétrique : elle choisit une variable explicative et ajuste les valeurs de l’autre. Échanger $X$ et $Y$ change donc généralement la droite obtenue.

Comparaison

Corrélation, régression et causalité

Notion	Question traitée	Caractère
Corrélation	Intensité d’une association linéaire	Symétrique entre $X$ et $Y$
Régression	Ajustement de $Y$ en fonction de $X$	Asymétrique
Causalité	Effet produit par une variable sur une autre	Nécessite des arguments supplémentaires

Une association peut résulter d’une variable tierce, d’un biais de sélection, d’une dépendance commune ou du hasard d’échantillonnage. La droite des moindres carrés décrit les données observées, mais ne permet pas à elle seule d’identifier le mécanisme qui les a produites.

L’étude inférentielle de la pente, de sa significativité et de son incertitude relève des tests d’hypothèses et non de cette analyse descriptive.

Entre ton email pour débloquer le reste de cette fiche

Il reste 3 sections à lire — plus les QCM corrigés, l'examen blanc et le suivi. 72 h d'essai gratuit, sans carte bancaire.

B10 · Statistiques descriptives

Régression linéaire et ajustement par moindres carrés

Biostatistiques et méthodes d'analyse6 min de lecture15 QCM corrigés

Principe de l’ajustement affine

Pour chaque valeur observée $x_i$ , la droite fournit une valeur ajustée $\hat y_i=ax_i+b$ .

Méthode des moindres carrés

Coefficients de la droite

Formule

Coefficients de la droite des moindres carrés

\hat a= \frac{\displaystyle\sum_{i=1}^{n}(x_i-\bar x)(y_i-\bar y)} {\displaystyle\sum_{i=1}^{n}(x_i-\bar x)^2} \qquad\text{et}\qquad \hat b=\bar y-\hat a\bar x

Exemple

Calculer une droite d’ajustement par moindres carrés

Pour trois individus, les valeurs observées sont :

$x_1=1$ , $y_1=2$
$x_2=2$ , $y_2=3$
$x_3=3$ , $y_3=5$

Les moyennes sont :

\bar x=\frac{1+2+3}{3}=2 \qquad\text{et}\qquad \bar y=\frac{2+3+5}{3}=\frac{10}{3}

La somme des produits centrés et la somme des carrés centrés de $X$ valent :

\sum_{i=1}^{3}(x_i-\bar x)(y_i-\bar y) =(-1)\times\left(-\frac{4}{3}\right)+0\times\left(-\frac{1}{3}\right)+1\times\frac{5}{3}=3

\sum_{i=1}^{3}(x_i-\bar x)^2=(-1)^2+0^2+1^2=2

La pente et l’ordonnée à l’origine sont donc :

\hat a=\frac{3}{2}=1{,}5 \qquad\text{et}\qquad \hat b=\frac{10}{3}-1{,}5\times2=\frac{1}{3}

La droite d’ajustement est $\hat y=1{,}5x+\frac{1}{3}$ . Elle passe bien par le point moyen de coordonnées $\left(2,\frac{10}{3}\right)$ : pour $x=2$ , elle donne $\hat y=\frac{10}{3}$ .

Propriétés des résidus

À l’optimum, les équations normales imposent deux propriétés importantes :

\sum_{i=1}^{n}e_i=0 \qquad\text{et}\qquad \sum_{i=1}^{n}x_ie_i=0

Ces propriétés supposent que la régression comporte bien une ordonnée à l’origine. Elles permettent aussi la décomposition exacte de la variabilité de $Y$ .

Décomposition de la variabilité

Pour chaque individu, l’écart total à la moyenne se décompose en une partie ajustée et une partie résiduelle :

y_i-\bar y=(\hat y_i-\bar y)+(y_i-\hat y_i)

Après élévation au carré et sommation, le terme croisé s’annule grâce aux propriétés des moindres carrés.

Formule

Décomposition de la somme des carrés

\underbrace{\sum_{i=1}^{n}(y_i-\bar y)^2}_{\mathrm{SCT}} = \underbrace{\sum_{i=1}^{n}(\hat y_i-\bar y)^2}_{\mathrm{SCE}} + \underbrace{\sum_{i=1}^{n}(y_i-\hat y_i)^2}_{\mathrm{SCR}}

Coefficient de détermination

Corrélation, régression et causalité

Comparaison

Corrélation, régression et causalité

Notion	Question traitée	Caractère
Corrélation	Intensité d’une association linéaire	Symétrique entre $X$ et $Y$
Régression	Ajustement de $Y$ en fonction de $X$	Asymétrique
Causalité	Effet produit par une variable sur une autre	Nécessite des arguments supplémentaires

L’étude inférentielle de la pente, de sa significativité et de son incertitude relève des tests d’hypothèses et non de cette analyse descriptive.

Entre ton email pour débloquer le reste de cette fiche

Il reste 3 sections à lire — plus les QCM corrigés, l'examen blanc et le suivi. 72 h d'essai gratuit, sans carte bancaire.