homecarab1.fr
Biostatistiques et méthodes d'analysechevron_rightTests diagnostiqueschevron_rightCourbe ROC, aire sous la courbe et choix d'un seuil
stylus_noteS'entraînerS'entraînerarrow_backarrow_forward

Sommaire

  • 1Principe de la courbe ROC
  • 2Construction de la courbe
  • 3Aire sous la courbe
  • 4Choisir un seuil selon l'objectif lock — section verrouillée
    • 4.1Priorité à la sensibilité lock — section verrouillée
    • 4.2Priorité à la spécificité lock — section verrouillée
  • 5Indice de Youden lock — section verrouillée
  1. Accueilchevron_right
  2. Ficheschevron_right
  3. Biostatistiques et méthodes d'analysechevron_right
  4. Tests diagnostiqueschevron_right
  5. Courbe ROC, aire sous la courbe et choix d'un seuil

B10 · Tests diagnostiques

Courbe ROC, aire sous la courbe et choix d'un seuil

Construire une courbe ROC en faisant varier le seuil de positivité et interpréter l'aire sous la courbe. Choisir un seuil selon l'objectif diagnostique et l'indice de Youden.

Biostatistiques et méthodes d'analyse·schedule6 min de lecture·quiz15 QCM corrigés

Principe de la courbe ROC

Un test diagnostique peut produire un résultat quantitatif continu ou un score ordinal, plutôt qu'une réponse directement positive ou négative. Il faut alors fixer un seuil pour transformer ce résultat en décision binaire.

Définition

Seuil de positivité

Valeur ccc à partir de laquelle le résultat du test est déclaré positif. Lorsque les valeurs élevées sont associées à la maladie, le test est positif si le score SSS vérifie S≥cS \geq cS≥c.

Chaque seuil partage les sujets en quatre catégories : vrais positifs, faux positifs, vrais négatifs et faux négatifs. La sensibilité et la spécificité, étudiées dans la fiche précédente, quantifient respectivement la détection des malades et la reconnaissance des non-malades.

Formule

Sensibilité et spécificité au seuil ccc

Se⁡(c)=VP⁡(c)VP⁡(c)+FN⁡(c)Sp⁡(c)=VN⁡(c)VN⁡(c)+FP⁡(c)\operatorname{Se}(c)=\frac{\operatorname{VP}(c)}{\operatorname{VP}(c)+\operatorname{FN}(c)} \qquad \operatorname{Sp}(c)=\frac{\operatorname{VN}(c)}{\operatorname{VN}(c)+\operatorname{FP}(c)}Se(c)=VP(c)+FN(c)VP(c)​Sp(c)=VN(c)+FP(c)VN(c)​
  • ccc : seuil de positivité
  • Se⁡(c)\operatorname{Se}(c)Se(c) : sensibilité obtenue au seuil ccc
  • Sp⁡(c)\operatorname{Sp}(c)Sp(c) : spécificité obtenue au seuil ccc
  • VP⁡(c)\operatorname{VP}(c)VP(c) : nombre de vrais positifs au seuil ccc
  • FN⁡(c)\operatorname{FN}(c)FN(c) : nombre de faux négatifs au seuil ccc
  • VN⁡(c)\operatorname{VN}(c)VN(c) : nombre de vrais négatifs au seuil ccc
  • FP⁡(c)\operatorname{FP}(c)FP(c) : nombre de faux positifs au seuil ccc

Si le seuil diminue, davantage de sujets sont déclarés positifs. La sensibilité augmente alors généralement, car moins de malades sont manqués, mais la spécificité diminue, car davantage de non-malades deviennent de faux positifs. Le choix du seuil impose donc un compromis.

Définition

Courbe ROC

Représentation de la sensibilité en fonction du taux de faux positifs, égal à 1−Sp⁡1-\operatorname{Sp}1−Sp, pour l'ensemble des seuils possibles d'un test quantitatif ou ordinal.

Dans le repère ROC :

  • l'axe horizontal porte 1−Sp⁡1-\operatorname{Sp}1−Sp, compris entre 000 et 111 ;
  • l'axe vertical porte Se⁡\operatorname{Se}Se, comprise entre 000 et 111 ;
  • chaque point correspond à un seuil particulier.

Construction de la courbe

On suppose d'abord que les scores élevés sont en faveur de la maladie. Si les scores faibles sont en faveur de la maladie, il faut inverser la règle de décision ou transformer le sens du score avant l'analyse.

Méthode

Construire une courbe ROC

  1. Classer les valeurs observées du score diagnostique par ordre décroissant
  2. Considérer successivement chaque valeur distincte comme seuil de positivité
  3. Pour chaque seuil, classer les sujets selon le résultat du test et leur statut déterminé par la méthode de référence
  4. Calculer la sensibilité Se⁡(c)\operatorname{Se}(c)Se(c) et le taux de faux positifs 1−Sp⁡(c)1-\operatorname{Sp}(c)1−Sp(c)
  5. Placer le point de coordonnées (1−Sp⁡(c),Se⁡(c))\bigl(1-\operatorname{Sp}(c),\operatorname{Se}(c)\bigr)(1−Sp(c),Se(c))
  6. Relier les points obtenus dans l'ordre de variation du seuil

Un seuil supérieur à tous les scores ne classe aucun sujet comme positif : la courbe débute au point (0,0)(0,0)(0,0). Un seuil inférieur à tous les scores classe tous les sujets comme positifs : elle atteint le point (1,1)(1,1)(1,1). Sur des données finies, la courbe empirique présente habituellement un aspect en escalier.

La diagonale reliant (0,0)(0,0)(0,0) à (1,1)(1,1)(1,1) correspond à une discrimination nulle : l'augmentation de la sensibilité s'accompagne d'une augmentation identique du taux de faux positifs. Plus la courbe se rapproche du coin supérieur gauche (0,1)(0,1)(0,1), meilleure est la discrimination.

Attention

Le coin supérieur gauche n'est pas toujours atteignable

Le point (0,1)(0,1)(0,1) représente simultanément une sensibilité et une spécificité égales à 111. Il ne peut être obtenu que si un seuil sépare parfaitement les malades des non-malades.

Aire sous la courbe

Définition

Aire sous la courbe ROC

Mesure globale de la capacité d'un score à distinguer les malades des non-malades, intégrée sur l'ensemble des seuils possibles. Elle est notée AUC⁡\operatorname{AUC}AUC et comprise entre 000 et 111.

L'aire possède une interprétation probabiliste : elle mesure la probabilité qu'un malade choisi au hasard ait un score plus élevé qu'un non-malade choisi au hasard, avec une demi-contribution en cas d'égalité.

Exemple

Calculer une aire sous la courbe à partir de comparaisons de paires

Considérons trois malades dont les scores sont 888, 666 et 444, et trois non-malades dont les scores sont 777, 444 et 222. Les scores élevés étant en faveur de la maladie, il existe 3×3=93 \times 3 = 93×3=9 paires malade–non-malade à comparer.

  • Le malade ayant un score de 888 a un score supérieur à ceux des trois non-malades : 333 comparaisons favorables.
  • Le malade ayant un score de 666 a un score supérieur à 444 et à 222 : 222 comparaisons favorables.
  • Le malade ayant un score de 444 a un score supérieur à 222, mais égal à 444 : 111 comparaison favorable et 111 égalité.

Il y a donc 666 comparaisons favorables et 111 égalité :

AUC⁡=69+12×19=6,59≈0,72\operatorname{AUC}=\frac{6}{9}+\frac{1}{2}\times\frac{1}{9} =\frac{6{,}5}{9} \approx 0{,}72AUC=96​+21​×91​=96,5​≈0,72

L'aire sous la courbe vaut environ 0,720{,}720,72, sans unité. Dans 72%72\%72% des comparaisons, après prise en compte de la demi-contribution de l'égalité, le score du malade est supérieur à celui du non-malade.

Formule

Interprétation probabiliste de l'aire sous la courbe

AUC⁡=P(S+>S−)+12P(S+=S−)\operatorname{AUC} = P(S_{+}>S_{-}) + \frac{1}{2}P(S_{+}=S_{-})AUC=P(S+​>S−​)+21​P(S+​=S−​)
  • AUC⁡\operatorname{AUC}AUC : aire sous la courbe ROC
  • PPP : probabilité de l'événement indiqué
  • S+S_{+}S+​ : score d'un sujet malade choisi au hasard
  • S−S_{-}S−​ : score d'un sujet non-malade choisi au hasard
Comparaison

Interprétation de l'aire sous la courbe

Valeur de l'aireInterprétation
AUC⁡=1\operatorname{AUC}=1AUC=1discrimination parfaite
AUC⁡=0,5\operatorname{AUC}=0{,}5AUC=0,5absence de discrimination
0,5<AUC⁡<10{,}5 < \operatorname{AUC} < 10,5<AUC<1discrimination supérieure au hasard
AUC⁡<0,5\operatorname{AUC}<0{,}5AUC<0,5orientation du score probablement inversée

L'aire évalue le classement relatif des sujets, non l'exactitude numérique des probabilités produites. Elle ne renseigne donc pas sur la calibration du test, c'est-à-dire sur l'accord entre les probabilités prédites et les fréquences réellement observées.

La courbe ROC et son aire ne choisissent pas automatiquement un seuil. Deux tests peuvent avoir des aires proches tout en présentant des performances différentes dans la zone de sensibilité ou de spécificité jugée prioritaire.

À retenir

L'aire sous la courbe résume la discrimination sur tous les seuils, mais elle ne donne ni le seuil optimal ni les valeurs prédictives obtenues dans une population donnée.

Choisir un seuil selon l'objectif

Le seuil pertinent dépend des conséquences respectives des faux négatifs et des faux positifs.

Priorité à la sensibilité

Lorsque manquer un malade est particulièrement défavorable, on abaisse le seuil. Le nombre de faux négatifs diminue, mais celui des faux positifs augmente. Le choix peut alors consister à fixer une sensibilité minimale, puis à rechercher parmi les seuils admissibles celui qui conserve la meilleure spécificité.

Priorité à la spécificité

Lorsque déclarer à tort un non-malade comme positif est particulièrement défavorable, on élève le seuil. Le nombre de faux positifs diminue, mais davantage de malades risquent d'être classés négatifs. On peut fixer une spécificité minimale, puis maximiser la sensibilité sous cette contrainte.

Comparaison

Effet du déplacement du seuil lorsque les scores élevés indiquent la maladie

ModificationSensibilitéSpécificité
Abaissement du seuilaugmentediminue
Élévation du seuildiminueaugmente

La décision finale peut également intégrer les coûts des erreurs, les ressources disponibles et le contexte d'utilisation. Les valeurs prédictives et la prévalence, traitées dans la fiche précédente, interviennent dans l'interprétation concrète des résultats, mais elles ne se lisent pas directement sur la courbe ROC.

Indice de Youden

Définition

Indice de Youden

Critère combinant la sensibilité et la spécificité d'un seuil en mesurant son gain par rapport à une classification sans pouvoir discriminant.

Formule

Indice de Youden

J(c)=Se⁡(c)+Sp⁡(c)−1J(c)=\operatorname{Se}(c)+\operatorname{Sp}(c)-1J(c)=Se(c)+Sp(c)−1
  • J(c)J(c)J(c) : indice de Youden au seuil ccc
  • ccc : seuil de positivité
  • Se⁡(c)\operatorname{Se}(c)Se(c) : sensibilité au seuil ccc
  • Sp⁡(c)\operatorname{Sp}(c)Sp(c) : spécificité au seuil ccc
  • 111 : valeur de référence correspondant à la somme obtenue sans gain discriminant

L'indice varie de −1-1−1 à 111, mais les tests correctement orientés conduisent généralement à des valeurs comprises entre 000 et 111. Une valeur nulle traduit l'absence de gain par rapport à la diagonale ROC ; une valeur égale à 111 correspond à une classification parfaite.

Méthode

Choisir un seuil par l'indice de Youden

  1. Calculer J(c)J(c)J(c) pour chacun des seuils étudiés
  2. Repérer la valeur maximale de J(c)J(c)J(c)
  3. Retenir le seuil correspondant si la sensibilité et la spécificité doivent recevoir une importance comparable
  4. Vérifier que ce seuil respecte les contraintes diagnostiques fixées avant l'analyse
Exemple

Choisir un seuil par maximisation de l'indice de Youden

Trois seuils de positivité d'un score sont étudiés. Les sensibilités et spécificités correspondantes sont les suivantes :

  • Au seuil c=12c=12c=12, Se⁡=0,95\operatorname{Se}=0{,}95Se=0,95 et Sp⁡=0,45\operatorname{Sp}=0{,}45Sp=0,45.
  • Au seuil c=15c=15c=15, Se⁡=0,80\operatorname{Se}=0{,}80Se=0,80 et Sp⁡=0,75\operatorname{Sp}=0{,}75Sp=0,75.
  • Au seuil c=18c=18c=18, Se⁡=0,60\operatorname{Se}=0{,}60Se=0,60 et Sp⁡=0,92\operatorname{Sp}=0{,}92Sp=0,92.

Les indices de Youden sont :

J(12)=0,95+0,45−1=0,40J(12)=0{,}95+0{,}45-1=0{,}40J(12)=0,95+0,45−1=0,40J(15)=0,80+0,75−1=0,55J(15)=0{,}80+0{,}75-1=0{,}55J(15)=0,80+0,75−1=0,55J(18)=0,60+0,92−1=0,52J(18)=0{,}60+0{,}92-1=0{,}52J(18)=0,60+0,92−1=0,52

La valeur maximale est J(15)=0,55J(15)=0{,}55J(15)=0,55, sans unité. Si sensibilité et spécificité ont une importance comparable, le seuil retenu est donc c=15c=15c=15.

Maximiser JJJ revient à maximiser la distance verticale entre la courbe ROC et la diagonale de non-discrimination. Ce critère donne le même poids à la sensibilité et à la spécificité.

Attention

Un seuil de Youden n'est pas universellement optimal

Le maximum de JJJ ne tient pas compte d'une différence de gravité entre faux négatifs et faux positifs. Si l'un des deux types d'erreur doit être prioritairement évité, le seuil doit être choisi sous une contrainte de sensibilité ou de spécificité plutôt que par le seul indice de Youden.

À retenir

Le seuil optimal n'est pas une propriété absolue du test : il dépend de l'objectif diagnostique. L'indice de Youden convient seulement lorsque sensibilité et spécificité sont pondérées de manière comparable.

Points clés
  • Une courbe ROC représente la sensibilité en fonction de 1−Sp⁡1-\operatorname{Sp}1−Sp pour tous les seuils possibles
  • Abaisser le seuil augmente généralement la sensibilité et diminue la spécificité
  • Une aire de 0,50{,}50,5 traduit une discrimination nulle, tandis qu'une aire de 111 traduit une discrimination parfaite
  • L'aire sous la courbe mesure la discrimination globale mais ne détermine pas le seuil à retenir
  • Le choix du seuil dépend du coût relatif des faux négatifs et des faux positifs
  • L'indice de Youden J=Se⁡+Sp⁡−1J=\operatorname{Se}+\operatorname{Sp}-1J=Se+Sp−1 sélectionne un compromis donnant un poids comparable à la sensibilité et à la spécificité

Fiches connexes

À réviser dans la foulée, sur Tests diagnostiques.

  • Fiche 01Sensibilité, spécificité et matrice de classificationTests diagnostiques
  • Fiche 02Valeurs prédictives, prévalence et rapports de vraisemblanceTests diagnostiques
  • Fiche 04Mesures d'association : risque relatif, odds ratio et fraction attribuableTests diagnostiques
lock_open

Entre ton email pour débloquer le reste de cette fiche

Il reste 2 sections à lire — plus les QCM corrigés, l'examen blanc et le suivi. 72 h d'essai gratuit, sans carte bancaire.

Déjà un compte ? Se connecter · Voir les formules

arrow_backPrécédentValeurs prédictives, prévalence et rapports de vraisemblanceTests diagnostiquesSuivantarrow_forwardMesures d'association : risque relatif, odds ratio et fraction attribuableTests diagnostiques
Sommaire
  • 1Principe de la courbe ROC
  • 2Construction de la courbe
  • 3Aire sous la courbe
  • 4Choisir un seuil selon l'objectif lock — section verrouillée
    • 4.1Priorité à la sensibilité lock — section verrouillée
    • 4.2Priorité à la spécificité lock — section verrouillée
  • 5Indice de Youden lock — section verrouillée