D.13 - Diagramme ROC

Principe et construction

Le diagramme ROC (pour Receiver Operating Characteristic) rend compte de la réussite d'un décideur devant prendre une décision binaire sur la base d'une information probabiliste (communiquée sous la forme d'une densité de probabilité ou d'un ensemble fini de quantiles).

La décision binaire est prise sur la probabilité de réalisation de l'événement appelant cette décision : si cette probabilité est supérieure à une probabilité de coupure P_c, la décision d'agir sera prise tandis qu'elle ne sera pas si elle est inférieure. Il s'agit donc ici de discriminer entre deux situations possibles (fiche D.06).

Exemple 1. La décision binaire de lancer ou non une alerte aux communes indiquées au RIC pour le tronçon Fleuve Sénégal aval est prise sur la probabilité de dépassement du seuil de hauteur à Dagana (événement appelant la décision de lancer l'alerte).

Un système de prévision devant prédire le dépassement de seuil peut être évalué sur un ensemble de n prévisions par la table de contingence (fiche D.07) :

Le diagramme ROC est la courbe reliant les points ayant pour abscisses le taux de faux positifs (FPR, false positive rate) et en ordonnées la probabilité de détection pour différentes valeurs de cette probabilité de coupure P_c (entre 0 et 1). Le taux de faux positifs FPR et la probabilité de détection sont donnés par :

Interprétation

Le diagramme ROC permet d'évaluer la capacité du système à discriminer les situations à venir entre le dépassement du seuil ou non.

Si la probabilité de coupure est de 0, l'alerte est toujours lancée. Inversement si P_c = 1, l'alerte n'est jamais lancée. Par conséquent, le diagramme a pour extrémités les points : le point de coordonnées (0,0), noté (i) sur la figure 1 : l'alerte n'est jamais lancée (a = c = 0), le point de coordonnées (1,1), noté (iii) sur la figure 1 : l'alerte est toujours lancée (b = d = 0).

Plus le système de prévision est capable de discriminer les situations de dépassement de seuil, plus la courbe sera proche des segments (0,0) – (0,1) – (1,1). En effet, le point de coordonnées (0,1), noté (ii) sur la figure 1, est atteint si toutes les alertes lancées sont justifiées (b = c = 0).

Un système de prévision qui ne discriminerait absolument pas les situations se caractériserait par une table de contingence avec a = b et c = d. Le diagramme passerait donc uniquement par le point (½, ½). Un diagramme proche de la bissectrice indique donc que le système de prévision n'est pas discriminant.

Critère numérique : aire sous la courbe

Il est possible de « résumer » l'information décrite par le diagramme ROC par une valeur numérique : l'aire A sous la courbe (colorée sur la figure 1). En effet, nous avons vu dans la section 2 :

• qu'un diagramme proche de la bissectrice (A = ½) correspond à une prévision non discriminante ;
• qu'un diagramme proche des segments (0,0) – (0,1) – (1,1) correspond à une prévision bien discriminante .

A est compris entre 0 et 1. De ce qui précède, on peut déduire que plus A est éloigné de ½, plus la prévision est discriminante (toutefois, si A est proche de 0, alors la prévision est discriminante mais « faussement » : elle conduit à annoncer un événement quand il n'aura pas lieu et vice-versa).

Voir également

Fiche D.06 – Capacité de discrimination

Fiche D.07 – Taux de fausses alertes et taux d'événements manqués : quel équilibre ?

Pour aller plus loin

http://www.ecmwf.int/products/forecasts/guide/The_relative_operating_characteristics_ROC_diagram.html http://www.stattools.net/ROCs_Exp.php

---