S'abonner à un flux RSS
D.07 - Trouver l'équilibre entre taux de fausses alertes et taux d'événements manqués
Sommaire |
Contexte
De nombreuses applications pratiques de la prévision reviennent à discriminer entre deux situations possibles (fiche D.06). C'est par exemple le cas des prévisions de dépassement de seuils considérés comme critique. C'est par exemple grosso modo le cas pour le choix des niveaux de vigilance[1]. La décision d'annoncer ou non un dépassement est relativement simple quand le système de prévision est déterministe et reconnu comme suffisamment précis : on annonce le dépassement si et seulement si la prévision est supérieure au seuil. Quand la prévision est plus incertaine, la prise de décision d'annoncer ce seuil est plus complexe : à partir de quel degré de certitude peut-on (doit-on) annoncer le dépassement ou le non dépassement ? Une information sur l'incertitude de la prévision peut être valorisée pour passer de cette information incertaine à la prise de décision binaire.
Évaluation classique des estimations de dépassement de seuil
De nombreux systèmes d'alerte sont basés sur le dépassement d'un seuil (en hauteur, en débit...). Quand une prévision est émise, quatre situations peuvent finalement se produire. Elles sont résumées dans le tableau ci-dessous, souvent appelé tableau de contingence.
Si on dispose d'un nombre suffisant de données (observations et prévisions), on peut calculer les taux de fausses alertes TFA et d'événements manqués TEM :
Un système de prévision parfait ne devrait délivrer que des alertes valables (a) ou des non alertes valables (d). Ses taux de fausses alertes et d'événements manqués seraient donc nuls.
Un équilibre à trouver
Peut-on avoir TFA = TEM = 0 ?
Hélas, ce système de prévision parfait n'existe pas. Si on souhaite éviter tout événement manqué, alors il est nécessaire d'émettre une alerte au moindre doute de la possibilité d'un événement. Ce faisant, on générera un nombre élevé de fausses alertes. Inversement, si on veut limiter drastiquement le nombre de fausses alertes, il n'est possible d'émettre l'alerte que si on a la (quasi) certitude de la survenue d'un événement : pour un horizon de prévision donné, de nombreux événements seront manqués. Ainsi, construire un système dans le but d'éviter tout événement manqué va conduire à un taux de fausses alertes élevées et vice-versa (Fig. 1).
Des outils existent pour prendre conscience et faire prendre conscience de cet état de fait. L’initiative scientifique HEPEX a notamment développé un jeu à destination des prévisionnistes et des décideurs qui permet de montrer concrètement l’apport de prévisions probabilistes pour la prise d’une décision binaire comme lancer ou non une alerte (Ramos et al., 2013). Ce jeu est disponible sur son site Internet dans une version en français (http://hepex.irstea.fr/resources/#gamestraining).
Comment choisir le seuil de probabilité permettant d'annoncer un dépassement ?
Imaginons maintenant un système fiable qui permette d'évaluer la probabilité de dépassement du seuil critique[2]. Une méthode simple et efficace (car facile à comprendre et à mettre en place en lien avec les gestionnaires de crise) consiste à définir une probabilité minimale de dépassement du seuil critique pour déclencher l'alerte (Fig. 2).
Comme expliqué dans le paragraphe précédent, si le dépassement du seuil est annoncé dès qu'il y a une probabilité de dépassement faible, alors dans de nombreux cas, le dépassement ne sera pas effectif, ce qui se traduira par un taux de fausses alertes élevé mais peu d'événements manqués. Inversement, si le dépassement du seuil n'est annoncé que s'il est quasi certain (probabilité de dépassement élevée), alors ce dépassement ne pourra pas souvent être anticipé et le taux d'événements manqués sera inacceptable (Fig. 3).
Il s'agit donc de faire exprimer aux bénéficiaires (identifiés[3]) des prévisions le ratio TFA / TEM qui leur convient le mieux (qui leur est le plus utile pour leur prise de décision, fiche D.01). Seuls ces bénéficiaires peuvent le dire.
Quel choix chez ÉdF ?
Les prévisionnistes d'ÉdF annoncent le dépassement d'un seuil critique intéressant la sécurité des ouvrages hydroélectriques dès que la probabilité de dépassement dépasse 10 %. Cela correspond à souhaiter un taux d'événements manqués inférieur à 10 %[4]. En contrepartie, les gestionnaires d'ouvrage « acceptent » un taux de fausses alertes assez élevé, de l'ordre de 50 %[5].
Voir également
Fiche D.01 – Utilité d'une prévision
Fiche D.06 – Capacité de discrimination
Pour aller plus loin
- Houdant, B. (2004). Contribution à l'amélioration de la prévision hydrométéorologique opérationnelle : pour l'usage des probabilités pour la communication entre acteurs. Mémoire de doctorat, ENGREF.
- Hydrologic Ensemble Prediction Experiment (HEPEX, 2012). Est-ce que les prévisions probabilistes conduisent à de meilleures décisions ? Essayez-le vous-même ! (jeu de sensibilisation disponible en ligne en version française : http://hepex.irstea.fr/resources/#gamestraining, Flood control game).
- Ramos, M. H., van Andel, S. J. et Pappenberger F. (2013). Do probabilistic forecasts lead to better decisions? Hydrology and Earth System Sciences, 17, 2219 – 2232, doi:10.5194/hess-17-2219-2013 www.hydrol-earth-syst-sci.net/17/2219/2013/,
- ↑ Mais le choix du niveau de vigilance résulte d'une analyse multicritère qui dépasse la simple comparaison d'une prévision de la hauteur d'eau à des valeurs seuils.
- ↑ Que ce soit une estimation subjective des prévisionnistes ou une estimation fournie par le modèle de prévision (ou encore la synthèse des deux).
- ↑ Les bénéficiaires identifiés et avec qui il est possible de contractualiser : en ce qui concerne les SPC, il s'agit donc des gestionnaires de crise (ministère de l'Intérieur).
- ↑
- ↑ Rémy Garçon (EdF – DTG), communication personnelle. Cette valeur tient compte des prévisions « corrigées » jusqu'à trois heures à l'avance.
