D.02 - Fiabilité d'une prévision : Différence entre versions

Version du 5 septembre 2014 à 11:18

Qu'est la fiabilité d'un système de prévision probabiliste ?

Définition

Étymologiquement, la fiabilité relève de la confiance. Il s'agit donc ici de juger de la confiance que peut inspirer un système de prévision probabiliste. Comme souvent entre humains, la confiance s'établit dans la durée, c'est-à-dire sur un nombre significatif d'expériences (de prévisions) : un système de prévision sera jugé fiable si les informations probabilistes (probabilité de dépassement, intervalles de prévision...) des prévisions émises sont vérifiées sur un ensemble significatif de prévisions.

Il n'est pas possible d'évaluer une affirmation incertaine unique

La qualité d'une qualification de l'incertitude d'une prévision unique ne peut pas être évaluée par la confrontation a posteriori à l'observation. Exemple 1. L'affirmation « le débit à Draguignan dépassera 5 000 m3.s-1 dans les 6 prochaines heures » peut-être vérifiée dans 6 heures. L'affirmation « il y a 9 chances sur 10 que le débit à Draguignan dépasse 5 000 m3.s-1 dans les 6 prochaines heures » ne le peut pas. Que déduire du fait que le débit observé 6 heures plus tard est de 5 100 m3.s-1 ? Ou de 4 900 m3.s-1 ?

Par contre, si un système de prévision [1], stable dans le temps [2], fournit un ensemble de prévisions accompagnées d'une estimation quantifiée de l'incertitude, alors il devient possible de juger la qualité de cet ensemble de prévisions (et donc du système qui les génère) en comparant les probabilités annoncées des événements aux fréquences empiriques des événements (dépassement de seuils, etc.)[3].

Ainsi, certains emploient la notion de biais à grande échelle pour décrire le niveau de fiabilité. Cette appellation traduit le besoin d'un ensemble de prévisions pour évaluer cette qualité.

La fiabilité n'est pas une qualité comme les autres

D'autres caractéristiques comme la précision (fiche 4.03) ou la finesse (fiche 4.04), ou encore l'absence de biais (fiche 4.05), sont évaluées pour juger de la qualité de prévisions probabilistes. Mais la fiabilité n'est pas une qualité comme les autres : nous cherchons à avoir les prévisions les plus précises et les plus fines possible mais à quoi sert un système qui fournirait des prévisions très fines qui ne seraient pas fiables ? Par exemple, un système de prévision qui sous-estimerait fortement l'incertitude obtiendrait des prévisions très fines, mais fournirait une information erronée pouvant conduire à de mauvaises décisions.

Parfois, les prévisions probabilistes sont évaluées à l'aide d'une analyse multi-critère dont la fiabilité est un critère parmi les autres. Cette approche est dangereuse. Il est préférable de comparer (avec plusieurs critères si nécessaire) les systèmes de prévision qui obtiennent les meilleures fiabilités.

Concrètement

L'information sur l'incertitude d'une prévision peut prendre des formes très diverses. Cette section comporte quelques exemples d'affirmations dont on peut estimer la fiabilité.

Indication d'une valeur « seuil » correspondant à une probabilité cible de dépassement

Considérons un système qui fournit une valeur de la variable à prévoir telle que cette variable ait une probabilité donnée de dépasser cette valeur (un quantile, fiche 1.09). Il suffit de rassembler un nombre suffisamment élevé de prévisions pour vérifier que la fréquence de dépassement de ces valeurs prévues par les observations est proche de la probabilité cible.

Exemple 2. Le SPC Andorre publie des prévisions de « tendance haute » du débit du Mississipi à Charleville-Mézières 30 fois dans l'année. Cette tendance haute est définie comme étant (pour chaque prévision), le seuil que le débit a une chance sur dix de dépasser. A posteriori, le SPC constate que le débit a réellement dépassé la tendance haute prévue dans 5 cas. Le ratio 5 / 30 est proche de 17%. Sur cette année, les prévisions du SPC ne sont pas parfaitement fiables mais s'en approchent.

Indications d'un intervalle de prévision à x %

Considérons maintenant un système qui fournit un intervalle de prévision (en accompagnement ou non d'une prévision déterministe). Cet intervalle est défini par la probabilité qu'a la variable à prévoir d'appartenir à cet intervalle. De même que dans le cas précédent, la fiabilité du système peut être évaluée en calculant la fréquence empirique d'appartenance des observations aux intervalles de prévision correspondants (pour un nombre significatif d'événements). Plus cette fréquence empirique est proche de x / 100 alors plus le système sera considéré fiable.

Exemple 3. Le SPC Côte d'Opale publie des intervalles de prévision à 80 % pour le débit du Nil à Pralognan-la-Vanoise 22 fois dans l'année. A posteriori, le SPC constate que le débit observé se situait dans l'intervalle de prévision avancé dans 18 cas. Le ratio 18 / 22 = 0,82. Le SPC reçoit donc en fin d'année une lettre de remerciements du préfet coordonnateur du bassin de la Sédelle, le félicitant de ses excellentes performances et de la grande confiance de ses services dans les prévisions émises par le SPC.

Généralisation : systèmes fournissant la densité de probabilité de la variable à prévoir

Une information probabiliste complète peut être exprimée par la densité de probabilité de la variable à prévoir. Dans ce cas, on peut évaluer la fiabilité d'un ensemble de prévisions en vérifiant que l'estimation de n'importe quel intervalle de confiance (cas 2.2) ou du seuil pour n'importe quelle probabilité de dépassement (cas 2.1) est fiable. La partie 3 détaille plusieurs méthodes d'évaluation de la fiabilité de tels systèmes de prévision.

Indication d'une probabilité de dépassement

Considérons un système qui indique la probabilité de dépassement d'un seuil (par exemple une hauteur critique d'eau). On pourra tester la fiabilité du système si on dispose d'un ensemble suffisamment fourni de prévisions pour les regrouper en sous-ensembles tels que les prévisions d'un sous-ensemble donné aient toutes une probabilité de dépassement proches d'une même valeur. Si pour chaque sous-ensemble, la fréquence empirique de dépassement par les observations correspondant aux prévisions de ce sous-ensemble est elle-même proche de la valeur définissant ce sous-ensemble alors le système peut être considéré comme fiable

Exemple 4. Le SPC Artière – Tiretaine – Bédat connaît une année intense sur le plan hydrologique. Il est amené à estimer 50 fois le dépassement d'un seuil d'alerte de 10 000 m3.s-1 sur le Bédat à Chateaugay, correspondant au début de la surverse par dessus la digue protégeant l'abbatiale. Dans 30 cas (sous-ensemble A), il estime cette probabilité comprise entre 0,5 et 0,6. Dans 15 autres cas (sous-ensemble B), cette probabilité est évaluée entre 0,6 et 0,7. Enfin dans les 5 derniers cas (sous-ensemble C), cette probabilité est estimée entre 0,7 et 0,9. Dans 4 cas sur les 5 du sous-ensemble C, le débit a réellement dépassé le seuil d'alerte. C'est également le cas pour 8 estimations sur les 15 du sous-ensemble B. Enfin, le seuil d'alerte a été dépassé sur 7 événements au sein du sous-ensemble A. On constate que le système est fiable quand il annonce une forte probabilité de dépassement (sous-ensemble A) même s'il faut faire attention au fait qu'il y a un nombre plutôt faible de cas. Le système sur-estime légèrement la probabilité de dépassement quand il l'annonce comprise entre 0,6 et 0,7 (en effet 8 / 15 = 0,53) et sur-estime franchement la probabilité de dépassement pour les événements les moins probables (sous-ensemble A : 7 / 30 = 0,23). Le SPC Artière -Bédat paraît donc assez mal discriminer les événements quand ils ne sont pas très marqués ou quand on lui demande une prévision à trop longue échéance (l'événement est encore très incertain).

Évaluer la fiabilité d'un système fournissant une distribution de probabilité

Les parties 2.1 et 2.2 décrivent une manière d'évaluer la fiabilité d'un système fournissant des prévisions de quantiles (seuils correspondant à une probabilité de non dépassement) et d'intervalles de prévision. Il est possible d'étendre la méthode à des outils fournissant toute la distribution de probabilité de prévision.

La première approche consiste à évaluer la fiabilité des intervalles de prévision qu'on peut déduire de la densité de probabilité prévue. Il s'agit du diagramme de Talagrand (fiche 4.08).

Une autre représentation graphique, appelée diagramme PIT, compare la fréquence d'observation à la probabilité prévue (fiche 4.09).

Sous-estimation et sur-estimation de l'incertitude

Cas de l'estimation d'un intervalle de confiance

Considérons un système qui fournit des intervalles de prévision pour une probabilité x donnée. Si la fréquence empirique d'appartenance des observations correspondantes aux intervalles de prévision est significativement inférieure à x alors le système de prévision sous-estime l'incertitude ou est biaisé : les intervalles de prévision fournis sont « le plus souvent » trop étroits. Une mesure correctrice peut consister en un traitement de ces intervalles de prévision pour les agrandir.

Inversement, si cette fréquence empirique est significativement supérieure alors on dit que le système de prévision sur-estime l'incertitude de prévision. Les intervalles de prévision sont « le plus souvent » trop larges.

La sous-estimation pour une prévision humaine peut être le signe d'une sur-confiance (voir la fiche 3.02) méritant un travail de retour d'expérience et de calibration des estimations subjectives. Inversement une forte sur-estimation de l'incertitude peut indiquer une sous-confiance, ou encore de la tentation (consciente ou inconsciente) de se couvrir (voir la fiche 4.04).

Cas de l'estimation d'une densité de probabilité

En généralisant le cas précédent, on peut diagnostiquer une sur-confiance ou une sous-confiance. Il est à noter qu'une prévision probabiliste peut à la fois être sous-confiante pour les événements faibles et sur-confiante pour les événements forts...

Voir également

Fiche 1.08 – Probabilités

Fiche 1.09 – Quantiles et médiane

Fiche 3.02 – Estimation subjective des incertitudes de prévision

Fiche 4.03 – Précision d'une prévision

Fiche 4.04 – Finesse d'une prévision

Fiche 4.05 – Absence de biais

Fiche 4.08 – Diagramme de Talagrand

Fiche 4.09 – Diagramme de fiabilité

Pour aller plus loin

http://www.meted.ucar.edu/nwp/pcu1/ensemble_fr/print.htm#z5.0

[1] Par système de prévision, on entend ici toute organisation émettrice de prévision. Il peut s'agir d'un modèle mais aussi d'un prévisionniste utilisant différents outils, voire d'un SPC...

[2] On parlera de conditions « stationnaires » du système de prévision.

[3] Il s'agit d'une approche fréquentiste (fiche n° 1.08).