S'abonner à un flux RSS
 

D.11 - Continuous rank probability score (CRPS) et score de compétence associé (CRPSS)

De Wikhydro

Sommaire

Introduction

Le Continuous rank probability score (CRPS) est une extension du rank probability score (RPS) au cas des prévisions de variables continues. Ce critère correspond à la distance entre la densité de probabilité cumulée de la variable prévue (prévision probabiliste) et l'observation (elle-même exprimée sous la forme d'une densité de probabilité).


Prévisions par catégories ordonnées : rank probability score (RPS)

Le score de Brier (fiche D.10) est utilisé pour les prévisions par catégories, c'est-à-dire quand la variable à prévoir ne peut prendre qu'un nombre fini de valeurs. Le rank probability score (RPS) est adapté aux cas où ces catégories sont ordonnées (c'est par exemple le cas du niveau de vigilance où le niveau orange est « supérieur » au niveau jaune, lui-même supérieur au niveau vert). Le RPS s'écrit :

Inc299.bmp


où o'i,j vaut 1 si l'observation est supérieure ou égale au je seuil (donc si l'observation appartient à la je catégorie ou à une catégorie supérieure, et non pas à la seule je catégorie, comme pour le score de Brier), et où p i,j est la probabilité du dépassement du je seuil. Bontron, G. (2004) en donne une description complète (à partir de la page 80).

Continuous Rank Probability Score (CRPS)

Définition

Considérons maintenant une variable continue à prévoir X (par exemple un débit ou une hauteur d'eau) et un système de prévision fournissant une information probabiliste : la prévision est exprimée par la densité de probabilité(fiche A.08) de la variable à prévoir px(^x). Le CRPS s'intéresse à la densité de probabilité cumulée de la variable prévue px(^x) pour la comparer à la densité de probabilité cumulée observée px(x).

Si nous ne prenons pas en compte l'incertitude sur l'observation, la distribution de probabilité de l'observation est très simple : elle est nulle pour toute valeur différente de la valeur observée xObs (événement certain) et son intégrale est égale à 1. La densité de probabilité cumulée correspondante est facile à déduire : il s'agit d'une fonction créneau, valant 0 pour toute valeur inférieure à xObs et 1 au-dessus. Si l'incertitude d'observation est prise en compte alors la densité de probabilité cumulée de l'observation est « moins tranchée » et prend la forme de celle de son incertitude.

Pour chaque couple Observation – Prévision, on calcule la distance quadratique entre ces densités de probabilité cumulées (Fig. 1) :

Inc300.bmp où t désigne l'instant de prévision.



Inc301.bmp


Le CRPS se calcule sur un ensemble de n couples de prévisions et d'observations correspondantes. C'est la moyenne des CRPSt de chaque couple de l'ensemble  :


Inc302.bmp


Interprétation et lien avec l'erreur absolue moyenne

Le CRPS étant un critère de distance, sa valeur est positive et sera d'autant meilleure qu'elle sera proche de 0.

Le CRPS a un lien fort avec un critère fréquemment employé pour évaluer les prévisions déterministes, l'erreur absolue moyenne (MAE) :


Inc303.bmp


En effet, le CRPSt d'une prévision déterministe se réduit à l'écart absolue entre la valeur prévue et la valeur observée (Fig. 2) :


Inc304.bmp



Ainsi, le CRPS peut servir à comparer facilement un système de prévision probabiliste à un système de prévision déterministe, ou à l'extraction d'une information déterministe d'une prévision probabiliste. On peut ainsi évaluer l'apport d'information de toute la prévision probabiliste (exprimée par sa densité de probabilité) par rapport à l'emploi de la seule moyenne et ou médiane. Parfois, on a de (mauvaises) surprises : la densité de probabilité complète décrit moins bien l'observation que sa simple médiane (au sens du CPRS) !

Ainsi le CRPS permet de comparer l'utilité potentielle de la densité de probabilité prévue à celle d'une prévision déterministe. Par ailleurs, Bontron (2004, chapitre 3) montre que le CRPS peut s'interpréter comme un score d'utilité « générale » (fiche D.01).

Décomposition

Comme le CRPS hérite du score de Brier, il s'agit également d'un critère synthétique. Il est possible de le décomposer comme étant l'addition de trois termes (fiabilité, résolution et incertitude, fiche D.10).


Score de performance correspondant (CRP skill score, CRPSS)

Comme pour le score de Brier (fiche D.10), l'interprétation d'une valeur du score de Brier sans référence n'est pas facile. Il est souvent plus judicieux de la comparer à la valeur obtenue par un autre système de prévision, appelé référence :


Inc305.bmp


Le CRPSS est un score de compétence (fiche D.12). Il s'interprète donc ainsi :

  • le système de prévision évalué est d'autant meilleur que le score est élevé ;
  • un système de prévision parfait obtiendrait une valeur de BBS de 1 ;
  • une valeur positive de BBS indique que le système évalué est meilleur que la référence, une valeur négative indique le contraire.

La climatologie est souvent employée comme référence. Il s'agit du système de prévision qui donne comme probabilité de réalisation de l'événement, la fréquence d'observation de cet événement sur une longue période (supposée représentative).


Voir également

Fiche A.08 – Probabilités

Fiche D.01 – Utilité

Fiche D.10 – Score de Brier (BS) et score de performance de Brier (BSS)

Fiche D.12 – Scores de compétence


Pour aller plus loin

  • Bontron G. (2004). Prévision quantitative des précipitations : adaptation probabiliste par recherche d'analogues. Utilisation des réanalyses NCEP/NCAR et application aux précipitations du Sud-Est de la France. Thèse de Doctorat de l'Institut National Polytechnique de Grenoble. http://www.lthe.fr/PagePerso/boudevil/THESES/bontron_04.pdf (voir le chapitre 3).
Outils personnels