D.10 - Score de Brier (BS) et score de performance de Brier (BSS)

Introduction

Le score de Brier évalue les prévisions probabilistes de variables ne pouvant prendre qu'un nombre fini de valeurs (ou « catégories »). C'est par exemple, le cas du niveau de vigilance (qui prend quatre valeurs : vert, jaune, orange et rouge), ou la réalisation ou non d'un événement, ou encore le dépassement d'un seuil.

Score de Brier (BS)

Définition dans le cas d'une variable binaire

Considérons une variable à prévoir qui ne peut prendre que deux valeurs (réalisation ou non d'un événement). Si on dispose d'un ensemble de n prévisions de la probabilité de réalisation de cette réalisation et des observations correspondantes, le score de Brier se calcule par :

où o_i est la i_e observation (valant 1 si l'événement s'est réalisé et 0 sinon) et pi correspond à la probabilité prévue correspondante de la réalisation de l'événement (entre 0 et 1).

Exemple 1. Il existe un risque de remontée du Saint-Laurent par des calamars géants si le débit de ce fleuve dépasse 0,3 m3/s. Les calamars géants sont en effet attirés par les odeurs de poutine (un des plats nationaux du Québec). Afin d'éviter un scénario catastrophe dans lequel le poids des journalistes de CNN rassemblés pour couvrir l'événement ferait rompre le pont entre Lévis et Québec, le service de prévision des crues d'Abu Dhabi émet tous les mois une prévision probabiliste du dépassement de ce débit seuil. Le tableau suivant donne les prévisions et les observations en 2086.

Le score de Brier pour cette année vaut donc :

Définition dans le cas d'une variable pouvant prendre plus de 2 valeurs

Considérons maintenant une variable qualitative à prévoir ne pouvant prendre qu'un nombre fini m de valeurs. La formule précédente est étendue en :

où o_i,_j vaut 1 si la i_e observation est de la catégorie j et 0 sinon, et où pi,j correspond à la probabilité prévue pour la j^e catégorie.

Interprétation et décomposition

Le score de Brier est une distance dans le domaine des probabilités. Aussi, la valeur de ce score sera d'autant plus faible que la prévision sera bonne et une prévision parfaite obtiendra un score de 0. Le plus mauvais score est de 1.

Le score de Brier est un critère synthétique qui apporte des informations combinées sur la précision et la finesse de la prévision. Murphy a proposé en 1973 une décomposition du score de Brier en trois termes  avec BS = F - R + I:

• un terme de résolution R qui mesure la distance entre les probabilités d'occurrence de l'événement étant données les prévisions, et la moyenne climatique. Plus ce terme est élevé, meilleure est la prévision ;
• un terme de fiabilité F qui compare les probabilités prévues aux probabilités d'observation du phénomène étant donné les prévisions (par exemple, en groupant toutes les cas où la probabilité prévue de pluie est de 60 %, il y aura une fiabilité parfaite si il pleut 3 fois sur 5 après que cette prévision ait été faite). Ainsi, plus ce terme est faible, plus il traduit une bonne fiabilité ;
• un terme « d'incertitude » I qui rend compte de la dispersion des observations (indépendamment des prévisions).

Score de performance de Brier (BSS, Brier Skill Score)

L'interprétation d'une valeur du score de Brier n'est pas forcément chose aisée. Il est souvent plus judicieux de la comparer à la valeur obtenue par un autre système de prévision, appelé référence :

Le score de performance de Brier se lit comme les autres scores de compétence (fiche D.12) :

• le système de prévision évalué est d'autant meilleur que le score est élevé ;
• un système de prévision parfait obtiendrait une valeur de BBS de 1 ;
• une valeur positive de BBS indique que le système évalué est meilleur que la référence, une valeur négative indique le contraire.

La climatologie est souvent employée comme référence. Il s'agit du système de prévision qui donne comme probabilité de réalisation de l'événement, la fréquence d'observation de cet événement sur une longue période (supposée représentative).

Voir également

Fiche D.11 – Continuous rank probability score (CRPS) et score de compétence associé (CRPSS)

Fiche D.12 – Scores de compétence

Pour aller plus loin

• http://www.meted.ucar.edu/nwp/pcu1/ensemble_fr/content/5_2_2.htm
• http://www.eumetcal.org/resources/ukmeteocal/temp/msgcal/www/english/msg/ver_prob_forec/uos2/uos2_ko2.htm
• Bontron G. (2004). Prévision quantitative des précipitations : adaptation probabiliste par recherche d'analogues. Utilisation des réanalyses NCEP/NCAR et application aux précipitations du Sud-Est de la France. Thèse de Doctorat de l'Institut National Polytechnique de Grenoble. http://www.lthe.fr/PagePerso/boudevil/THESES/bontron_04.pdf (voir le chapitre 3).

---