D.12 - Scores de compétence : Différence entre versions

Version actuelle en date du 25 janvier 2015 à 15:38

[modifier] Définition

L'interprétation des valeurs de nombreux critères (notamment ceux présentés dans les fiches D.10 et D.11) n'est pas toujours chose aisée. Comme pour les critères de performance de prévisions déterministes, les résultats des modèles ou systèmes de prévision probabilistes sont souvent présentés en comparaison à ceux d'un système de référence.

Cette comparaison est effectuée à travers un score de compétence (skill score) : le score de compétence du score S pour le modèle M se définit par :

où :

• S_M est le score du modèle M,
• S_ref est le score du système de prévision de référence,
• S_{prévision parfaite} est la valeur obtenue de prévisions parfaites pour le score S.

De nombreux scores étant des distances^[1], leurs valeurs pour une prévision parfaite sont nulles. Le score de compétence se simplifie en :

[modifier] Interprétation

Si le score S est une distance alors la valeur du score de compétence CS

• est comprise entre -∞ et 1 ;
• atteint la valeur de 1 pour des prévisions parfaites^[2] ;
• est d'autant plus élevée que le système de prévision évalué est bon (au sens du critère S) ;
• est positive si le système de prévision évalué est meilleur que la référence (au sens du critère S) ;
• est égale à 0 si le système de prévision évalué est équivalent à la référence (au sens …) ;
• est négative si le système de prévision évalué est moins bon que la référence (au sens …).

[modifier] Quels systèmes de prévision de référence ?

Deux systèmes de prévision de référence sont fréquemment employés : la climatologie, qui correspond à une moyenne des observations sur une longue période ; la persistance, qui est le modèle donnant comme prévision la dernière observation disponible.

[modifier] Quelques exemples

Voir également

Fiche D.10 – Score de Brier

Fiche D.11 – CRPS et CRPSS

1. ↑ Leurs valeurs sont toujours positives et décroissent avec la qualité des prévisions pour atteindre la valeur 0 pour des prévisions parfaites (au sens de ce score).
2. ↑ Vrai même si le score S n'est pas une distance.