D.09 - Diagramme de fiabilité

Principe

Le diagramme de fiabilité permet la même évaluation de la fiabilité d'un système de prévision que le diagramme de Talagrand (fiche 4.08). Il permet la comparaison de la probabilité prévue d'un aléa (axe des abscisses) et de sa fréquence d'observation (axe des ordonnées). Un système de prévision fiable doit fournir des probabilités prévues proches des fréquences d'observation correspondantes : son diagramme de fiabilité sera donc proche de la bissectrice.

La suite de cette fiche présente deux manières pour construire le diagramme.

Cas général : prévision d'une grandeur continue (diagramme PIT)

Le prévisionniste dispose d'une archive de n prévisions et des n observations correspondantes d'une variable X (de débit, de hauteur d'eau, de pluie, de température...). Chaque prévision est fournie sous la forme d'une densité de probabilité de la variable aléatoire X à prévoir ou d'un ensemble des valeurs de quelques quantiles (toujours les mêmes pour les n prévisions).

Le diagramme est construit point par point, chaque point correspondant à un quantile de prévision Q_y(X) (y étant compris entre 0 et 1) :

• a. pour chaque prévision X_i (i étant compris entre 1 et n), l'observation est comparée au quantile de prévision q_y (X_i) ;
• b. on calcule ainsi le nombre de prévisions telles que l'observation X_i est inférieur au quantile de prévision q_y (X_i), qu'on note  ;
• c. on en déduit la fréquence empirique d'observation du non dépassement de ce quantile f_y = s_y/n ;
• d. on reporte sur le graphe le point (y;f_y).

Pour chaque prévision i, le quantile de prévision q_y (X_i) est défini par le fait que la probabilité de non dépassement de cette valeur est égale à y : . Si l'estimation Q_y(X) du quantile est fiable alors la fréquence d'observation du non dépassement de cette valeurdoit être proche de y et donc le point doit être proche de la bissectrice [1].

Cette procédure est reproduite pour différents points (différents quantiles de prévision Q_y(X)) pour obtenir le diagramme de fiabilité en reliant ces points (Fig.1, au verso).

Variante : événements binaires et dépassements de seuil

Dans le cas où l'événement à prévoir ne peut prendre que deux valeurs A et B, comme un dépassement de seuil [2], le diagramme de fiabilité peut être construit ainsi :

• a. Les n prévisions sont séparées en m groupes tels que chaque sous-groupe j contient les prévisions dont les probabilités de A (du non dépassement de seuil) soient proches : (ou pour un dépassement de seuil :
• b. la fréquence f_i des observations de l'alternative A (ou du non dépassement de seuil) est calculée pour chaque groupe j ;

[1] Autrement dit, cela revient à compter sur l'ensemble des prévisions, combien d'observations ne dépassent pas le quantile de prévision Q_y(X) – par exemple le quantile q10 % –, et à vérifier que l'on observe ce non dépassement à une fréquence proche de y (ici 10 %).

[2] Dans ce cas, la valeur A correspond au non dépassement de seuil et la valeur B au dépassement.