S'abonner à un flux RSS
 

Prévision des crues : erreurs, incertitudes et évaluation des performances (HU)

De Wikhydro

Logo eurydice.jpgLogo OFB soutien financier.png

Traduction en anglais : Flood forecasting : errors, uncertainties and evaluation of performances

Dernière mise à jour : 15/09/2024

Cet article traite de la prise en compte des erreurs et des incertitudes dans la chaine de prévision des crues mise en œuvre dans le cadre du réseau Vigicrues.

Il a bénéficié de la relecture et des contributions de Renaud Marty (DREAL Centre-Val de Loire / SPC Loire-Allier-Cher-Indre), de Lionel Berthet (DGPR / SRNH / S-D de la Connaissance des aléas et de la Prévention) et d’Anne Belleudy (DGPR / SCHAPI).

Cet article fait partie d'une série de sept articles qui traitent des différents aspects de la prévision des crues par les services de l’État. En plus de celui-ci, cette série comprend :

Il s'appuie beaucoup sur les fiches élaborées de 2013 à 2015 par un groupe de travail associant des prévisionnistes et scientifiques des SPC, du SCHAPI, de Météo-France, de l’IRSTEA, de l’IFSTTAR et d’EDF et disponibles sur le site Wikhydro.

Sommaire

L'essentiel

Le chapitre 1 présente ces fiches, le contexte de leur organisation et leur accès  : Les mesures sur la pluie et les écoulements des cours d’eau, sont imparfaites, ainsi que les modèles de prévision des pluies ou des crues. Cela génère, dans les prévisions, des erreurs, qui se traduisent par des écarts entre la donnée prévue, par exemple une hauteur d’eau dans 2 heures sur une échelle de crue, et l’observation qui pourra en être faite à cette échéance.

Le chapitre 2 évoque les sources de ces erreurs et les moyens de les identifier : Ces erreurs, d’observation ou imputables aux approximations dues à la modélisation, altèrent la fiabilité des prévisions déterministes. Leur identification est une étape primordiale dans la maîtrise des conséquences de ces erreurs, en permettant de les réduire en partie. La connaissance d'une série de prévisions passées et des erreurs qui ont été faites peut aider, pour partie, à mieux estimer l'incertitude de prévision. On peut avoir recours, en complément, à des techniques d’analyse statistique et de modélisation adaptées.

Le chapitre 3 introduit les méthodes, pour évaluer ces incertitudes, qui sont les plus utilisées dans le Réseau Vigicrues et par les scientifiques du domaine : L’évaluation et la communication des incertitudes associées aux prévisions permettent en effet aux utilisateurs des prévisions (les responsables de l’alerte et des secours, ainsi que tous les citoyens concernés) de prendre les décisions qui leur reviennent en cernant mieux l’espace des possibles. Celles-ci concrétisent en effet le champ du doute, en le cernant au mieux par une quantification probabiliste, que les prévisionnistes devront chiffrer dans un temps limité, car il s’agit de prévision opérationnelle. En reprenant les termes de la fiche–A.01 - Incertitude ou erreur de la Catégorie:Incertitudes de Wikhydro, que nous évoquerons beaucoup dans ce qui suit, on peut dire que : « les erreurs connues permettent d'évaluer l’incertitude sur la prévision’ et l'incertitude anticipe l'erreur, en caractérisant un degré de confiance ».

Le chapitre 4 évoque l’évaluation des performances des prévisions, en évoquant  :

  • les critères de qualité utilisés (utilité, fiabilité, précision, finesse, absence de biais systématique, capacité de discrimination)
  • et les outils d’évaluation de performance de ces prévisions,
  • ainsi que l’utilité de de cette évaluation pour consolider les compétences.

Le chapitre 5 traite de la communication des incertitudes.

Les fiches de références disponibles sur le site Wikhydro

Un groupe de travail (Voir au § "Historique des choix") constitué de prévisionnistes, des SPC et du SCHAPI a rassemblé les éléments issus de la culture technique opérationnelle des participants sur le sujet. Ils les ont confrontés à l’expérience de confrères issus de Météo-France, de l’IRSTEA de l’IFSTTAR et d’EDF. Ce travail a permis de produire 60 fiches méthodologiques publiées sur le site Wikhydro en 2014 et 2015.

Ces fiches sont classées en quatre familles :

  • A - Présentations de concepts classiques associés à la notion d’incertitude et à la mathématique des probabilités ;
  • B - Description des principales sources d’incertitude à considérer dans l’élaboration d’une prévision de débit ou de hauteur d’eau (les fiches indiquent des ordres de grandeurs et la sensibilité des prévisions à ces sources d’incertitude) ;
  • C - Introductions à des méthodes usuelles d’estimation des incertitudes de prévision, utilisées dans les disciplines de la prévision météorologique ou hydrologique ;
  • D - Discussions des qualités attendues d’une estimation d’incertitude et des critères numériques ou graphiques classiques utilisés pour les évaluer.

Les erreurs, leurs sources et les moyens de les détecter

La spécificité des outils de prévision des crues est de fonctionner en temps réel et d’utiliser des informations en temps réel. Il est donc possible, à chaque pas de temps, de mesurer l’écart entre prévision précédente et mesure (Roche et al., 2012 ; p. 471).

Cet écart peut être :

  • persistant, apparu de façon brutale et se maintenant au même niveau, ou augmentant progressivement au cours du temps ;
  • récurrent, car se répétant lorsque des conditions particulières sont réunies ;
  • accidentel et isolé.

Il peut provenir d’erreurs et d’incertitudes provenant :

  • (1) des données utilisées (mesures historiques et observées en temps réel, météorologiques ou hydrométriques ; résultats de prévisions météorologiques ou hydrologiques et hydrauliques) ;
  • (2) des modèles hydrologiques et hydrauliques, du fait de leur structure ou de leurs paramètres ;
  • (3) du système de prévision (organisation, méthodes et outils, mise en œuvre par les prévisionnistes (Ramos, 2018).

Voir en particulier les Fiches A.01 – Incertitude ou erreur et A.02 – Sources d’incertitude.

Les erreurs de mesures

Les sources des erreurs de mesure

Les erreurs de mesure peuvent être imputables à des imprécisions associées au dispositif métrologique ou à des défauts de capteurs. Leurs causes sont multiples :

  • Concernant la mesure de la pluie : maillage trop lâche des pluviomètres ; positionnement inadapté de certains d’entre eux (par exemple quand ils sont qualifiés de classe 5 suivant la note 35B de l’OMM) ; couverture médiocre par les radars météorologiques, dérive dans le réglage de ceux-ci, qu’il soit mécanique ou électronique, ou mauvais ajustement entre la réflectivité radar et l’intensité de pluie ; Voir les fiches B.02 – Pluie : observations de précipitations ponctuelles au sol ; B.03 – Calcul d’une pluie de bassin par interpolation de mesures ponctuelles ; B.04 – Estimation d’une pluie de bassin par observation RADAR ;
  • Concernant la mesure du niveau d’eau : dysfonctionnement de l’appareil ; erreur sur l’horodatage de la mesure ; pannes fugitives ou perturbations dans la mesure ou dans sa transmission ; batillage ; dérive d'un capteur ; altération du capteur par la violence ou le niveau des écoulements ; modifications de la géométrie de la section d’écoulement (dé-tarage), notamment du fait des déplacements sédimentaires de fond en cours d’évènement ; Voir la Fiche : B.08 – Mesure de la hauteur d’eau.
  • Concernant la mesure du débit : dé-tarage de la section de jaugeage ; déréglage des appareils de jaugeage ; durée trop longue du jaugeage pour dater correctement sa valeur sur l’hydrogramme ; dans les cas de mesure directe du débit en continu, dysfonctionnements de l’appareillage et, pour les mesures de vitesse en surface, mauvais ajustement entre celle-ci et la vitesse moyenne dans la section d’écoulement ; Voir la Fiche B.09 – Incertitudes sur la courbe de tarage.

La détection des erreurs de mesure

Certaines des erreurs précédentes peuvent être détectées lors d’un contrôle préalable à leur introduction dans la chaîne de modélisation ou de prévision. Différents types d'outils existent, permettant :

  • l’inspection visuelle rapide, laquelle permet un repérage d’anomalies et une vérification de cohérence, par exemple en comparant des pluviogrammes ou des lames d’eau précipitée ;
  • la confrontation des données provenant de diverses sources, notamment dans le domaine de la pluviométrie ;
  • la comparaison d’une mesure faite en un point avec une autre faite sur un point voisin, par exemple en observant l’allure des limnigrammes et hydrogrammes en un point de mesure au regard de ceux du voisinage ; ce type de comparaison peut être enrichi en utilisant également des mesures relevées lors d’épisodes similaires.

Il faudra ensuite décider, soit ne pas utiliser certaines données, soit de les conserver mais en affectant aux résultats qu’elles impactent un niveau d’incertitude plus élevé. C’est dans cette phase de diagnostic "à chaud" et de validation des données que les prévisionnistes apportent une de leurs plus-values majeures. Il est à noter que la source principale d’incertitude porte en général sur la connaissance de la pluie, qu’elle soit observée ou, encore plus, prévue.

Il s’avère nécessaire, aussi, de procéder lors d’un évènement notable, à une analyse des erreurs de mesure avec les opérateurs de celles-ci, en cours d’évènement ou dans le cadre d’un retour d’expérience assez rapide, quitte à y revenir plus tard en cas de difficulté particulière.

Pour en savoir plus : Voir, notamment, en sus des fiches indiquées, (Roche, 2012) aux § 10.5.1. et 10.5.2.

Les erreurs ou imprécisions des modèles météorologiques, hydrologiques et hydrodynamiques : sources et détection

Les erreurs et imprécisions de ce type sont dues principalement aux valeurs attribuées aux paramètres des modèles, ainsi qu’à la définition des conditions initiales et des conditions aux limites. Ces imprécisions affectent principalement :

  • les résultats, utilisés en prévision des crues, des modèles météorologiques sur la prévision de la pluie : le prévisionniste devra s’efforcer de cerner les paramètres les plus influents pour la chaîne hydrologique, en dialogue approfondi avec les prévisionnistes météorologiques ;
  • la prévision des débits à l’exutoire des bassins versants amont, notamment :
    • ceux qui ne sont pas contrôlés par des stations de mesure, par exemple le débit des apports intermédiaires entre les points de mesure sur le réseau modélisé des cours d’eau principaux ;
    • ceux pour lesquels les temps de concentration (temps nécessaire à l’eau pour s’écouler depuis le point le plus éloigné du bassin jusqu’à l’exutoire), constatés sur les observations, ne correspondent pas à ceux induits pas le paramétrage du modèle ;
  • la prévision des débits résultant des propagations et compositions d’ondes de crues, notamment :
    • les temps de propagation qui peuvent, sur certains cours d’eau, être plus rapides ou plus lents suivant les évènements, pour des raisons pas toujours élucidées jusqu’ici ;
    • les rythmes et temps de montée des hydrogrammes, très influents sur les compositions d’hydrogrammes "pointus" à des confluences importantes, un décalage temporel assez faible des pointes de crue en amont pouvant avoir des conséquences très sensibles sur la valeur du débit maximum prévu.

Le prévisionniste doit avoir à sa disposition des outils (similaires à ceux utilisés pour la détection des erreurs de mesures), mais aussi les compétences et l'expérience, pour détecter les anomalies et les réduire en partie ou évaluer les marges d’incertitude à affecter aux résultats de prévision.

Il sera nécessaire que les prévisionnistes procèdent, à l’occasion des évènements notables, comme pour les mesures, à une analyse après coup des erreurs de prévision imputables à la modélisation, dans le cadre de Retours d’expérience ou, de façon plus générale, pour poursuivre leur apprentissage. Ils pourront, pour cela, s’appuyer sur la Fiche : C.07 – Apprentissage : analyse a posteriori des erreurs de prévision.

Pour cerner les incertitudes de prévision des crues

Une vision globale des démarches possibles

La publication de prévisions de niveaux d’eau et de débits (ou de cartes de zones inondées), à des moments souvent critiques pour des décisions à prendre par les destinataires (autorités et services chargés de l’alerte et des secours, population concernée, médias, etc.) doit autant que possible s’accompagner d’informations sur le niveau de confiance qu’on peut accorder à ces prévisions. De façon pratique, il faut associer une quantification de l’incertitude à chaque prévision, pour permettre aux divers destinataires de décider des dispositions à prendre pour réduire les dommages et les atteintes aux personnes, avec la meilleure connaissance du champ des possibles, à plus ou moins court terme.

Les incertitudes de prévision des débits et des niveaux d’eau en chaque station de prévision, au moment de chaque nouvelle diffusion, peuvent être traduites par exemple, par un fuseau qualifié statistiquement :

  • donnant pour chaque échéance à venir, l'intervalle de prévision à 80 % (borné par les quantiles de prévision des débits - q10 % et q90 % - ou des niveaux d’eau - h10 % et h90 % -), et la prévision médiane (correspondant au quantile 50%),
  • s’étendant sur un horizon de prévision qui varie de quelques heures à quelques dizaines d’heures, suivant la taille et la réactivité des bassins versants en amont du point de prévision (Voir la Fiche : A.05 - Evolution de l'incertitude avec l'horizon de prévision).

En théorie, le degré de gravité et l’influence de chacune des erreurs possibles devraient être pris en compte pour obtenir une prévision non-biaisée avec une variance minimale. Selon l’approche statistique classique, chaque source d’erreurs doit être décrite via sa fonction de densité de probabilité. Mais la plupart des fonctions pertinentes de densité de probabilité sont mal connues et donc difficiles à évaluer.

Les prévisionnistes des crues peuvent contourner la difficulté, en croisant plusieurs démarches, que nous évoquons ci-dessous :

De plus, pour cerner l’incertitude sur la pluie prévue, on peut utiliser les méthodes dites de prévision d’ensemble, qui, contrairement à des prévisions déterministes uniques, fournissent un ensemble de scénarios du futur dont l’amplitude des variations (la largeur du panache) est représentative de l’incertitude de la prévision des pluies. Elles ouvrent deux perspectives intéressantes :

  • les résultats de prévisions d’ensemble météorologiques (ou de Prévision Numérique du Temps – PNT), présentées plus précisément au § "Les prévisions probabilistes des précipitations pluvieuses : prévision d’ensemble et méthode de recherche de situations hydrométéorologiques analogues", qui donnent un panache de courbes traduisant l’évolution dans le temps de la dispersion des prévisions de lame d’eau de pluie susceptible de tomber sur un point ou un bassin versant ; les prévisionnistes peuvent ainsi évaluer de façon désormais courante, pour chaque pas de temps à venir, l’amplitude des écarts pour une gamme de probabilité fixée ;
  • les résultats finaux de modélisations d’ensemble couplant les modèles météorologiques et hydrologiques, qui permettent de cerner les écarts à attendre, pour chaque pas de temps à venir, sur les paramètres hydrologiques (niveau d’eau et débit) aux stations de prévision ; l’analyse des panaches obtenus permettront de caractériser la distribution statistique des valeurs à attendre, et d’en déduire l’amplitude des écarts pour une gamme de probabilité choisie (Voir plus loin au § "Les prévisions d'ensemble couplant modèles météorologiques et hydrologiques").

Pour la part d’incertitudes attribuables aux seuls modèles hydrologiques et hydrodynamiques, on peut avoir recours :

  • à l’utilisation comparée de modèles de même niveau (hydrologique ou hydrodynamique), grâce à des procédures multi-modèles ;
  • aux procédures d’assimilation des données de chacun de ces modèles, non seulement pour proposer une réduction de l’amplitude des incertitudes, ce qui est son objet principal, mais aussi une évaluation de celles-ci (le plus souvent au prix d’hypothèses lourdes et pas toujours vérifiées en pratique).
  • à l’outil OTAMIN, présenté au § "La méthode OTAMIN de quantification semi-automatisée pour définir des intervalles de confiance pour la prévision probabiliste des débits et des niveaux d’eau ", qui analyse statistiquement, pour une série suffisamment longue d’évènements antérieurs dont les observations ont été validées, les écarts entre celles-ci et les résultats qu’auraient donnés des modèles de prévision calés utilisés (Belleudy et al., 2023). Ces analyses statistiques sont conduites par gamme de débit (ou niveau d’eau) et par échéance de prévision (les écarts à longue échéance étant, assez logiquement, plus importants qu’à courte échéance.

Un panorama des principales méthodes probabilistes utilisées en France et en Europe pour cerner les incertitudes des prévisions des crues

Les prévisions probabilistes des précipitations pluvieuses : prévision d’ensemble et méthode de recherche de situations hydrométéorologiques analogues

Méthodes de prévision d'ensemble

Les méthodes de prévision d’ensemble, météorologique en l’occurrence, permettent de faire des prévisions probabilistes, à la fois en alternative et en complément à la prévision déterministe du temps (qu’il fait). Ces prévisions probabilistes visent à cerner les erreurs inévitables qui proviennent notamment :

  • d’inexactitudes dans les valeurs retenues pour caractériser la représentation de l’état de l’atmosphère au moment du lancement du processus de prévision ;
  • d’approximations dans la résolution des équations des modèles ;
  • de la part chaotique des évolutions de l’atmosphère ;
  • des incertitudes dans la prise en compte des conditions aux interfaces sol/air ou mer/air (Bouttier, 2018).

Ces méthodes génèrent avec quelques ou plusieurs dizaines d’exécutions d’un modèle déterministe un échantillon aussi représentatif que possible de l’incertitude sur les états futurs de l’atmosphère qui résultent :

  • de perturbations plausibles, au regard, en particulier, des comparaisons entre les observations et les prévisions pour des évènements antérieurs (Bouttier, 2018) ;
  • des conditions initiales ;
  • de variations dans les valeurs de paramètres "sensibles" du modèle (méthodes multi-paramètres) ;
  • de l’utilisation de plusieurs modèles ou variantes d’un modèle (méthodes multi-modèles, Voir la Fiche C.04 – Procédures multi-modèles) ;
  • ainsi que des fluctuations dans la représentation des échanges avec les milieux marins ou les divers types d’occupation du sol et leurs caractéristiques.

Elles fonctionnent :

  • soit en ajoutant une estimation de l'incertitude de modélisation : le modèle météorologique d’ensemble du CEPMMT la représente, par exemple, par l'inclusion de schémas stochastiques, ce qui améliore la fiabilité et réduit l'erreur de la moyenne de l'ensemble (Leutbercher et al., 2017);
  • soit en appliquant des perturbations en localisations et en intensités des pluies prévues à un modèle météorologique déterministe, transformées ensuite par un modèle hydrologique pour générer ensuite des ensembles de débits prévus (Audard-Vincendon, 2010).
Méthode de recherche de situations météorologiques analogues

La méthode de recherche de situations météorologiques analogues est une deuxième approche de prévision probabiliste de la pluie : voir notamment (Bontron, 2002), (Ben Daoud et al., 2009) et (Marty et al., 2023).

Cette méthode de recherche de situations analogues part du constat que, malgré les progrès constants des modèles numériques de prévision du temps (MNP), il est plus facile de prévoir :

  • l'état macroscopique de l'atmosphère, c'est à dire des paramètres décrivant les masses d’air (pression en particulier, et température, taux d’humidité, etc.) décrit par des équations physiques robustes, que
  • les précipitations, notamment les plus intenses, d'origine microphysique, puisque de multiples paramètres entrent en jeu dans la formation des nuages et des précipitations (quantité de vapeur d’eau présente dans l’atmosphère, niveaux de saturation et de condensation, vents verticaux, relief, etc.).

Son principe peut s’énoncer simplement : à situations météorologiques semblables, les effets seront comparables.

Son histoire, débutée à la fin des années 1960, a été ponctuées de nombreuses améliorations grâce à la constitution d’archives et de réanalyses météorologiques, ainsi qu’à la définition de critères de similarité et de performance pertinents. Il s’agit d’abord de repérer dans des archives météorologiques réanalysées quelques dizaines de situations météorologiques, caractérisées par les paramètres de la masse d’air, analogues à celle qui se présente. On en déduit ensuite un ensemble de prévisions pluviométriques correspondant à chacune d’elles, dont on peut extraire une évolution dans le temps à venir des quantiles caractérisant la distribution statistique des précipitations possibles (Voir Figure 1). Cette distribution de lames d'eau constitue ainsi une prévision probabiliste d’un ensemble de cumuls prévus.

Dans le contexte de la prévision probabiliste, le réseau Vigicrues a développé des chaînes expérimentales sur les territoires des SPC Loire-Allier-Cher-Indre (LACI) et Alpes du Nord (AN). Il mène un projet ambitieux visant à étendre la méthode à la France métropolitaine et à mettre en place une suite logicielle unique et adaptée aux ressources les plus modernes ainsi qu’aux besoins et à l’environnement du système Vigicrues, ainsi que décrit dans (Marty et al., 2023). Il est à noter que cette prévision qui portait initialement que sur des cumuls journaliers, se base maintenant sur des cumuls sur 6h et que l’horizon de prévision visé est de quelques jours.


Figure 1 : Résultats d’une prévision des variations dans le temps de la précipitation moyenne sur le très haut bassin versant de la Loire (130 km2) en amont de la retenue de La Palisse, par la méthode de recherche de situations météorologiques analogues, émise le 15 octobre 2023  ; Source : DREAL Centre-Val-de-Loire / SPC Loire Allier-Cher-Indre.

Ces deux approches probabilistes fournissent un ensemble de scénarios de pluie prévue. Une prévision multi-scénarios de pluie est un outil précieux pour estimer :

  • le degré d'incertitude de cette prévision ;
  • le cumul le plus vraisemblable ;
  • les alternatives plausibles en termes de cumuls extrêmes.

Pour en savoir plus : OMM (2011) ; Fiches : C.03 - Emploi des prévisions probabilistes météorologiques et B.14 - Prévisions météorologiques - Méthode des analogues hydrométéorologiques.

Les prévisions d'ensemble couplant modèles météorologiques et hydrologiques

L’application des approches ensemblistes à la fois à la prévision numérique du temps et aux modèles hydrologiques apparaît pouvoir donner des résultats, certes avec une gamme d’incertitudes assez large, mais ayant le mérite de cerner leurs sources principales, notamment celles qui sont liées à la quantification de la pluie déjà précipitée et à celle de la pluie qui est prévue.

En utilisant les résultats d’un certain nombre de prévisions dites "membres" ou "réalisations", la distribution de la fréquence des valeurs indiquée par chacun des "membres" à chaque horizon de prévision pour une, peut être utilisée directement pour estimer la probabilité des valeurs de pluie moyenne précipitée sur un bassin versant et de débit ou de niveau d’eau à une station de prévision hydrologique donnée. Les prévisions d’ensemble ou probabilistes sont jusqu’ici plus largement appliquées à la prévision numérique du temps (PNT) qu’aux modèles hydrologiques.


Figure 2 : Prévisions du 07/08/2013 à 4h (TU), pour les 24h à venir, sur la Dore au point de prévision de Giroux, avec le modèle hydrologique GRP alimenté par 4 scénarios différents couvrant l’amplitude de ceux délivrés par Météo-France dans le Bulletin de Précipitations ; l’incertitude due à la seule modélisation hydrologique par GRP, considéré comme bien calé sur le bassin versant en amont, est estimée ici pour le scénario de pluie future le plus fort (courbe rouge) avec un intervalle de confiance à 80 % ; il est représenté par l’aplat rose ; on voit que l’incertitude due à la modélisation hydrologique est d’une amplitude nettement inférieure à celle liée à la prévision des pluies futures ; Source : B.18 – Modélisation hydrologique : quelles incertitudes ?



Figure 3 : Exemple de résultats d’une prévision hydrologique d’ensemble sur le bassin de l'Arroux à Dracy-Saint-Loup (en amont d'Autun), établie de façon expérimentale le 27/12/2023 au matin, à partir des prévisions d’ensemble de pluie du modèle météorologique du CEPMMT et d’un modèle GRP ; sur le graphique du haut (qui représente les membres de l’ensemble des pluies) et celui du bas (ensemble des débits), les courbes continues représentent le scénario le plus pessimiste ; Source : DREAL Centre-Val-de-Loire / SPC Loire Allier-Cher-Indre.

On peut citer plusieurs autres exemples de ces couplages de prévisions d’ensemble des modèles météorologiques et hydrologiques :

Le projet European Flood Awareness System (EFAS) a été énergiquement développé par le Centre Commun de Recherche (CCR) de la Commission européenne, avec de multiples collaborations, par suite des inondations catastrophiques de l’Oder en 1997, puis de l’Elbe et du Danube en 2002. Son objectif est d'améliorer, et d'homogénéiser pour de grands fleuves transnationaux, les informations pour l’alerte et les secours. En version prototype, il a permis de prévoir avec plusieurs jours d’avance les crues au nord des Alpes, en fin août 2005. EFAS fonctionne de façon opérationnelle depuis l'automne 2012, et il a apporté une plus-value notable pour la gestion des inondations en Europe centrale en juin 2013. Il est basé sur une prévision d’ensemble couplée de modèles météorologiques et hydrologiques (Cloke et al., 2009).

EFAS utilise différents types de prévisions météorologiques :

  • des prévisions déterministes : celles à moyen terme du Centre Européen de Prévisions Météorologiques à Moyen Terme (CEPMMT, ou ECMWF en anglais) ; et celles du Service météorologique allemand (DWD) ;
  • des prévisions d’ensemble : celles du CEPMMT à moyen terme (jusqu'à 15 jours), à l'échelle mondiale avec une résolution spatiale de l’ordre de 30 km et 51 membres ; et celles du Consortium pour la modélisation à petite échelle (COSMO), couvrant la majeure partie de l'Europe à plus court terme (jusqu'à 5 jours), avec une résolution spatiale de 7 km et 16 membres.

Le Système de vigilance mondial GloFAS (Global Flood Awareness System) utilise des concepts similaires à ceux d’EFAS pour l’Europe ; il a été développé en collaboration entre le CEPMMT, le CCR et d'autres. Il produit, en complément des centres de prévision internationaux, nationaux ou régionaux, des prévisions journalières et des tendances mensuelles pour les niveaux d’eau et débits de crues des très grands cours d’eau, pour aider les autorités concernées et les organisations internationales à anticiper sur les mesures à prendre. En phase de prototype depuis 2011, il est opérationnel depuis 2018, et a été enrichi en 2021 de données acquises par le système satellitaire Sentinel-1.

Le projet CHROME (MF, 2015), conduit par le SCHAPI et Météo-France, était basé sur un couplage météo-hydrologique qui associe des prévisions météorologiques ensemblistes générant une gamme de champs de pluie avec le modèle Arome déterministe dont on a perturbé les conditions initiales et 4 modèles hydrologiques géographiquement distribués. CHROME a été expérimenté au milieu des années 2010, puis abandonné au profit de l’outil OTAMIN et de couplages avec des versions plus modernes de modèles d’ensembles météorologiques, comme montré dans les figures 2 et 3.

Les procédures multi-modèles en hydrologie

Plusieurs modèles, utilisant des données différentes, ou des combinaisons différentes de celles-ci, peuvent fournir une gamme de prévisions en un point donné de prévision, et pour chaque horizon de prévision. Si la qualité des prévisions d’un modèle se dégrade au cours d’un évènement, alors que celles des autres sont satisfaisantes (au regard de leur faible écart avec les observations), il est très utile de pouvoir écarter temporairement celui qui apparaît moins performant ou de lui accorder un poids moindre pour fixer la prévision (Roche et al., 2012 ; pp 474-475), d’où l’intérêt d’utiliser plusieurs modèles en parallèle et de comparer puis combiner leurs résultats. Deux types de procédures multi-modèles existent :

  • celles qui font basculer d’un modèle à un autre, en fonction des performances des prévisions aux échéances précédentes au regard des mesures acquises par la suite ; ces procédures présentent un intérêt limité en temps réel ainsi que des risques d’instabilité ;
  • celles qui établissent la prévision proposée par une pondération des résultats de divers modèles utilisés en parallèle, en faisant évoluer, si nécessaire, la pondération en cours d’évènement ; elles ont fait en France l’objet de développements depuis le milieu des années 1980 ; une telle procédure a été implantée sur la plate-forme SOPHIE, très utile alors et d’un grand intérêt historique aujourd'hui ; la plate-forme SOPHIE n’est désormais plus utilisée de façon opérationnelle.

Il est également possible de coupler l'approche multi-modèles avec les techniques de prévision d'ensemble. Cela a été réalisé en matière de recherche (Velazquez, 2011) avec des résultats intéressants, mais paraît jusqu’ici difficilement applicable sur le plan opérationnel.

Des simulations multiples peuvent ainsi être utilisées pour prendre en considération les trois sources d’incertitude dans les modèles de prévision :

  • les erreurs résultant d’évolutions assez subites des phénomènes,
  • la sensibilité des modèles à des conditions initiales mal maîtrisées ;
  • les erreurs dues aux imperfections ou à la structure du modèle.

Les prévisions d’ensemble ou probabilistes sont jusqu’ici plus largement appliquées à la prévision numérique du temps (PNT) qu’aux modèles hydrologiques.

Cette approche peut également être appliquée à l’ensemble des prévisions obtenues à partir de valeurs différenciées de paramètres d’un même modèle ou d’un même jeu de modèles.

Les choix majeurs progressivement faits en France par le réseau Vigicrues pour déterminer les incertitudes de prévision

L’historique de ces choix

La question des incertitudes de prévision était présente dès la mise en place de la réforme de la prévision des crues en France en 2002-2003, même si l’objectif prioritaire était de se doter de modèles de prévision déterministes suffisamment performants. Les incertitudes ont été cernées d’abord de manière simple, en prenant en compte des fourchettes de scénarios météorologiques observés et prévus ainsi que des incertitudes hydrométriques en les traduisant dans une dispersion des résultats des outils de prévision hydrologique ou hydraulique disponibles (abaques ou modèles), avec des estimations "à dire d’expert" et une communication qualitative textuelle.

Dès 2010 (Bachoc et al., 2010), une quantification plus précise de ces incertitudes est apparue nécessaire, pour communiquer plus clairement et rapidement auprès des divers utilisateurs de ces prévisions, de façon graphique, en encadrant la prévision déterministe par un fuseau d’incertitude (Figure 4).


Figure 4 : Représentation de principe de fuseaux d’incertitude autour d’une prévision déterministe (en trait rouge plein)  ; Source : https://webgr.inrae.fr/outils/logiciels/otamin.

Le degré de confiance, pour que celle-ci soit partagée avec les utilisateurs, doit être traduit en qualifiant statistiquement un tel fuseau, à la fois de façon assez rigoureuse et avec un résultat suffisamment simple à interpréter.

Cela a donné lieu à un chantier important. Après des journées techniques tenues fin 2011 sur le sujet, deux groupes de travail ont été constitués début 2012 et missionnés par la direction du SCHAPI : l’un rassemblant des membres du Conseil scientifique et technique du SCHAPI (sur : le degré d’incertitude acceptable par les utilisateurs ; l’estimation quantitative des incertitudes ; la représentation et la communication de celles-ci), et l’autre rassemblant des membres du réseau national pour la prévision des crues (chargé de de proposer et de tester des solutions techniques pour l’estimation et la publication des incertitudes associées aux prévisions) (Berthet et al., 2016).

Cette phase exploratoire a abouti en 2014 à une feuille de route intégrant notamment :

  • la production en 2014 et 2015 des fiches de la Catégorie : "Incertitudes" publiées dans Wikhydro, évoquée dès le début de cet article, et bases des formations des prévisionnistes sur le sujet ;
  • le développement en 2015 et 2016 d’outils à visée opérationnelle : un outil d’estimation automatique et calibrée des incertitudes de modélisation, OTAMIN (Voir § "La méthode OTAMIN de quantification semi-automatisée pour définir des intervalles de confiance pour la prévision probabiliste des débits et des niveaux d’eau"), réalisé par IRSTEA, et un outil d’expertise "finale" pour le prévisionniste, développé en interne par le réseau Vigicrues ;
  • en parallèle, la production expérimentale de prévisions avec des fuseaux prédictifs, publiées en format ".pdf" dans le cadre des bulletins locaux de Vigicrues (Figure 5) ;


Figure 5 : Montage montrant des prévisions successives publiées (sur des documents .pdf adjoints au bulletin local de prévision) du 31/05 au 07/06/2016, pour la crue du Cher à Selles-sur-Cher avec un intervalle de confiance de 80% (aplats alternativement gris, bleu et vert), avec les valeurs médianes des prévisions (courbes en pointillés gris) et les valeurs mesurées (observées) au cours de l’évènement (courbe continue en bleu et Gras) ; les prévisions ont été diffusées, avant qu’elles ne puissent être intégrées dans les graphiques de Vigicrues sur l’évolution temporelle des données hydrologiques aux stations de prévision, sous forme de fichiers .pdf adjoints au bulletin local du SPC LCI ; Source : CGEDD et IGA (2017), p. 27/212.

Après une phase de préparation technique et organisationnelle pour le passage à l’opérationnel, à partir d’octobre 2017, des prévisions associées à un intervalle de prévision 10-90 %, où l’on devrait donc retrouver par la suite 80 % des valeurs observées, sont produites et affichées graphiquement sur le site Vigicrues par un prévisionniste du SPC concerné. Un exemple en est donné en Figure 6.


Figure 6 : Exemple de prévision quantitative de niveau d'eau à la station de la Liane à Wirwignes disponible le 25 novembre 2021 sur le portail Vigicrues (https://www.vigicrues.gouv.fr) ; Source : Belleudy et al. (2023).

Le nombre de points de prévision avec affichage graphique des prévisions et des incertitudes associées s’est étendu progressivement et continue à l’être : 74 stations à l’automne 2017, 129 au printemps 2018, 410 fin 2020, 572 en juillet 2022, ce qui représente à cette date 84 % des sites hydrologiques déclarés comme points de prévision dans les RIC des 15 / 17 SPC qui en ont déclaré au moins un.

OTAMIN et EXPRESSO

La méthode OTAMIN permet de quantifier de façon semi-automatisée les intervalles de confiance pour la prévision probabiliste des débits et des niveaux d’eau ; l’outil EAO / EXPRESSO aide les prévisionnistes à expertiser ces intervalles de confiance

OTAMIN

L’OuTil Automatique d’estiMation de l’INcertitude prédictive (OTAMIN) découle des travaux de thèse de (Bourgin, 2014). Il permet avec plusieurs utilitaires associés, de déterminer en temps réel de manière systématique et automatique, les intervalles de confiance prédictifs à affecter aux résultats de modèles déterministes de prévision hydrologiques ou hydrauliques obtenues déterministes. Son principe repose sur l’analyse statistique préalable, menées sur les écarts, à divers horizons de prévision, entre :

  • les résultats de prévision obtenus avec ces modèles (après leur calage), effectuées avec les données d’entrée observées validées, jusqu’à l’instant de prévision, d’un lot d’évènements (n’ayant pas servi au calage),
  • les données observées correspondantes.

Avec son environnement logiciel, OTAMIN est ainsi utilisé en deux temps :

  • en préparation, pour les analyses statistiques des erreurs qui auraient été générées par le (ou les) modèle(s) utilisé(s) pour une série suffisamment nombreuse de mesures validées pour des évènements antérieurs sur le point de prévision, ainsi qu’en amont sur la pluie précipitée et les stations hydrométriques,
  • en temps réel, pour produire les intervalles de confiance associés à une prévision déterministe.

Pour déterminer l’incertitude prédictive, OTAMIN s’appuie sur les deux méthodes suivantes :

  • Regression Quantile (Weerts et al., 2011), cité par (Belley et al., 2023), sachant aussi que des travaux de recherche récents proposent de nouvelles techniques comme le Quantile Regression Forest (Tiberi-Wadier et al., 2023) ;
  • QUOIQUE (QUantification Opérationnelle des Incertitudes par QUantiles de dEbit), développée par Bourgin (2014).

QUOIQUE repose sur l’analyse a priori des erreurs qu’aurait faites le modèle (ou chacun des modèles) de prévision sur une série suffisante d’évènements passés (au moins 1000 valeurs observées et prévues sont nécessaires pour une analyse statistique fiable), en 3 étapes :

  • calcul des erreurs relatives en fonction de la valeur simulée prévue, puis classement par valeur croissante de valeur simulée et regroupement en 20 groupes de même effectif,
  • pour chacun de ces 20 groupes, calcul des quantiles d’erreurs (paramétrables, mais on choisira, pour le réseau Vigicrues, en général 10% et 90 %, correspondant à un intervalle de confiance de 80%, qui paraît raisonnable),
  • lissage par moyenne mobile.

Ces quantiles d’erreurs sont ensuite reportés en fonction de chaque horizon de prévision, pour chaque point de référence, sur des abaques qui seront utilisés dans l’utilitaire "temps réel" d’OTAMIN pour fournir les intervalles de confiance à affecter aux prévisions déterministes, qui traduiront l’incertitude brute. OTAMIN est, dans sa dernière version, capable d’établir ces intervalles prédictifs en les conditionnant par la saison, par la phase de crue (montée, descente), etc.

EXPRESSO

Ensuite, les prévisionnistes expertisent ces intervalles de confiance "bruts" avec un outil dédié, EAO (Expertise Assistée par Ordinateur) / EXPRESSO, développé au sein du réseau Vigicrues. Avec celui-ci, ils peuvent modifier graphiquement tout ou partie de chacune des 3 tendances représentant l’incertitude proposée par OTAMIN, en fonction de la profondeur temporelle de l’horizon de prévision :

  • la tendance basse, celle du quantile associé à la probabilité 10% (ou 0,1),
  • la tendance haute, du quantile associé à la probabilité 90% (ou 0,9),
  • la tendance centrale, correspondant à la probabilité 50% (ou 0,5).

Pour le guider dans cette opération, le prévisionniste dispose d’utilitaires lui permettant de :

  • visualiser les prévisions, et les incertitudes associées, antérieures ou en cours d’expertise sur le point de prévision en cours d’analyse ou d’autres environnants (en amont ou en aval, de même que des combinaisons linéaires de celles-ci,
  • tester des modifications en bloc de certaines tendances ou des trois simultanément pour augmenter ou réduire la valeur d’une pointe de crue ou pour accélérer ou freiner une montée de crue ou une décrue.

Les intervalles de confiance sur les débits sont transformés en leurs équivalents pour les niveaux d’eau sur la base des courbes de tarage.

Ces outils permettront au prévisionniste de préparer rapidement les prévisions et les incertitudes expertisées à afficher sur Vigicrues, en veillant à renforcer leur cohérence spatio-temporelle (Voir plus loin § "Cohérence des prévisions"), ainsi que (Berthet, 2019) et (Belleudy, 2023).

Pour en savoir plus : Viatgé et al. (2019) ; https://webgr.inrae.fr/logiciels/otamin/.

L’estimation subjective des incertitudes de prévision : un talent précieux qui se travaille beaucoup hors temps réel

Diverses méthodes de traitement statistique ou de modélisations particulières permettant d’estimer les incertitudes liées à des modèles de prévision, parfois couplés, ont été présentées dans les paragraphes précédents. Mais ces méthodes, en partie encore en cours de test ou de déploiement, ne sont pas très simples d’emploi, notamment en temps réel, assez imparfaites et surtout incomplètes. Pour intégrer une partie des autres incertitudes que celles de la modélisation, le choix s’est porté, pour le réseau Vigicrues, sur la détermination des incertitudes "brutes" avec OTAMIN, complétée par l’outil EAO / EXPRESSO. Pour mettre en œuvre ces outils, ainsi que leur environnement, il est indispensable, non seulement de maîtriser les notions sur lesquels ils reposent, mais aussi d’acquérir une expertise sur l’ensemble des sources d’incertitudes pouvant entrer en jeu dans le déroulement des divers types de crues concernant chacun des bassins versants et des cours d’eau en amont des points de prévision. (Marty, 2020).

C’est pourquoi nous présentons, pour clore le sujet de l’évaluation des incertitudes, la question de l’estimation subjective de ces incertitudes de prévision et toutes ses exigences. Elle consiste pour les prévisionnistes à exprimer une telle estimation, aussi rigoureuse, et formalisée de manière normée, que possible, des incertitudes sur les résultats des prévisions, qui résultent :

  • de l’incertitude sur les données dont il dispose, en s’appuyant sur des vérifications de cohérence, et en recueillant l’opinion des partenaires fournisseurs de ces données (prévisionnistes de Météo-France et hydromètres),
  • de la comparaison entre eux des résultats des divers modèles ou abaques utilisés, et de leurs résultats antérieurs par rapport aux mesures hydrologiques parvenues depuis,
  • de leur expérience de prévisionnistes, basée notamment sur :
    • les enseignements tirés du retour d’expérience formalisé et systématique : l’analyse a posteriori des pluies et crues précédentes et la mémoire (à entretenir) des surprises ou incidents qui les ont marquées,
    • la connaissance : des limites du dispositif d’observation ou des outils de prévision ; de la réaction aux divers types d’évènements pluvieux, des bassins versants et des cours d’eau, acquise par les constats sur le terrain et des analyses a posteriori,
    • les échanges avec les autres prévisionnistes du SPC ou du SCHAPI.

Cette méthode, apparemment simple, car elle ne nécessite pas d’autres outils que ceux du prévisionniste, demande en fait beaucoup de travail rigoureux préalable en temps masqué, ainsi que d’attention, d’humilité, de recherche d’objectivité et de lucidité en temps réel. Cela permettra d’éviter les pièges de la sur-confiance, que tend à générer la position d’expert, et qui conduit à trop réduire l’intervalle de confiance, ou à l’inverse, de la sous-confiance, induite, notamment, par les pressions d’une situation de crise.

Elle doit s’accompagner d’une formalisation suffisamment rigoureuse sur le degré de confiance que le prévisionniste accorde aux incertitudes qu’il affiche, que ce soit sous forme graphique ou littérale (Voir plus loin le Chapitre "Communication des incertitudes").

Pour en savoir plus : Fiche C.02 - Estimation subjective des incertitudes de prévision ; Houdant (2004) ; Belleudy (2023).

La prise en compte des incertitudes pour la prévision des inondations

Pour passer de la prévision des crues aux stations de prévision des crues à la prévision des inondations aux abords de ces stations, des cartes de Zones Inondées Potentiellement (ZIP) et Zones de classes d’Iso-Hauteur de submersion (ZICH) ont été établies par les Services de prévision des crues, en préalable au processus de prévision opérationnelle, sur la base de relevés LIDAR assez précis en altimétrie sur les zones inondables ; ces relevés LIDAR ont été réalisés au début des années 2010, à la fois pour faire face aux obligations de la France pour l’Évaluation Préliminaire des Risques d’Inondation en application de la directive européenne sur l’évaluation et la gestion de ces risques, pour la consolidation des bases topographiques des PPRI et pour la prévision des inondations. Ces cartes sont disponibles pour les prévisionnistes dans la base de données VIGINOND, accessible aussi pour les Directions départementales des territoires (et de la mer) et les responsables de la gestion des crises, ainsi que plus généralement pour le public, sur le site Géorisques et, de plus en plus, via le site Vigicrues. Chacune des cartes d’un jeu de ZIP et ZICH établi pour une station de prévision correspond à un niveau d’eau (et un débit) à son échelle hydrométrique. La série des niveaux de référence retenus est adaptée à la configuration géographique et à la distribution des enjeux. Il est donc possible d’encadrer les contours de la zone inondée prévue et les profondeurs de submersion à attendre en fonction du niveau prévu à la station (ou de sa médiane, en termes probabilistes), et de l’incertitude associée (voir figure 7).


Figure 7 : Illustration de la correspondance entre la prévision des crues et celle des inondations en prenant comme référence les cartes des Zones inondées potentiellement correspondant au débit décennal prévu, en tendance médiane, pour le moment T + 2, et au débit centennal, prévu, en tendance haute avec intervalle de confiance à 50 %, pour le moment T + 3 ; Source : Berthet et al.' (2016).

Il est à noter que l’incertitude sur les niveaux de submersion et surtout sur les contours des zones inondées est réduite par rapport à celle portant sur les débits transités et les hauteurs d’eau (du moins avant débordement) au point de prévision. Cela s’explique physiquement :

  • une augmentation sensible du débit de transit, dont une partie s’écoule dans le lit moyen ou majeur se traduira par une augmentation atténuée du niveau d’eau dans ceux-ci, du fait de l’augmentation conséquente de la surface mouillée ;
  • lorsque l’inondation atteint les pieds de coteaux ou de plateaux entourant les plaines alluviales, leurs pentes devenant plus fortes limitent l’extension latérale de la zone inondée. La principale source d’incertitude deviendra alors l’espacement plus ou moins grand en niveaux d’eau de référence des jeux disponibles de cartes de zones d’inondation potentielle. Cet espacement a aussi des vertus : il traduit mécaniquement, par cette discrétisation, une double incertitude : sur les résultats des modélisations, et sur l’effet des phénomènes secondaires souvent locaux pouvant affecter le niveau d’eau en zone inondable (Voir De la prévision des crues à la prévision des inondations au SHPC Vienne-Thouet).

L’analyse des performances des prévisions de crues

Les critères de qualité des prévisions

Les prévisions sont des éléments d'information pour leurs destinataires. Pour être utiles, les prévisions doivent d'abord être jugées crédibles. Ainsi, il est nécessaire d'évaluer la confiance qu'il est possible d’accorder au système de prévision, sa fiabilité.

Fiabilité de la prévision

La fiabilité relève de la confiance, qui s'établit dans la durée. Un système de prévision sera jugé fiable si les informations probabilistes (probabilité de dépassement, intervalles de prévision, etc.) des prévisions émises sont vérifiées sur un ensemble significatif de prévisions.

Par exemple, pour un système qui fournit un intervalle de prévision à 80%, sa fiabilité peut être évaluée en calculant la fréquence empirique d'appartenance des observations aux intervalles de prévision correspondants, pour des événements assez nombreux et diversifiés. Plus cette fréquence empirique est proche de 80%, plus le système sera considéré comme fiable. Ainsi, les destinataires, même ceux qui, dans un premier temps, pourraient être rebutés par ce type d’approche, peuvent partager l’évaluation de la fiabilité des prévisions ; après avoir pratiqué l’exercice, ils reconnaissent souvent qu’ils peuvent en tirer des décisions plus adéquates que s'ils avaient disposé des seules prévisions déterministes.

Pour en savoir plus : Fiche D.02 – Fiabilité d’une prévision

Utilité de la prévision

On peut définir cette utilité comme la capacité à fournir aux utilisateurs les éléments nécessaires pour prendre leurs décisions. Elle est souvent évaluée subjectivement par l'utilisateur lui-même, ou par le prévisionniste lorsqu’il cherche à intégrer les logiques de l'utilisateur pour lui fournir les éléments d’information les plus pertinents. Ces évaluations demandent pour cela des échanges très réguliers entre prévisionnistes et destinataires.

Pour en savoir plus : Fiche D.01 – Utilité d’une prévision

Précision de la prévision

La précision (ou la justesse) d’une prévision est sa proximité avec les observations qui seront effectuées à son échéance. Pour une prévision déterministe, elle est souvent évaluée par divers critères numériques évaluant les écarts entre prévision et observation a posteriori. Elle est évaluée par divers critères : moyennes, absolue ou quadratique ; critères de Nash-Sutcliffe ou de persistance. Pour une prévision probabiliste, on peut étendre le concept des critères du cas déterministe, en les appliquant, par exemple, à la médiane ou à la moyenne.

Le premier réflexe du prévisionniste peut être de communiquer sur la précision, et sous des formes qui intéressent peu les utilisateurs, contrairement à la fiabilité qu’il convient de privilégier, comme on l’a vu plus haut.

Pour en savoir plus : Fiche D.03 – Précision d’une prévision

Finesse de la prévision

La finesse d'une prévision probabiliste correspond à la "largeur" du spectre de l'incertitude : plus une prévision est incertaine, moins elle sera fine. On peut aussi la dénommer "résolution de la prévision" (les anglophones emploient le mot "sharpness" qui évoque la nature plus ou moins pointue ou acérée de la densité de probabilité). Elle se mesure souvent par la largeur d'un intervalle de prévision.

Il faut bien distinguer la finesse et la précision : la précision rend compte des qualités propres de la prévision, en la comparant à l'observation a posteriori ; la finesse caractérise le niveau de connaissance affiché dans la prévision. Si les incertitudes sont sous-estimées, la finesse affichée est excessive. La mesure de la finesse n’intégrant pas les valeurs observées, il s’agit plutôt d’un attribut de la prévision qu’un indicateur de sa qualité.

Pour en savoir plus : Fiche D.04 – Finesse d’une prévision

Absence de biais systématique

La présence d'un biais indique que l'erreur faite par le système de prévision n'est pas entièrement aléatoire : elle comporte une partie systématique (un biais) qui pourrait être retranché aux sorties du système de prévision pour obtenir des prévisions de meilleure qualité.

Le biais d’un système de prévision déterministe se calcule sur un ensemble de prévisions passées. C’est la moyenne de l'écart des prévisions aux observations. Il est possible d'étendre ce concept aux prévisions probabilistes en considérant la précision d'une caractéristique de la prévision probabiliste comme sa moyenne ou sa médiane.

Un biais systématique peut être détecté sur le diagramme de Talagrand (Fiche D.08 – Diagramme de Talagrand) ou sur le diagramme de fiabilité (Fiche D.09 – Diagramme de fiabilité). Il convient alors de les construire en les "stratifiant" selon différentes gammes de valeurs prévues (Bellier et al. 2017).

Pour en savoir plus : Fiche D.05 – Absence de biais systématique

Cohérence des prévisions

C’est une préoccupation qui monte en puissance par suite de la forte croissance des demandes de prévision, notamment en nombre de points de prévision et en allongement de l’horizon de prévision. La cohérence des prévisions englobe plusieurs aspects :

  • la cohérence spatio-temporelle des prévisions faites à un instant donné (analyse interbassins, amont-aval) ;
  • le respect de la structure temporelle de chaque prévision (pour différents horizons) ;
  • la cohérence des prévisions successives au cours d’un événement de crue dont la variabilité provient de l’évolution de la connaissance de l’événement (ce qui était prévu devient observé) mais également des prévisionnistes qui se sont succèdés.

Pour concevoir des méthodes, des outils de prévision et des organisations humaines adaptés à cette production, à la fois "de masse" et de qualité, le réseau Vigicrues et EDF, même s’ils ont des contextes et des objectifs différents, ont identifié plusieurs pistes de recherches, de méthodes et d’organisations.

Pour en savoir plus : Berthet et al. (2019).

Capacité de discrimination

Les destinataires des prévisions peuvent prendre deux types de décision :

  • l'ajustement d'une variable continue (par exemple, le débit sortant d'un ouvrage d’écrêtement de crue sur un cours d’eau, en fonction des prévisions de débit entrant) ;
  • ou bien, pour la plupart de ces destinataires, un choix entre un nombre fini d'options (souvent réduit à deux options comme entre "lancer une alerte ou "ne pas lancer l’alerte"). Les prévisions devront alors permettre d’éclairer au mieux ce choix entre plusieurs options.

L'évaluation a posteriori de la capacité de la prévision à bien discriminer entre quelques options peut se baser sur une table de contingence (Voir Tableau de la figure 8).


Figure 8 : Table de contingence dans le cas d'une prévision de dépassement de seuil (situation binaire) ; Source : Fiche D.06 – Capacité de discrimination.

Les défauts de discrimination peuvent conduire à l'absence d'actions qui aurait pu limiter les conséquences d'un événement (par suite d’un événement manqué) ou encore au lancement d'actions qui se révéleront inutiles par la suite (dans le cas d’une fausse alerte).

Lorsque la prévision est déterministe, le choix des utilisateurs de la prévision est fait en référence au fait si la variable prévue (niveau d’eau, débit, etc.) dépasse un certain seuil. Lorsque la prévision est probabiliste, les utilisateurs sont invités à déterminer à partir de quel niveau de vraisemblance on peut prédire que le système étudié sera dans une situation plus ou moins critique, en se basant sur une probabilité dite de coupure ($ Pc $) du dépassement de seuil. Cette probabilité de coupure est fixée en prenant en compte la nature des risques : s’il y a des risques notables de pertes de vies humaines ou de dégâts matériels majeurs, par exemple en cas de crues soudaines ou d’approche d’un seuil de défaillance d’une digue ou d’un barrage, elle sera fixée en privilégiant nettement l’évitement des évènements manqués, et donc en assumant plus les fausses alertes. .

La fiche D.07 – Trouver l’équilibre entre taux de fausses alertes et taux d’évènements manqués explique comment l'information probabiliste peut être utilisée pour optimiser l'utilité de la prévision dans la prise de décision, en définissant la probabilité de coupure permettant d'obtenir le meilleur rapport entre taux de fausses alertes et taux d'événements manqués pour l'utilisateur.

Le diagramme ROC (Fiche D.13 – Diagramme ROC) est un moyen d'évaluer la capacité d'une prévision probabiliste à discriminer entre deux situations possibles.

Pour en savoir plus : Fiche D.06 – Capacité de discrimination

La mesure des performances

Certains outils de mesure de la performance des prévisions ont déjà été évoqués :

  • les diagrammes de Talagrand et de fiabilité (Fiche D.09 – Diagramme de fiabilité), pour évaluer la fiabilité de la prévision et, de plus, identifier les biais systématiques,
  • le bon équilibre entre les fausses alertes et les évènements manqués, ainsi que le diagramme ROC pour renforcer ou évaluer les capacités de discrimination,

D’autres méthodes d’évaluation des performances sont utilisées, associant souvent, comme indiqué dans la Fiche D.12 – Scores de compétence :

  • les scores de performance eux-mêmes, dont la valeur sera d'autant plus proche de la valeur optimale que la prévision sera bonne,
  • les scores de compétence, établis en comparant des valeurs d’un score de performance pour le système de prévision testé à celles obtenues par ce même score pour un système de référence (par exemple, la valeur prévue pour les échéances à venir est la même que celle qui vient d’être observée) ; les scores de compétence sont plus directement interprétables car leur valeur est d’autant plus élevée que la prévision est bonne.

Les autres fiches relevant de ce domaine figurant dans la catégorie Incertitudes de Wikhydro, sont notamment :

  • la Fiche D.10 – Score de Brier (BS) et score de performance de Brier (BSS) qui présente :
    • le score de Brier, qui évalue les prévisions probabilistes de variables ne pouvant prendre qu'un nombre fini de valeurs (ou « catégories »), par exemple, le niveau de vigilance aux crues (quatre couleurs), ou bien la réalisation ou non d'un événement, ou encore le dépassement d'un seuil ; sa valeur sera d'autant plus faible que la prévision sera bonne, en matière de précision et de finesse ;
    • le score de performance de Brier, plus facile à interpréter que le score de Brier ; il compare la prévision à celle obtenue avec un autre système, de référence : une valeur positive de ce score indique que le système évalué est meilleur que la référence, et une valeur négative le contraire.

Les outils opérationnels d’évaluation des performances de prévision

L’évaluation systématique des prévisions est une des recommandations issues des réflexions menées au sein du réseau et avec l’appui d’experts scientifiques entre 2012 et 2014.

La version 1 de l’outil SCORES, mise en service en 2015, répond principalement au besoin d’évaluer la performance de modèles déterministes, que ce soit dans un but de connaissance a posteriori ou d’optimisation de leur calage. A partir de chroniques de débits observés et prévus, cet outil calcule automatiquement certains scores (Nash et Sutcliffe, RMSE, etc.), par horizon de prévision.

Le réseau Vigicrues réfléchit aux évolutions nécessaires pour faciliter l’évaluation des prévisions, soit en complétant l’outil Scores soit en adaptant l’outil Evalhyd développé par l’INRAE.

Pour en savoir plus : Belleudy (2023).

L’évaluation des performances, une démarche essentielle pour consolider les compétences

C’est d’abord un exercice rigoureux et exigeant qui permet de se jauger soi-même ou, plus largement, d’évaluer un système et une équipe, en passant par le filtre des divers critères de qualité, particulièrement de la fiabilité, les performances de la prévision, pour une crue ou chacune de ses phases, et pour une série d’évènements.

Cette discipline s’applique sur plusieurs temps : dans les jours suivant la crise pour faire face à l’éventualité d’une polémique ; ou les semaines suivantes pour un retour d’expérience ; ou plus tard pour poser un diagnostic approfondi et apporter des améliorations assez profondes aux divers niveaux concernés du système de prévision.

Elle a l’avantage d’aider les prévisionnistes et leurs partenaires à s’approprier progressivement des concepts assez abstraits au premier abord, mais qui sont essentiels pour améliorer la production et utilisation des prévisions. Elle renforce en particulier la rigueur de la démarche d’estimation subjective des incertitudes.

D’importants efforts de formation sont réalisés pour consolider la maîtrise de l’évaluation des prévisions, au niveau national comme dans chacun des SPC. On peut citer en particulier : les Fiches de la Catégorie Incertitudes de Wikhydro et Marty (2020).

Cette évaluation est aussi un moyen puissant d’améliorer la communication entre prévisionnistes et utilisateurs, non seulement pour bonifier l’information produite sur les prévisions et les incertitudes, mais aussi pour consolider une culture commune avec les utilisateurs de ces prévisions, et donc leur utilité, en renforçant les liens de confiance.

La communication des incertitudes et l’organisation requise

L’incertitude, souvent spontanément ressentie comme de l’imprécision, doit s’exprimer comme une information supplémentaire riche et rigoureuse, aidant les destinataires à prendre les meilleures décisions possibles en toute connaissance des possibles, et évitant au maximum les malentendus.

Cela implique de rechercher :

  • la non-ambiguïté ;
  • la cohérence qui nécessite un langage commun à tous les prévisionnistes et aux utilisateurs, au moins les gestionnaires de crise et, si possible, les médias ;
  • la transparence : représentations graphiques et textes faisant appel à un socle explicité de définitions précises ; pour ceci, un guide de rédaction des bulletins de vigilance par les prévisionnistes a été établi.

Par ailleurs, le réseau des prévisionnistes présente, toutes proportions gardées, des similitudes avec celui du Groupe Intergouvernemental des Experts sur l’Évolution du Climat (GIEC ou IPCC, pour les anglophones) : les deux groupes sont composés de scientifiques et spécialistes de disciplines variées ; le public auquel il s’adresse est très varié. Pour cela, La Fiche A.06 – Communication des incertitudes fait référence aux Rapports du GIEC, qui ont notamment, depuis 2001, établi des tables de correspondance permettant de calibrer les mots employés dans le rapport : par exemple pour l'expression de la confiance dans les prévisions émises (5 niveaux, de très élevée à très faible) et de leur vraisemblance (5 niveaux, de quasi-certain à peu vraisemblable) (GIEC, 2007).

L’ensemble des Fiches de la catégorie Incertitudes de Wikhydro, aide, par ailleurs, à diffuser des textes homogènes dans les bulletins de prévision de Vigicrues.

Sous forme graphique, Vigicrues fait de plus en plus apparaître les observations de niveau d’eau ou de débit jusqu’au démarrage du cycle d’élaboration de la publication de la nouvelle prévision, puis le fuseau de l’intervalle de prévision aux diverses échéances (ou horizons) de prévision possible, pour un niveau de confiance élevé. Cela consiste à afficher pour les échéances à venir l’intervalle de prévision et la probabilité de présence de la grandeur hydraulique prévue dans l’intervalle, par exemple "il y a 80 chances sur 100 que le débit dans 6 h soit compris entre 1 100 m3/s et 1 450 m3/s" (Voir Fiche A.04 – Exprimer une information par un pari).

L’expression quantifiée de la confiance qu’a acquise le prévisionniste dans sa prévision (Voir, notamment, la Fiche C.02 – Estimation subjective des incertitudes en prévision), l’engage à mobiliser toutes ses ressources dans son exercice en temps limité. Elle lui permettra ensuite de vérifier et améliorer encore (Fiche C.07 – Apprentissage : analyse a posteriori des erreurs de prévision), sur un ensemble de prévisions, sa fiabilité (sa capacité à ne pas surestimer ou sous-estimer l’incertitude, en moyenne), à analyser en premier, avant, par exemple, la précision (l’écart avec l’observation, rappelons-le). Cela permet aussi aux destinataires de prendre les décisions qui leur reviennent en cernant le champ des possibles.

Les prévisionnistes, pour assurer le passage du monde déterministe au monde probabiliste dans la production des prévisions, doivent à la fois : savoir vérifier leur vraisemblance et leur cohérence d’ensemble ; procéder aux approfondissements nécessaires ; privilégier leur temps de travail sur les secteurs les plus vulnérables et les sujets les plus sensibles ; porter ces prévisions auprès des utilisateurs et des décideurs, en les expliquant et en les assumant.

Cela implique l’adaptation du dimensionnement, de la composition et de la mission des équipes. Il est nécessaire, aussi, de mettre à leur disposition : des formations pour renforcer leurs expertises ; et des outils pour assurer le volume croissant, la fiabilité, cohérence, la robustesse, et l’intelligibilité des prévisions. Cela nécessite que dès l’orientation des recherches pour améliorer les prévisions ou l’établissement des cahiers des charges des outils, la complexité du rôle des prévisionnistes soit prise en compte.

En synthèse des évolutions de la communication des incertitudes de prévision des crues et des inondations, le schéma de la Figure 9 présente les diverses phases de l’évolution de sa formalisation graphique.


Figure 9 : Illustration de l’enrichissement en cours des prévisions de crue depuis 2010  ; Source : Berthet et al., 2016.

Pour en savoir plus : Fiches : A.06 - Communication des incertitudes ; A.10 – Intervalles de prévision ; A.04 – Exprimer une information par un pari ; C.02 – Estimation subjective des prévisions ; C.07 – Apprentissage : analyse a posteriori des erreurs de prévision.

Bibliographie :

  • Audard-Vincendon, B. (2010) : Apport des modèles météorologiques de résolution kilométrique pour la prévision des crues rapides méditerranéennes : vers une prévision d'ensemble des débits en région Cévennes-Vivarais ; 239 p. ; Mémoire de thèse à l’Ecole doctorale Sciences de l'Univers, de l'environnement et de l'espace (SDU2E) à Toulouse, Centre National de Recherches Météorologiques (CNRM-GAME), URA 1357 ; disponible sur http://thesesups.ups-tlse.fr/1093/1/Beatrice_Audard%2DVincendon.pdf
  • Bachoc, A., Garçon, R., Daly, F., Gautheron, A., Gaume, E., Perrin, C., Obled, C., Lepelletier, T. (2011) : Besoins opérationnels et progrès actuels en matière de connaissance des phénomènes physiques dans l’hydrologie des crues ; La Houille Blanche n° 1 ; p. 14-21 ; disponible sur https://doi.org/10.1051/lhb/2011001
  • Belleudy, A., Marty, R., Le Pape, E., Narbaïs-Jauréguy, D., Zuber, F. (2003) : Vers la généralisation de la prévision probabiliste au sein du réseau Vigicrues : estimation, évaluation et communication ; Colloque SHF "Prévision des crues et des inondations – avancées, valorisation et perspectives", Toulouse 28-30 novembre 2023.
  • Ben Daoud, A., Sauquet, E., Lang, M., Obled, C., Bontron, G. (2009) : La prévision des précipitations par recherche d’analogues : l’état de l’art et perspectives ; La houille Blanche n°6 ; pp. 60-65 ; disponible sur https://www.shf-lhb.org/articles/lhb/abs/2009/06/lhb2009079/lhb2009079.html https://www.researchgate.net/publication/44191193_La_prevision_des_precipitations_par_recherche_d'analogues_etat_de_l'art_et_perspectives
  • Berthet, L., Gaume, E., Piotte, O. (2016) : Evaluer et communiquer les incertitudes associées aux prévisions hydrologiques pour mieux partager l'information ; sur la base des productions des groupes de travail du CST (cité plus haut) du SCHAPI et du chantier d’intérêt commun SCHAPI – SPC "Estimation des incertitudes de prévision" ; La Houille Blanche ; n° ; p. 18-24 ; disponible sur https://doi.org/10.1051/lhb/2016035
  • Berthet, L., Valéry, A., Garçon, R., Marty, R., Moulin, L., Puygrenier, D., Piotte, O., Le Lay,M., Janet, B., Duquesne, F. (2019) : Cohérence des prévisions et place de l’expertise : les nouveaux défis pour la prévision des crues ; Actes de la Conférence SHF "De la prévision des crues à la gestion des crises" ; Avignon, 14 au 16 novembre 2018, et publié dans La Houille Blanche, n° 1 ; 2019 ; p. 5-12 ; disponible sur https://doi.org/10.1051/lhb/2019001.
  • Bourgin, F. (2014) : Comment quantifier l’incertitude prédictive en modélisation hydrologique ? Travail exploratoire sur un grand échantillon de bassins versants ; thèse Agro-Paristech ; disponible sur https://www.theses.fr/2014AGPT0016
  • Bouttier F. (2018) : La prévision [météorologique] d’ensemble ; Encyclopédie de l’environnement ; 20/09/2018 ; consulté le 03/03/2024 [en ligne ISSN 2555-0950] url : https://www.encyclopedie-environnement.org/air/prevision-densemble/
  • CGEDD et IGA (2017) : Conseil Général de l’Environnement et du Développement Durable (CGEDD) et Inspection Générale de l’Administration (IGA) ; rédacteurs : Bernard Ménoret, Pierre-Alain Roche, Philippe Sauzet et Frédéric Perrin ; Inondations de mai et juin 2016 dans les bassins moyens de la Seine et de la Loire. Retour d’expérience, février 2017, disponible sur https://igedd.documentation.developpement-durable.gouv.fr/documents/Affaires-0009575/010743-01_rapport.pdf;jsessionid=862E8FC00012A07F06FDB9E7F21885F5
  • Cloke, H., Thielen, J., Pappenberger, F., Nobert, S., Balint, G., Edlund, C., Koistinen, A., de Saint-Aubin, C., Sprokkereef, E., Viel, C., Salamon, P., and Buizza, R. (2009) : Progress in the implementation of Hydrological Ensemble Prediction Systems (HEPS) in Europe for operational flood forecasting ; European Centre for Medium-range Weather Forecasts (ECMWF) Newsletter n° 121 ; pp.20-24 ; disponible sur https://www.researchgate.net/publication/234392144_Hydrological_Ensemble_Prediction_System_HEPS
  • CST du SCHAPI (2013 : Conseil scientifique et technique du SCHAPI ; Conclusions du groupe de travail sur le thème "Les incertitudes associées aux prévisions des crues et des inondations, leur estimation et leur prise en compte dans la communication" ; 9 juillet 2013 ; 13 p. + 21 p. d’Annexes
  • GIEC (2007) : Guide de rédaction sur la communication des incertitudes pour les contributeurs aux apports du GIEC ; disponible sur http://www.ipcc.ch/pdf/assessment-report/ar4/wg1/ar4-uncertaintyguidancenote.pdf
  • Houdant, B. (2004) ; Contribution à l'amélioration de la prévision hydrométéorologique opérationnelle : pour l'usage des probabilités subjectives pour la communication entre acteurs ; Mémoire de doctorat, ENGREF (Voir également un résumé en quelques pages disponible sur : http://extranet.schapi.i2/spip/spip.php?article1034).
  • Leutbecher, M., Lock, S.-J., Ollinaho, P., Lang, S., Balsamo, G., Bechtold, P., Bonavita, M., Christensen, H., Diamantakis, M., Dutra, E., English, S., Fisher, M., Forbes, R., Goddard, J., Haiden, T., Hogan, R., Juricke, S., Lawrence, H., MacLeod, D., Magnusson, L., Malardel, S., Massart, S., Sandu, I., Smolarkiewicz, P., Subramanian, A., Vitart, F., Wedi, N., Weisheimer A. (2017) : Stochastic representations of model uncertainties at ECMWF: state of the art and future vision ; Quaterly Journal of the Royal Meteorological Society ; July 2017 Part B ; pp. 2315-2339 ; disponible sur https://doi.org/10.1002/qj.3094
  • Marty, R. (2010) : Prévision hydrologique d’ensemble adaptée aux bassins à crue rapide : élaboration de prévisions probabilistes de précipitations à 12h et 24h par désagrégation horaire conditionnelle pour la modélisation hydrologique avec application à des bassins de la région Cévennes – Vivarais ; 325 p. ; Mémoire de thèses à l’Ecole doctorale Sciences de la terre, de l’environnement et des planètes à Grenoble ; disponible sur https://theses.hal.science/tel-00480713v2/document
  • Marty, R. (2020) Évaluation des prévisions du SPC LCI – Principes, méthodes et outils ; Rapport pouvant être transmis sur demande adressée à renaud.marty@developpement-durable.gouv.fr ; 57p.
  • Marty, R., Gautheron, A., Edouard, S., Horton, P., Obled, C. (2023) : Les Analogues, une approche statistique adaptée pour la prévision opérationnelle des crues, et étendue à l’ensemble de la France ; Colloque SHF "Prévision des crues et des inondations – Avancées, valorisation et perspectives" ; Toulouse, 28-30 novembre 2023 ;
  • Météo-France (2015) : Compte-rendu de la réunion du 24 mars 2015 de la Commission "hydrologie" du Conseil supérieur de la météorologie ; disponible sur https://www.meteofrance.fr/documents/10192/219302/CR_hydro_24_03_15_vF.pdf
  • OMM (2011) : Manuel sur la prévision et l'annonce des crues ; Organisation météorologique mondiale ; rapport OMM n° 1072 ; Edition 2011 ; 154 p. ; traduction en français assurée en 2015 par Caroline Wittwer (BRGM), avec le concours de Céline de Saint-Aubin et de Fabrice Hébrard (DGPR/SCHAPI) pour le compte de la Direction générale de la prévention des Risques, Ministère chargé de l'environnement ; disponible sur https://library.wmo.int/records/item/32085-manuel-sur-la-prevision-et-l-annonce-des-crues
  • Ramos, M.H. (2018) : Qualité et valeur des prévisions hydrologiques d’ensemble ; Mémoire d’habilitation à diriger des recherches, Sorbonne Université, à Paris – IRSTEA ; 102 p. https://webgr.inrae.fr/wp-content/uploads/2018/05/HDR-RAMOS_2018_VPublic.pdf
  • Roche P.-A., Miquel, J., Gaume, E. (2012) : Hydrologie quantitative : processus, modèles et aide à la décision ; 2012 ; éditions Springer-Verlag France ; 590p. + Annexes sur CD
  • Tiberi-Wadier, A-L, Belleudy, A., Le Pape, E., Ramos, M.-H., Ricci, S., Goutal, N. (2023) : Prévisions d’ensemble hydrologiques au sein du réseau national de prévision des crues en France "Vigicrues" : expérimentations avec le post-traitement des prévisions dans le bassin de l’Odet ; Colloque SHF "Prévision des crues et des inondations – Avancées, valorisation et perspectives", Toulouse, 28-30 novembre 2023.
  • Van Der Knijff, J. M., Younis J., De Roo, A. P. J. (2008) : LISFLOOD : a GIS-based distributed model for river basin scale water balance and flood simulation ; publié en nov. 2008 par European Commission Knowledge Management Unit, et republié dans International Journal of Geographical Information Science ; disponible sur https://www.tandfonline.com/doi/abs/10.1080/13658810802549154?journalCode=tgis20
  • Velazquez, A.. Anctil, F., Ramos, M.-H., Perrin Ch. (2011) : Can a multi-model approach improve hydrological ensemble forecasting ? A study on 29 French catchments using 16 hydrological model structures ; Advances in Geosciences ; n° 29 ; pp. 33-42; Février 2011 ; disponible sur https://adgeo.copernicus.org/articles/29/33/2011/adgeo-29-33-2011.pdf
  • Viatgé, J., Berthet, L., Marty, R., Bourgin, F., Piotte, O., Ramos, M.-H., Perrin, C. (2019) : Vers une production en temps réel d'intervalles prédictifs associés aux prévisions de crue dans Vigicrues en France ; Colloque SHF sur "La prévision des crues et la gestion des crises" ; Avignon ; 14 au 16 novembre 2018 ; publié dans la Houille Blanche n°2 en avril 2019, p. 63-71 ; disponible sur https://www.shf-lhb.org/articles/lhb/abs/2019/02/lhb180092/lhb180092.html
  • Weerts, A.H., Winsemius, H.C., Verkade, J.S. (2011) : Estimation of predictive hydrological uncertainty using quantile regression: examples from the National Flood Forecasting System (England and Wales) ; Deltares and Delft University ; Hydrology and Earth System Sciences ; disponible sur https://hess.copernicus.org/articles/15/255/2011/hess-15-255-2011.pdf
Récupérée de « http://wikhydro.developpement-durable.gouv.fr/index.php?title=Prévision_des_crues_:_erreurs,_incertitudes_et_évaluation_des_performances_(HU)&oldid=61456 »
Outils personnels

Milieux


Territoires


Savoirs / Acteurs


Enjeux