Validation d'un modèle (HU) : Différence entre versions
(→Considérations générales) |
|||
Ligne 1 : | Ligne 1 : | ||
''<u>Traduction anglaise</u> : Model validation, Model verification'' | ''<u>Traduction anglaise</u> : Model validation, Model verification'' | ||
− | <u>Dernière mise à jour</u> : | + | <u>Dernière mise à jour</u> : 22/07/2021 |
− | En toute rigueur, processus par lequel on démontre la validité d’un modèle en s'appuyant sur des preuves évidentes, sur le raisonnement ou sur des données totalement indépendantes (obtenues sur d'autres sites ou représentatives d’un autre aspect) de celles ayant permis de le construire. | + | En toute rigueur, processus par lequel on démontre la validité d’un [[Modèle (HU)|modèle]] en s'appuyant sur des preuves évidentes, sur le raisonnement ou sur des données totalement indépendantes (obtenues sur d'autres sites ou représentatives d’un autre aspect) de celles ayant permis de le construire. |
Dans la pratique, en hydrologie et en assainissement, on parle principalement de validation pour désigner le processus qui consiste à s'assurer qu'un modèle est capable de fournir des résultats acceptables pour une gamme donnée de phénomènes. On devrait, dans ce cas, plutôt parler de vérification. C'est uniquement cet aspect qui sera développé dans cet article et nous parlerons de façon équivalente de validation ou de vérification. | Dans la pratique, en hydrologie et en assainissement, on parle principalement de validation pour désigner le processus qui consiste à s'assurer qu'un modèle est capable de fournir des résultats acceptables pour une gamme donnée de phénomènes. On devrait, dans ce cas, plutôt parler de vérification. C'est uniquement cet aspect qui sera développé dans cet article et nous parlerons de façon équivalente de validation ou de vérification. | ||
Ligne 10 : | Ligne 10 : | ||
* choix du ou des critères permettant de préciser l'objectif à atteindre pour le modèle ; | * choix du ou des critères permettant de préciser l'objectif à atteindre pour le modèle ; | ||
* choix de l'écart acceptable sur chacun des critères pour vérifier le niveau de confiance attendu ; | * choix de l'écart acceptable sur chacun des critères pour vérifier le niveau de confiance attendu ; | ||
− | * mise en œuvre de la démarche (reposant généralement sur l'acquisition de données). | + | * mise en œuvre de la démarche (reposant généralement sur l'acquisition et l’exploitation de données mesurées, si possible obtenues en continu, et/ou d’observations, par exemple de [[Laisse de crue (HU)|laisses de crues]]). |
==Choix du ou des critères== | ==Choix du ou des critères== | ||
Ligne 16 : | Ligne 16 : | ||
===Considérations générales=== | ===Considérations générales=== | ||
− | Les modèles hydrologiques ou hydrauliques qui font l'objet de cet article peuvent être construits pour répondre à des objectifs très diversifiés. Les critères doivent donc être choisis en fonction des objectifs retenus. Sans prétendre à l'exhaustivité, nous illustrerons le choix des critères au travers 3 exemples classiques : | + | Les modèles hydrologiques ou hydrauliques qui font l'objet de cet article peuvent être construits pour répondre à des objectifs très diversifiés. Les critères doivent donc être choisis en fonction des objectifs retenus. Sans prétendre à l'exhaustivité, nous illustrerons le choix des critères au travers de 3 exemples classiques : |
* modèles destinés à représenter les crues majeures d'un cours d'eau ; | * modèles destinés à représenter les crues majeures d'un cours d'eau ; | ||
* modèles destinés à établir le diagnostic de fonctionnement hydraulique d'un réseau d'assainissement ; | * modèles destinés à établir le diagnostic de fonctionnement hydraulique d'un réseau d'assainissement ; | ||
Ligne 26 : | Ligne 26 : | ||
* objectivité. | * objectivité. | ||
− | Dans tous les cas la méthode reposera généralement sur des campagnes de mesures permettant de comparer | + | Dans tous les cas la méthode reposera généralement sur des campagnes de mesures permettant de comparer les valeurs calculées à partir des mesures et observations aux valeurs résultant des modélisations. Trois conditions importantes devront systématiquement être respectées : |
* utiliser impérativement pour la vérification des "événements hydrologiques" différents de ceux ayant été utilisés pour le calage ; | * utiliser impérativement pour la vérification des "événements hydrologiques" différents de ceux ayant été utilisés pour le calage ; | ||
− | * utiliser un nombre d'événements d'autant plus important que les incertitudes | + | * utiliser un nombre d'événements d'autant plus important que les incertitudes sur les mesures sont grandes (10 à 15 événements constitue un nombre minimum souhaitable qui, malheureusement, ne peut pas toujours être atteint) ; |
* utiliser des événements hydrologiques représentatifs de ceux visés par les objectifs. | * utiliser des événements hydrologiques représentatifs de ceux visés par les objectifs. | ||
Ligne 48 : | Ligne 48 : | ||
* avoir été correctement calés sur un nombre suffisant d'événements pluvieux représentatifs (en particulier incluant des pluies suffisamment fortes pour provoquer des dysfonctionnements du réseau). | * avoir été correctement calés sur un nombre suffisant d'événements pluvieux représentatifs (en particulier incluant des pluies suffisamment fortes pour provoquer des dysfonctionnements du réseau). | ||
− | Remplir ces deux conditions | + | Remplir ces deux conditions demande en général du temps et de la patience, ce qui explique que souvent on alterne les phases de calage et les phases de vérification. |
Pour ce type de problème, les critères de validation possibles, également par ordre d'intérêt et pour différents événements, sont les suivants : | Pour ce type de problème, les critères de validation possibles, également par ordre d'intérêt et pour différents événements, sont les suivants : | ||
Ligne 57 : | Ligne 57 : | ||
=== Cas des modèles destinés à représenter les rejets urbains de temps de pluie, par exemple dans le cadre de l'autosurveillance=== | === Cas des modèles destinés à représenter les rejets urbains de temps de pluie, par exemple dans le cadre de l'autosurveillance=== | ||
− | Comme pour le cas précédent, les modèles de ce type utilisent généralement un logiciel générique spécifiquement adapté sur le réseau à étudier. De la même façon on n'évalue donc pas vraiment la qualité du logiciel générique, | + | Comme pour le cas précédent, les modèles de ce type utilisent généralement un logiciel générique spécifiquement adapté sur le réseau à étudier. De la même façon on n'évalue donc pas vraiment la qualité du logiciel générique, supposée suffisante, mais celle de la représentation du réseau et celle du calage. La qualité de représentation des déversoirs d'orage est ici prépondérante. |
Les critères possibles sont les suivants : | Les critères possibles sont les suivants : | ||
Ligne 64 : | Ligne 64 : | ||
* volumes individuels rejetés pour un ensemble représentatif de déversoirs et d'événements pluvieux. | * volumes individuels rejetés pour un ensemble représentatif de déversoirs et d'événements pluvieux. | ||
− | <u>Nota</u> : pour les modèles de ce type il est intéressant d'utiliser pour le calage des hydrogrammes observés en différents points d'intérêt du réseau ; le fait que les critères de calage | + | <u>Nota</u> : pour les modèles de ce type il est intéressant d'utiliser pour le calage des hydrogrammes observés en différents points d'intérêt du réseau ; le fait que les critères de calage soient différents des critères de validation permet de conforter la confiance que l'on peut avoir dans le modèle. |
== Écarts acceptables sur les critères pour considérer le modèle comme validé== | == Écarts acceptables sur les critères pour considérer le modèle comme validé== | ||
Ligne 70 : | Ligne 70 : | ||
===Considérations générales=== | ===Considérations générales=== | ||
− | Déterminer la valeur acceptable du critère d'écart suppose au préalable d'avoir déterminé | + | Déterminer la valeur acceptable du critère d'écart suppose au préalable d'avoir déterminé les incertitudes sur : |
+ | * les éléments nécessaires au fonctionnement du modèle (incertitudes sur la connaissance de la pluie, sur la nature des surfaces, etc.) qui induisent des incertitudes sur la valeur des paramètres calculés utilisés pour déterminer le ou les critères (principalement volumes et/ou débits) ; | ||
+ | * la mesure directe des paramètres utilisées pour calculer le critère (par exemple la validité de la courbe de tarage pour déterminer les débits dans la gamme correspondant à ceux des évènements pris en référence. | ||
− | + | Tout écart inférieur à l'incertitude sur cet écart est en effet non significatif. De fait, en première approximation, on peut considérer que l'écart acceptable entre les valeurs simulées et les valeurs calculées pour le critère choisi doit être de l'ordre de grandeur de la somme des incertitudes sur chacune des deux familles de valeurs. | |
− | + | ||
− | + | ||
− | Ces incertitudes sont souvent très importantes pour un événement particulier et un point particulier. Ceci explique pourquoi il est préférable de privilégier des critères intégrateurs pour lesquels les incertitudes sont plus faibles. Malgré tout, les deux familles d'incertitudes dépendent d'un grand nombre d'éléments locaux : par exemple densité du réseau de pluviomètres, utilisation éventuelle de données radar, qualité des mesures de débit, nombre d'événements utilisés, complexité du réseau, etc.. Il est donc extrêmement difficile de donner ne serait-ce que des ordres de grandeur des écarts acceptables. | + | Ces incertitudes sont souvent très importantes pour un événement particulier et un point particulier. Ceci explique pourquoi il est préférable de privilégier des critères intégrateurs pour lesquels les incertitudes sont plus faibles. Malgré tout, les deux familles d'incertitudes dépendent d'un grand nombre d'éléments locaux : par exemple densité du réseau de [[Pluviomètre (HU)|pluviomètres]], utilisation éventuelle de données provenant d'un [[Radar météorologique (HU)|radar météorologique]], qualité des mesures de débit, nombre d'événements utilisés, complexité du réseau, etc.. Il est donc extrêmement difficile de donner ne serait-ce que des ordres de grandeur des écarts acceptables, ce qui ne doit pas dispenser de le faire au mieux. |
''Article en chantier'' | ''Article en chantier'' |
Version du 22 juillet 2021 à 14:49
Traduction anglaise : Model validation, Model verification
Dernière mise à jour : 22/07/2021
En toute rigueur, processus par lequel on démontre la validité d’un modèle en s'appuyant sur des preuves évidentes, sur le raisonnement ou sur des données totalement indépendantes (obtenues sur d'autres sites ou représentatives d’un autre aspect) de celles ayant permis de le construire.
Dans la pratique, en hydrologie et en assainissement, on parle principalement de validation pour désigner le processus qui consiste à s'assurer qu'un modèle est capable de fournir des résultats acceptables pour une gamme donnée de phénomènes. On devrait, dans ce cas, plutôt parler de vérification. C'est uniquement cet aspect qui sera développé dans cet article et nous parlerons de façon équivalente de validation ou de vérification.
Nous raisonnerons dans le cadre des modèles opérationnels, construits pour atteindre un objectif spécifique. La démarche de vérification doit permettre dans ce cas de s'assurer que le modèle permet d'atteindre l'objectif fixé avec un niveau donné de confiance. Elle comprend trois étapes successives :
- choix du ou des critères permettant de préciser l'objectif à atteindre pour le modèle ;
- choix de l'écart acceptable sur chacun des critères pour vérifier le niveau de confiance attendu ;
- mise en œuvre de la démarche (reposant généralement sur l'acquisition et l’exploitation de données mesurées, si possible obtenues en continu, et/ou d’observations, par exemple de laisses de crues).
Choix du ou des critères
Considérations générales
Les modèles hydrologiques ou hydrauliques qui font l'objet de cet article peuvent être construits pour répondre à des objectifs très diversifiés. Les critères doivent donc être choisis en fonction des objectifs retenus. Sans prétendre à l'exhaustivité, nous illustrerons le choix des critères au travers de 3 exemples classiques :
- modèles destinés à représenter les crues majeures d'un cours d'eau ;
- modèles destinés à établir le diagnostic de fonctionnement hydraulique d'un réseau d'assainissement ;
- modèles destinés à représenter les rejets urbains de temps de pluie, par exemple dans le cadre de l'autosurveillance.
Quel que soit l'objectif, ces critères doivent présenter des qualités communes minimales :
- représentativité vis à vis des objectifs à atteindre ;
- mesurabilité ou capacité à être calculés à partir des données disponibles ;
- objectivité.
Dans tous les cas la méthode reposera généralement sur des campagnes de mesures permettant de comparer les valeurs calculées à partir des mesures et observations aux valeurs résultant des modélisations. Trois conditions importantes devront systématiquement être respectées :
- utiliser impérativement pour la vérification des "événements hydrologiques" différents de ceux ayant été utilisés pour le calage ;
- utiliser un nombre d'événements d'autant plus important que les incertitudes sur les mesures sont grandes (10 à 15 événements constitue un nombre minimum souhaitable qui, malheureusement, ne peut pas toujours être atteint) ;
- utiliser des événements hydrologiques représentatifs de ceux visés par les objectifs.
Cas des modèles destinés à représenter les crues majeures d'un cours d'eau
Ce type de modèle peut être construit spécifiquement pour un cours d'eau donné, voire pour une portion particulière de ce cours d'eau ou pour une classe particulière de cours d'eau. Dans ce cas on distingue en général la validation interne, c'est à dire la capacité du modèle à reproduire les crues sur les cours d'eau sur lesquels il a été calé, et la validation externe, c'est à dire sa capacité à reproduire des crues sur des cours d'eau non utilisés pour le calage.
Dans tous les cas on s'intéresse par définition à des événements rares. La probabilité d'observer une crue majeure dans un délai raisonnable après la construction du modèle est donc très faible. Les événements utilisables pour la vérification seront donc nécessairement des événements historiques. Ceci peut contraindre fortement les critères utilisables qui ne pourront reposer que sur les données disponibles. Les critères possibles seront généralement les mêmes que ceux utilisés pour le calage ; par ordre d'intérêt et pour différentes crues :
- le niveau d'eau maximum atteint en différents points d'intérêt (ce critère prime car l'évaluation correcte du risque d'inondation constitue généralement l'objectif principal) ;
- le débit maximum atteint en différents points d'intérêt ;
- le volume de la crue ;
- le temps de montée (important pour avertir les populations exposées) ;
- la forme de l'hydrogramme de crue (évaluable par exemple par le critère de Nash).
Cas des modèles destinés à établir le diagnostic de fonctionnement hydraulique d'un réseau d'assainissement
Les modèles de ce type utilisent généralement un logiciel générique spécifiquement adapté sur le réseau à étudier. Les logiciels disponibles (CANOE, Hydranet, InfoWorks, PCSWMM, ...), reposent sur des modélisations mathématiques assez voisines et sont tous parfaitement capables de représenter correctement le fonctionnement hydraulique d'un réseau d'assainissement complexe à deux conditions :
- avoir correctement décrit la structure physique du réseau et en particulier des ouvrages spéciaux comme les déversoirs d'orage ;
- avoir été correctement calés sur un nombre suffisant d'événements pluvieux représentatifs (en particulier incluant des pluies suffisamment fortes pour provoquer des dysfonctionnements du réseau).
Remplir ces deux conditions demande en général du temps et de la patience, ce qui explique que souvent on alterne les phases de calage et les phases de vérification.
Pour ce type de problème, les critères de validation possibles, également par ordre d'intérêt et pour différents événements, sont les suivants :
- comparaison des points de débordements simulés et observés ;
- volumes débordés par sous-bassins versants, par sous-réseaux ou par rue ;
- débits maximum à différents points d'intérêt.
Cas des modèles destinés à représenter les rejets urbains de temps de pluie, par exemple dans le cadre de l'autosurveillance
Comme pour le cas précédent, les modèles de ce type utilisent généralement un logiciel générique spécifiquement adapté sur le réseau à étudier. De la même façon on n'évalue donc pas vraiment la qualité du logiciel générique, supposée suffisante, mais celle de la représentation du réseau et celle du calage. La qualité de représentation des déversoirs d'orage est ici prépondérante.
Les critères possibles sont les suivants :
- volume totaux rejetés par les déversoirs d'orage sur une base de temps donnée (typiquement l'année), ceci par branche du réseau, ou par milieu récepteur, ou éventuellement par déversoir pour les plus importants d'entre eux ou si leur nombre total est réduit ;
- classement fréquentiel des volumes rejetés pendant une certaine période de temps (pluriannuelle) pour les événements les plus forts observés, ceci par branche du réseau, ou par milieu récepteur, ou éventuellement par déversoir pour les plus importants d'entre eux ;
- volumes individuels rejetés pour un ensemble représentatif de déversoirs et d'événements pluvieux.
Nota : pour les modèles de ce type il est intéressant d'utiliser pour le calage des hydrogrammes observés en différents points d'intérêt du réseau ; le fait que les critères de calage soient différents des critères de validation permet de conforter la confiance que l'on peut avoir dans le modèle.
Écarts acceptables sur les critères pour considérer le modèle comme validé
Considérations générales
Déterminer la valeur acceptable du critère d'écart suppose au préalable d'avoir déterminé les incertitudes sur :
- les éléments nécessaires au fonctionnement du modèle (incertitudes sur la connaissance de la pluie, sur la nature des surfaces, etc.) qui induisent des incertitudes sur la valeur des paramètres calculés utilisés pour déterminer le ou les critères (principalement volumes et/ou débits) ;
- la mesure directe des paramètres utilisées pour calculer le critère (par exemple la validité de la courbe de tarage pour déterminer les débits dans la gamme correspondant à ceux des évènements pris en référence.
Tout écart inférieur à l'incertitude sur cet écart est en effet non significatif. De fait, en première approximation, on peut considérer que l'écart acceptable entre les valeurs simulées et les valeurs calculées pour le critère choisi doit être de l'ordre de grandeur de la somme des incertitudes sur chacune des deux familles de valeurs.
Ces incertitudes sont souvent très importantes pour un événement particulier et un point particulier. Ceci explique pourquoi il est préférable de privilégier des critères intégrateurs pour lesquels les incertitudes sont plus faibles. Malgré tout, les deux familles d'incertitudes dépendent d'un grand nombre d'éléments locaux : par exemple densité du réseau de pluviomètres, utilisation éventuelle de données provenant d'un radar météorologique, qualité des mesures de débit, nombre d'événements utilisés, complexité du réseau, etc.. Il est donc extrêmement difficile de donner ne serait-ce que des ordres de grandeur des écarts acceptables, ce qui ne doit pas dispenser de le faire au mieux.
Article en chantier
Voir aussi : Calage d’un modèle.