PHASE d’évaluation
aux Pays-Bas
L’évaluation du trial contenait trois dimensions : trial, solution et gestion de crise. Selon les besoins capacitaires identifiés et les questions de recherche, différents indicateurs de performance clés (KPI) ont été définis et des données d’évaluation ont été collectées.
La dimension gestion de crise a été évaluée pour chacune des quatre parties de la phase de menace et d’impact, en comparant séparément la base de référence et la ligne d’innovation. Aucune des solutions sélectionnées n’a permis de combler le besoin capacitaire 1 (sur la planification des ressources) comme prévu initialement. Les solutions 3Di, SIM-CI et ATSA-ZKI, bien que très utiles pour faire face à une inondation (potentielle), ne comblent pas le besoin capacitaire 2 (sur le partage d’informations) comme initialement prévu. La solution CrisisSuite représentait cependant un choix parfait pour le besoin capacitaire 2. Les expériences du trial ont même conduit à des initiatives pour connecter officiellement les deux solutions : le système déjà existant LCMS, qui est actuellement utilisé chez SRH, et CrisisSuite. La solution HumLog convenait pour le besoin capacitaire 3, mais seulement dans la phase de menace. Dans les quatre parties, les praticiens étaient davantage concentrés sur l’exécution des tâches qui leur avaient été confiées et ont « oublié » d’utiliser les solutions pour ces tâches. Une recommandation serait donc d’utiliser une approche directive dans la formulation de la mission et de spécifier aux participants les produits demandés (comment, quand et où), afin qu’ils soient « contraints » d’utiliser les solutions.
Dans la première partie de la dimension solution, des indicateurs génériques ont été dérivés de la norme internationale ISO 924-11 (1), où l’utilisabilité « se compose d’efficacité, d’efficience et de satisfaction ». La figure présente les taux moyens des caractéristiques des solutions évaluées par les praticiens au cours du trial 4. Les caractéristiques incluses dans le questionnaire rempli par les praticiens étaient basées sur la norme ISO. Des évaluations individuelles de chaque solution ont également été créées en tenant compte des KPI spécifiques. Le graphique à droite montre les évaluations moyennes de chaque solution au moyen de différentes couleurs. SIMCi a obtenu la meilleure note de toutes les solutions dans toutes les catégories et a reçu, par exemple, la valeur 1,5 (-2 : médiocre à +2 : très efficace).
Une partie du questionnaire sur la dimension trial portait sur la perception de l’organisation du trial. En examinant la moyenne de toutes les réponses, les personnes interrogées étaient plutôt d’accord pour dire qu’elles étaient satisfaites de l’organisation. Le graphique de droite montre la satisfaction au sujet de l’organisation du trial. L’échelle va de -2 : mauvaise à +2 : très bonne. Par exemple, le scénario a obtenu une note moyenne d’environ 0,6 et la configuration du test une note supérieure à 1,0.
