This project has received funding from the European Union's 7th Framework Programme for Research, Technological Development and Demonstration under Grant Agreement (GA) N° #607798

Evaluationsphase
in den Niederlanden

Die Evaluation des Trials bestand aus drei Dimensionen: Trial, Solution und Krisenmanagement. In Übereinstimmung mit dem identifizierten Bedarf und Forschungsfragen wurden verschiedene KPIs definiert und Evaluationsdaten erfasst.

Die Dimension des Krisenmanagements wurde für jeden der vier Blöcke der Bedrohungsphase und der Auswirkungsphase getrennt bewertet, wobei die Baseline mit der Innovation Line verglichen wurde. Keine der ausgewählten Solutions schloss Bedarf 1 (in Bezug auf die Ressourcenplanung) wie ursprünglich beabsichtigt. Solutions 3Di, SIM-CI und ATSA-ZKI schließen, auch wenn sie beim Umgang mit einer (potenziellen) Überschwemmung sehr nützlich sind, Bedarf 2 nicht (in Bezug auf den Informationsaustausch) wie ursprünglich beabsichtigt. Die Solution CrisisSuite war jedoch die perfekte Wahl für Bedarf 2. Die im Trial gemachten Erfahrungen führten sogar zu Initiativen, beide Solutions formell miteinander zu verbinden: das bestehende System LCMS, welches derzeit bei SRH verwendet wird, und CrisisSuite. Die Solution HumLog war für Bedarf 3 geeignet, jedoch nur in der Bedrohungsphase. In allen vier Blöcken konzentrierten sich die Praktiker mehr auf das Management der Krise und „vergaßen“, die Solutions für diese Aufgaben zu verwenden. Eine Empfehlung wäre daher, bei der Formulierung der Aufgaben die gewünschten Ergebnisse (wie, wann und wo) für die Teilnehmenden so festzulegen, dass sie „gezwungen“ werden, die Solutions zu verwenden.

In der ersten Phase der Solution-Dimension wurden generische Indikatoren aus der internationalen Norm ISO 924-11 (1) abgeleitet, wo sich die Usability aus „Wirksamkeit, Effizienz und Zufriedenheit zusammensetzt“. Die Abbildung zeigt die durchschnittlichen Werte der Funktionen der Solution(s), wie von Praktikern während Trial 4 bewertet. Die im von den Praktikern ausgefüllten Fragebogen enthaltenen Funktionen beruhten auf einer ISO-Norm. Für jede Solution wurden auch individuelle Evaluationen erstellt, welche die spezifischen KPIs berücksichtigten. Die Grafik auf der rechten Seite zeigt die durchschnittliche Evaluation der individuellen Solutions in verschiedenen Farben. SimCI war in allen Kategorien die beste Solution und erhielt zum Beispiel den Wert 1,5 (-2: schlecht bis +2: sehr gut).

Ein Teil des Fragebogens zur Trial-Dimension beschäftigte sich mit der Wahrnehmung der Organisation des Trials. Betrachtet man den Durchschnitt aller Antworten, stimmen die Befragten darin überein, dass sie mit der Organisation zufrieden waren. Die Grafik auf der rechten Seite zeigt die Zufriedenheit mit der Organisation des Trials. Die Skala reicht von -2: schlecht bis +2: sehr gut. Zum Beispiel bekam das Szenario eine durchschnittliche Evaluation von ungefähr 0,6 und der Aufbau des Trials eine Note von über 1,0.