Faza ewaluacji
w The Netherlands
Ewaluacja TRIALU obejmowała 3 wymiary: Trial, rozwiązanie i zarządzanie kryzysowe. Zgodnie ze zidentyfikowanymi lukami i pytaniami badawczymi określono szereg kluczowych wskaźników wydajności (KPI) i zebrano dane do ewaluacji.
Wymiar zarządzania kryzysowego oceniono dla każdego z czterech bloków fazy reagowania i ograniczania skutków osobno poprzez porównanie opisu stanu początkowego i opisu ścieżki innowacyjnej. Wbrew przewidywaniom, żadnemu z wybranych rozwiązań nie udało się wyeliminować luki 1 (dotyczącej planowania zasobów). Rozwiązania 3Di, SIM-CI i ATSA-ZKI, choć bardzo przydatne w postępowaniu z (potencjalną) powodzią, nie eliminują luki 2 (dotyczącej wymiany informacji), jak początkowo zakładano. Jednak lukę tę idealnie zaadresowało rozwiązanie CrisisSuite. Doświadczenia zebrane podczas Trialu doprowadziły nawet do inicjatyw mających na celu formalne połączenie rozwiązania z obecnie wykorzystywanym prez SRH systemem LCMS. Rozwiązanie HumLog pasowało do luki 3, ale jedynie w fazie reagowania. We wszystkich czterech sesjach praktycy bardziej skupiali się na wykonywaniu przydzielonych im zadań i „zapominali” korzystać z rozwiązań dostarczonych specjalnie w tym celu. Należałoby zatem zalecić wykorzystanie podejścia dyrektywnego do formułowania zadania i wskazać uczestnikom oczekiwane metody pracy (jak, gdzie i kiedy), aby „zmusić” ich do wykorzystania rozwiązań.
W pierwszej części wymiaru rozwiązania wskaźniki ogólne oparto na międzynarodowej normie ISO 924-11 (1), w której na użyteczność „składa się skuteczność, wydajność i satysfakcja”. Poszczególne ewaluacje każdego z rozwiązań opracowano również z uwzględnieniem szczegółowych wskaźników KPI. Dolny wykres pokazuje średnie oceny dla poszczególnych rozwiązań, zilustrowane różnymi kolorami. Najlepszy wynik spośród wszystkich rozwiązań we wszystkich kategoriach uzyskało SIMCi, otrzymawszy ocenę 1,5 (od -2: słabe do +2: bardzo dobre).
Jedna z części kwestionariusza dotyczącego wymiaru Trialu obejmowała postrzeganie jakości organizacji Trialu. Patrząc na średnią ze wszystkich odpowiedzi, respondenci raczej zgadzali się co do tego, że byli zadowoleni z organizacji. Wykres górny pokazuje poziom zadowolenia z organizacji Trialu. Skala ocen rozciąga się od -2: słaba do +2: bardzo dobra. Na przykład scenariusz otrzymał średnią ocenę około 0,6, zaś konfiguracja Trialu – ocenę ponad 1,0.
