Faza ewaluacji
we Francji
Przykład ten pokazuje fragment wyników uzyskanych podczas TRIALU we Francji. Zgodnie z poprzednio przedstawionymi przykładami z tego TrialU podaliśmy tutaj jedynie niektóre informacje dotyczące wcześniej opisanej luki.
Najważniejsze rezultaty związane z wymiarem Trialu potwierdziły, że liczba uczestników, ich doświadczenie i zaangażowanie były adekwatne do potrzeb Trialu. Scenariusz oraz symulację środowiska uznano za wystarczająco realistyczne, aby osiągnąć efekt immersji praktyków w symulowanej sytuacji. Okazało się jednak, że nadal istnieje potencjał do poprawy w zakresie uczenia się i szkolenia. Ten rezultat dla wymiaru Trialu uwzględniono przy analizie pozostałych wymiarów.
Najważniejszymi rezultatami dotyczącymi wymiaru rozwiązania były informacje, że innowacyjne rozwiązanie zapewniło oczekiwane funkcje i przez większość osób zostało uznane za proste w użyciu. Informacje zwrotne uzyskane od praktyków pokazały jednak, że postrzegane zalety znacząco różniły się od siebie w zależności od rodzajów kryzysu i warunków wdrożenia. W tym przypadku zastosowano normę ISO 9241-11 dotyczącą użyteczności.
Główne rezultaty uzyskane w wymiarze zarządzania kryzysowego były takie, że przećwiczone rozwiązania przyczyniły się do oszczędności czasu w odniesieniu do poszczególnych procesów (szczególnie na etapie wstępnej identyfikacji zagrożenia), do poprawy dokładności niektórych wymienianych informacji (szczególnie lokalizacji), a w rezultacie – do
ograniczeniu ilości zapytań o informacje wynikających z nieporozumień, co z kolei przyczyniło się do oszczędności czasu.
Oceniane rozwiązanie opisane powyżej było łatwe w użyciu i okazało się bardzo przydatne dla centrów zarządzania (w organizacjach czebla strategicznego lub jednostkach niebędących służbami ratowniczymi). Rozwiązanie zostało poddane ewaluacji przez dziewięciu praktyków uczestniczących w Trialu. Choć praktycy wysoko ocenili użyteczność rozwiązania, nie wszyscy z nich zauważali istotne korzyści. Wykresy radarowe oparte na średnich wynikach z kwestionariuszy uczestników pokazują średnie wartości dla większości wymiarów, jednak faktyczne oceny różniły się znacząco w zależności od ról odgrywanych w Trialu. Na przykład zdaniem osób pełniących role bardziej operacyjne dublowanie komunikatów radiowych z wpisami do rejestru działań było negatywne, podczas gdy inni uczestnicy doceniali korzyści płynące z obserwacji aktualizacji rejestru oraz automatycznie generowanych raportów w miejsce wymienianych zazwyczaj dziesiątek e-maili. Ten rezultat należy jednak rozpatrywać w kontekście doktryny francuskiej, przywiązanej do wykorzystywania komunikacji radiowej. Umieszczenie ewaluacji w kontekście społeczno-kulturowym organizacji uczestniczących w Trialu jest kluczem do wyciągnięcia wartościowych wniosków.
