This project has received funding from the European Union's 7th Framework Programme for Research, Technological Development and Demonstration under Grant Agreement (GA) N° #607798

Umożliwienie realistycznej
oceny innowacyjnych rozwiązań
socjotechnicznych z uwzględnieniem
szeregu oddziaływań na ZBIERANE dane
Właściciel TrialU
Koordynator ewaluacji
Koordynator UCZESTNIKÓW

INFORMACJE o NARZĘDZIU

PRZEZNACZENIE
NARZĘDZIA

Triale DRIVER+ mają na celu ocenę innowacyjnych rozwiązań socjotechnicznych w jak najbardziej realistycznym środowisku, aby wyeliminować zidentyfikowaną lukę w zarządzaniu kryzysowym. To z kolei oznacza, że istnieją trzy różne wymiary, które należy wziąć pod uwagę: wymiar zarządzania kryzysowego, wymiar Trialu oraz wymiar rozwiązania.  

Najważniejszym z nich jest wymiar ZK, ponieważ jest to obszar, w którym poszukujemy nowych rozwiązań mających wpływ na zidentyfikowane luki. To tutaj najbardziej przydają się opisy stanu początkowego (i ścieżki innowacyjnej), ponieważ odzwierciedlają proces ZK wraz ze wszystkimi zaangażowanymi rolami, zadaniami, procesami itp.

Kolejnym wymiarem jest wymiar Trialu związany z jego organizacją. Wymiar ten obejmuje wszystko, co jest związane z praktyczną stroną uruchomienia Trialu. Może to być połączenie Wi-Fi, liczba uczestników, wszelkie kwestie techniczne itd.  

Ostatnim wymiarem jest wymiar rozwiązania. Dotyczy on wszelkich funkcjonalności oraz użyteczności i innych aspektów każdej innowacji socjotechnicznej. Każdy wymiar można analizować osobno oraz w odniesieniu do pozostałych. Ponieważ celem jest dokonanie oceny rozwiązania w odniesieniu do luki ZK, bardzo ważne jest sprawdzenie, jaki wpływ (również negatywny) miał na nią wymiar Trialu lub wymiar rozwiązania. Na przykład: może się bowiem okazać, że np. dane rozwiązanie mogłoby doskonale wyeliminować lukę ZK, jednak podczas Trialu dochodzi do awarii systemu ze względu na problem techniczny występujący w miejscu przeprowadzania Trialu (wymiar Trialu). W takim wypadku uczestnicy nie są w stanie zobaczyć pełnego potencjału danego rozwiązania. Należy to koniecznie wziąć pod uwagę podczas analizy i ewaluacji, a w związku z tym zadać sobie pytanie, w jaki sposób zakłócenia wpłynęły na ogólną konfigurację Trialu i zbieranie danych.

Główna trudność w tym przypadku polega na takim skonfigurowaniu Trialu, które umożliwiłoby pomiar każdego wymiaru z osobna, tak aby można było wskazać punkty, w których wymiary te wzajemnie na siebie oddziałują. To pozwala interpretować każdy element danych w odpowiednim kontekście. W projekcie DRIVER+ stwierdzono, że bardzo przydatna w ocenie wymiaru rozwiązania była norma ISO 9241-11. Norma ta obejmuje elementy takie jak użyteczność, nowość itp. Dotychczas tego rodzaju dane były zbierane za pomocą specjalnych kwestionariuszy wypełnianych przez użytkownika końcowego rozwiązań wykorzystanych w Trialu. W tym przypadku wykorzystano skalę Likerta, a uczestnicy mogli ponadto dodać swoje opinie w postaci tekstu dowolnego.

 

Kwestionariusze wybrano również do zbadania wymiaru Trialu. Tutaj także zastosowano skalę Likerta i tekst dowolny. Kwestionariusz wypełniali nie tylko użytkownicy końcowi rozwiązań, ale także wszystkie osoby uczestniczące w Trialu (personel, obserwatorzy itp.). Ponadto zespół ds. współpracy zewnętrznej przesłał kwestionariusz do uczestników zewnętrznych i dostawców rozwiązań, aby zebrać od nich szczegółowe dane na temat organizacji Trialu (która także stanowi element wymiaru Trialu).  

Najbardziej wymagające jest przygotowanie wymiaru ZK. W tym przypadku zaleca się wykorzystanie metody mieszanej: w przypadku projektu DRIVER+ wykorzystywano dotychczas zbieranie danych za pomocą infrastruktury Test-bed Technical Infrastructure, a także za pomocą rozwiązania (rejestry danych) oraz kwestionariuszy obserwatorów (narzędzie Observer Support Tool). Pamiętaj, że należy zbierać dane zarówno z narzędzi uznawanych za referencyjne (wykorzystywanych przez praktyków), jak i z innowacji – celem jest bowiem analiza porównawcza (jest to konieczne tylko wtedy, gdy nie ma gotowych danych historycznych dotycząccych poprzednich zdarzeń o zbliżonym profilu lub symulacji). Pamiętaj, że obserwator jest w stanie dostrzec i zanotować wyłącznie ograniczoną ilość informacji w określonym czasie. Dlatego nie zaleca się, aby notowali oni czas poszczególnych wydarzeń. Obserwatorów należy wybrać według ich specjalistycznej wiedzy, a następnie zlecić im obserwację szczegółowych elementów istotnych dla ZK