Projektet har fått anslag från Europeiska unionens sjunde ramprogram för forskning, teknisk utveckling och demonstration enligt bidragsavtal nr #607798

Att möjliggöra en realistisk utvärdering av
innovativa sociotekniska lösningar medan
olika effekter på insamlade data beaktas
FÖRSÖKSÄGARE
Utvärderingssamordnare
Utövarsamordnare

OM

vad verktyget
används till

Målet med DRIVER+-försök är att utvärdera innovativa sociotekniska lösningar i en så realistisk miljö som möjligt för att överbrygga ett krishanteringsförmågegap. Detta leder fram till det faktum att det finns tre olika dimensioner som måste tas med i beräkningen: krishanteringsdimensionen, försöksdimensionen och lösningsdimensionen.

Krishanteringsdimensionen är viktigast, eftersom det är i den delen man söker efter nya lösningar som kan påverka gapen. Här kan baslinjen (och innovationslinjen) vara till stor hjälp, eftersom de ger en bild av krishanteringsprocessen och alla roller, uppgifter, processer m.m. som ingår i den. Nästa dimension är försöksdimensionen, som handlar om organisationen av försök. Allt som konkret har att göra med försökskörningen rent praktiskt ingår i den här dimensionen. Det kan handla om wifi-anslutningen, antalet deltagare, eventuella tekniska frågor osv.  

Den sista dimensionen är lösningsdimensionen. Här hanteras alla funktioner och frågor som hur användbar respektive socioteknisk innovation är m.m. Varje dimension kan analyseras enskilt men även i förhållande till de övriga. Eftersom målet är att utvärdera en lösning i förhållande till ett krishanteringsförmågegap är det mycket viktigt att se hur detta påverkades (kanske även negativt) av försöks- eller lösningsdimensionen. Till exempel: Det kan hända att en lösning fungerar väldigt bra för att överbrygga krishanteringsförmågegapet, men att systemet faller samman under försöket på grund av ett tekniskt problem på försöksplatsen (försöksdimensionen). I så fall kan deltagarna inte se lösningens hela potential. Detta är något som är viktigt att ta med i beräkningen vid analys och utvärdering, då man bör ställa sig frågan hur de här störningarna har inverkat på hela formatet och datainsamlingen.

Den främsta utmaningen här är att upprätta försök på ett sådant sätt att det faktiskt går att mäta varje dimension enskilt och därmed identifiera de punkter där de påverkar varandra. Då kan varje datapunkt tolkas i sitt rätta sammanhang. Inom DRIVER+ har ISO 9241-11 identifierats som särskilt användbar när det gäller att utvärdera lösningsdimensionen. Standarden omfattar artefakter som användbarhet, nymodighet m.m. Hittills har den här typen av data samlats in genom särskilda enkäter som lösningens slutanvändare fyller i som en del av försöket. Här har Likertskalan använts och deltagaren har kunnat lägga till sina egna åsikter som fri text.  

Även för försöksdimensionen valde man att använda enkäter. Återigen användes Likertskalan och fri text. Det var inte bara lösningens slutanvändare som fyllde i enkäten utan även alla som deltog i försöket (personal, observatörer m.fl.). Dessutom skickade teamet för externt samarbete ut en enkät till de externa deltagarna och lösningsleverantörerna för att samla in specifika data om försöksorganisationen (som också ingår i försöksdimensionen).  

Systemet för krishanteringsdimensionen är det mest krävande. Här rekommenderas en blandmetod: Hittills har datainsamling genom Test-bed Technical Infrastructure, liksom lösningens dataloggar och observatörsformulären (Observer Support Tool), använts i DRIVER+. Tänk på att man måste samla in data från både de äldre verktygen och de nya innovationerna eftersom det handlar om att göra en jämförande studie. (Detta gäller bara om det inte redan finns giltiga data från tidigare insatser eller simulationer.) Var också medveten om att en mänsklig observatör bara kan se och notera en viss mängd information på en viss tid. Observatörerna bör inte ombes att logga tidsstämplar. De bör väljas ut utifrån sina specifika kunskaper och sedan användas för att observera specifika artefakter som är relevanta för krishantering.