Utvärderingsfasen
I Nederländerna
FÖRSÖKSUTVÄRDERINGEN innehöll tre dimensioner: FÖRSÖK, lösning och krishantering. Enligt de identifierade FÖRMÅGEGAPEN och forskningsfrågorna definierade man olika nyckeltal och samlade in utvärderingsdata.
Krishanteringsdimensionen utvärderades för vart och ett av de fyra blocken i hot- och effektfasen separat med en jämförelse mellan baslinjen och innovationslinjen. Inga av de valda lösningarna överbryggade förmågegap 1 (resursplanering) så som man från början avsett. Lösningarna 3Di, SIM-CI och ATSA-ZKI var visserligen mycket användbara när det gällde att hantera en (potentiell) översvämning men överbryggade inte förmågegap 2 (informationsdelning) så som man från början avsett. Lösningen CrisisSuite var dock ett perfekt val för förmågegap 2. Erfarenheterna från försöket ledde till och med till att initiativ skapades för att ansluta de två lösningarna: det äldre systemet LCMS som för närvarande används vid SRH och CrisisSuite. Lösningen HumLog passade för förmågegap 3, dock bara under hotfasen. I samtliga fyra block fokuserade användarna mer på att genomföra de uppgifter de hade fått och ”glömde” att använda lösningarna för dessa uppgifter. En rekommendation skulle därför vara att använda en ledningsmetod för att formulera uppgifterna och specificera önskade utdata (hur, när och var) för deltagarna så att de ”tvingas” att använda lösningarna.
I den första delen av lösningsdimensionen hämtades allmänna nyckeltal från den internationella standarden ISO 924-11 (1), där lämpligheten består av ”användbarhet, effektivitet och tillfredsställelse”. Figuren visar de genomsnittliga betygen för de lösningsfunktioner som utövarna utvärderade i försök 4. De funktioner som ingick i enkäterna som utövarna fyllde i byggde på ISO-standarden. Enskilda bedömningar av respektive lösning gjordes också med utgångspunkt från specifika nyckeltal. Diagrammet till höger visar genomsnittsbetygen för respektive lösning i olika färger. SIMCi fick bäst betyg av alla lösningar i alla kategorier, till exempel värdet 1,5 (från -2 för dåligt till +2 för mycket bra).
En del av enkäten för försöksdimensionen handlade om uppfattningen av organisationen av försöket. Enligt genomsnittet för samtliga svar var de svarande ganska överens om att de var nöjda med organisationen. Diagrammet till höger visar hur nöjda de var med försöksorganisationen. Skalan sträcker sig från -2 för dåligt till +2 för mycket bra. Till exempel fick scenariot ett genomsnittsbetyg på cirka 0,6 och försökskonfigurationen ett betyg på över 1,0.
