EvaluatieFASE
in Nederland
De trialevaluatie omvatte drie dimensies: trial, oplossing en crisismanagement. Volgens de geïdentificeerde tekortkomingen en onderzoeksvragen werden key performance indicators (KPI's) gedefinieerd en evaluatiegegevens verzameld.
De dimensie crisismanagement werd geëvalueerd voor elk van de vier blokken van de dreigings- en gevolgenfase, waarbij de baseline en de innovatielijn afzonderlijk werden vergeleken. Geen van de geselecteerde oplossingen verhielp tekortkoming 1 (met betrekking tot middelenplanning) zoals oorspronkelijk bedoeld. Oplossingen 3Di, SIM-CI en ATSA-ZKI, hoewel zeer nuttig bij het omgaan met een (potentiële) overstroming, verhelpen tekortkoming 2 (met betrekking tot het delen van informatie) niet zoals oorspronkelijk bedoeld. Oplossing CrisisSuite was echter een perfecte keuze voor tekortkoming 2. De ervaringen in de trial leidden zelfs tot initiatieven om beide oplossingen formeel op elkaar aan te sluiten: het verouderde systeem LCMS dat momenteel wordt gebruikt bij VRH en CrisisSuite. Oplossing HumLog was geschikt voor tekortkoming 3 (plannen en beheren van grootschalige evacuatie), maar enkel in de dreigingsfase. In alle vier de blokken waren de hulpverleners meer gericht op het uitvoeren van de gegeven taken en 'vergaten' ze om de oplossingen voor deze taken te gebruiken. Een aanbeveling zou daarom zijn om bij het formuleren van de opdracht een sturende aanpak te hanteren en de gevraagde outputs (hoe, wanneer en waar) voor de deelnemers te specificeren zodat ze 'gedwongen' worden om de oplossingen te gebruiken.
In het eerste deel van de Oplossingendimensie werden generieke indicatoren afgeleid van de internationale norm ISO 924-11 (1), waar bruikbaarheid is "samengesteld uit effectiviteit, efficiëntie en tevredenheid". De figuur geeft de gemiddelde percentages weer van de oplossingskenmerken die door de crisisprofessionals zijn beoordeeld tijdens trial 3. De kenmerken van de vragenlijst die door de deelnemers werden ingevuld, waren gebaseerd op de ISO-norm. Er werden ook individuele evaluaties van elke oplossing gemaakt, rekening houdend met specifieke KPI's. De grafiek rechts toont de gemiddelde beoordelingen van de individuele oplossingen in verschillende kleuren. SIM-CI scoorde het beste van alle oplossingen in alle categorieën en kreeg bijvoorbeeld de waarde 1,5 (-2: slecht tot +2: zeer goed).
Een deel van de vragenlijst van de Trialdimensie ging in op de ervaring met trialorganisatie. Wanneer we kijken naar het gemiddelde van alle antwoorden waren de respondenten het er in het algemeen over eens dat ze tevreden waren met de organisatie. De grafiek rechts toont de tevredenheid over de organisatie van de trial. De schaal gaat van -2: slecht tot +2: zeer goed. Zo kreeg het scenario een gemiddelde score van circa 0,6 en de trialopstelling een score van meer dan 1,0.
