FASE de evaluación
en los Países Bajos
La evaluación del Trial tuvo tres dimensiones: Trial, solución y gestión de crisis. Según las brechas identificadas y las preguntas de investigación, se definieron distintos indicadores clave del rendimiento (KPI) y se recopilaron los datos de evaluación.
La dimensión de la Gestión de crisis se evaluó para cada uno de los cuatro bloques de las fases de amenaza e impacto independientemente, en comparación con la situación de referencia y la línea de innovación. Ninguna de las soluciones seleccionadas cerró la brecha 1 (sobre planificación de recursos) como se pretendía inicialmente. Las soluciones 3Di, SIM-CI y ATSA-ZKI, aunque muy útiles para abordar una (posible) inundación, no cerraron la brecha 2 (sobre intercambio de información) como se pretendía inicialmente. Sin embargo, la solución CrisisSuite fue una opción perfecta para la brecha 2. Las experiencias del trial llevaron incluso a iniciativas para conectar formalmente ambas soluciones: el sistema anterior LCMS que actualmente se utiliza en SRH y CrisisSuite. La solución HumLog resultó adecuada para la brecha 3, pero solamente en la etapa de amenaza. En los cuatro bloques, los profesionales se centraron más en las tareas asignadas que en utilizar las soluciones para realizarlas. Por tanto, una recomendación sería usar un planteamiento de directivas en la formulación de la asignación y especificar los resultados solicitados (cómo, cuándo y dónde) para los participantes, así se verán «obligados» a usar las soluciones.
En la primera parte de la dimensión de la solución se derivaron indicadores genéricos de la norma internacional ISO 924-11 (1), donde la usabilidad se «compone de efectividad, eficiencia y satisfacción». La figura presenta las medias de las funciones de las soluciones valoradas por los profesionales durante el trial 3. Las funciones incluidas en el cuestionario cumplimentado por los profesionales se basaron en la norma ISO. Las evaluaciones individuales de cada solución también se crearon teniendo en cuenta KPI específicos. El gráfico de la derecha muestra el promedio de calificaciones de las soluciones individuales en distintos colores. SIMCi logró la mejor puntuación de todas las soluciones en todas las categorías y recibió, por ejemplo, el valor 1,5 (-2: mala a +2: muy buena).
Una parte del cuestionario de la dimensión de trial abordó la percepción de la organización del trial. Al analizar la media de todas las respuestas, los participantes estuvieron de acuerdo en que estaban satisfechos con la organización. El gráfico de la derecha muestra el nivel de satisfacción con la organización del trial. La escala va del -2: mala al +2: muy buena. Por ejemplo, el escenario recibió una puntuación media de alrededor del 0,6 y la configuración del trial una puntuación superior al 1,0.
