This project has received funding from the European Union's 7th Framework Programme for Research, Technological Development and Demonstration under Grant Agreement (GA) N° #607798

realistische Evaluation innovativer sozio-
technischer Solutions unter Berücksichtigung
verschiedener Einflüsse auf die erfassten Daten
Trial-Leiter(in)
Evaluationskoordinator(in)
Praxiskoordinator(in)

Mehr darüber

Zweck dieses Werkzeugs

Trials sollen innovative soziotechnische Solutions in einem möglichst realistischen Umfeld bewerten, um einen Bedarf im Krisenmanagement zu schließen. Daraus resultiert die Tatsache, dass drei verschiedene Dimensionen berücksichtigt werden müssen: Die Dimension des Krisenmanagements, die Dimension des Trials und die Dimension der Solutions. 

Die wichtigste ist die Dimension des Krisenmanagements, weil das der Bereich ist, in dem wir nach neuen Solutions suchen, die unseren Bedarf beeinflussen können. Hier können die Baseline und auch die Innovation Line äußerst hilfreich sein, denn sie stellen den Prozess des Krisenmanagements mit all seinen daran beteiligten Rollen, Aufgaben und Prozessen usw. dar.

Die nächste Dimension ist die Dimension des Trials, die im Zusammenhang mit der Trial-Organisation steht. Alles, was auf „praktische Weise“ mit dem Trial zu tun hat, ist Teil dieser Dimension. Das kann die WLAN-Verbindung sein, die Anzahl der Teilnehmenden oder alle technischen Angelegenheiten.  

Die letzte Dimension ist die der Solutions. Diese beschäftigt sich mit allen Funktionen sowie der Nutzbarkeit aller soziotechnischen Innovationen. Jede Dimension kann allein und auch im Zusammenhang mit den anderen analysiert werden. Da das Ziel die Evaluation einer Solution im Zusammenhang mit einem Bedarf im Krisenmanagement ist, ist es sehr wichtig zu prüfen, welchen (womöglich auch negativen) Einfluss die Trial- oder die Solution-Dimension darauf hatten. Zum Beispiel: Es könnte sein, dass eine Solution einen Bedarf im Krisenmanagement sehr gut schließen kann, ein technisches Problem am Trial-Ort während des Trials (Trial-Dimension) jedoch zu einem Zusammenbruch des Systems führt. In diesem Fall können die Teilnehmenden das volle Potenzial der Solution nicht erkennen. Es ist sehr wichtig, diesen Aspekt während der Analyse und Evaluation zu berücksichtigen und zu fragen, wie diese Störung den gesamten Aufbau und die Datenerfassung beeinflusst hat.

Es wurde auch entschieden, Fragebögen für die Trial-Dimension zu verwenden. Auch hier wurden die Likert-Skala und Freitext verwendet. Dieser Fragebogen wurde nicht nur von den Endanwendern der Solutions ausgefüllt, sondern von allen, die am Trial teilgenommen haben (Personal, Beobachter usw.). Darüber hinaus schickte das externe Kooperationsteam einen Fragebogen an alle externen Teilnehmenden und Anbieter innovativer Lösungen, um bestimmte Daten über die Organisation des Trials (die auch zur Trial-Dimension gehört) zu sammeln. 

Am anspruchsvollsten ist der Aufbau für die Dimension des Krisenmanagements. Hier wird ein gemischter Ansatz empfohlen: Bisher wurden in DRIVER+ Daten über die Test-bed Technical Infrastructure mithilfe von Solution- (Datenlogs) und Beobachterblättern (Observer Support Tool) erfasst. Beachten Sie, dass Sie sowohl Daten mit bestehenden Werkzeugen als auch mit den neuen Innovationen erfassen sollten – da Sie eine vergleichende Studie anstreben (dies ist nur notwendig, wenn Sie nicht bereits über valide Referenzdaten aus früheren Vorfällen oder Simulationen verfügen). Bitte berücksichtigen Sie auch, dass ein menschlicher Beobachter in einem bestimmten Zeitraum nur eine bestimmte Menge von Informationen sehen und notieren kann. Es wird nicht empfohlen, diese Zeitstempel protokollieren zu lassen. Sie sollten nach ihren spezifischen Kenntnissen ausgewählt und dann zur Beobachtung bestimmter Merkmale, die für das Krisenmanagement relevant sind, eingesetzt werden.