EWALUACJA

Podczas Trialu zebrałeś wiele różnego rodzaju danych przy użyciu szeregu metod (za pomocą obserwatorów, infrastruktury test-bed technical infrastructure, kwestionariuszy itp.). Dane zostały zebrane zgodnie z opracowanym przez ciebie planem zbierania danych. Należy jednak zauważyć, że plany są jedynie idealnym wyobrażeniem tego, jak powinna wyglądać rzeczywistość. Zdarzają się przypadki, gdy plany realizowane są zgodnie z oczekiwaniami, a mimo to dochodzi do pewnych odchyleń. Odchylenia są dokładnie tym, co musimy zidentyfikować podczas kontroli jakości danych.

Najpierw zgromadź wszystkie zebrane dane w jednym miejscu i przekształcić je do tego samego formatu. Możesz zebrać je w jednym pliku Excel lub wykorzystać inne narzędzie. Wszystkie dane powinny się jednak znaleźć w jednym pliku, muszą również zostać jednakowo sformatowane. Przeprowadź pierwszą kontrolę: czy brakuje jakichś danych albo czy jakieś dane są uszkodzone? Jeżeli tak, to czy dane te mają krytyczne znaczenie? Jeżeli tak, zastanów się, jak można je odzyskać (np. naprawić albo poprosić uczestnika o kontakt telefoniczny i wypełnienie osobnego kwestionariusza). Nawet jeżeli dane te nie są kluczowe, pamiętaj, aby w swojej ewaluacji wskazać wszystkie miejsca, w których brakuje danych.  

Po drugie, odpowiednio ustrukturyzuj dane. Spójrz na plan zbierania danych. Czy opisano w nim docelową strukturę? Dane możesz uporządkować np. według roli, rozwiązania, pytania badawczego (a może według trzech wymiarów: rozwiązanie, Trial i ZK). Teraz łatwiej już będzie przeglądać dane. Na tym etapie ponownie przeprowadź kontrolę: czy brakuje jakichś danych albo czy jakieś dane są uszkodzone? Po trzecie, przyjrzyj się dokładniej jakości danych. Poszukaj wzorców. Poszukaj elementów, które nie pasują do tych wzorców. Sprawdź, dlaczego elementy te nie pasują. Czy występują silne odchylenia? Jeżeli tak, postaraj się znaleźć więcej danych dotyczących danego aspektu (źródłem może być infrastruktura test-bed technical infrastructure). Jeżeli nie masz możliwości poprawy jakości danych, w swojej ewaluacji zaznacz, że na temat danego elementu można wyciągnąć jedynie ograniczone wnioski. Po czwarte, utwórz zbiór danych do analizy. Wyklucz dane nieistotne lub dane niskiej jakości i koniecznie to odnotuj.