Situational Judgment Tests und Kontextspezifität: Überprüfung des Einflusses von Sozialer Erwünschtheit und Überprüfung der Konstruktvalidität eines stark kontextspezifischen Situational Judgment Tests anhand des TEFEM (Test zur Erfassung von Führungs- und Entscheidungsverhalten im Militär)
Translated title
Situational Judgment Tests and context-dependency. Exploring the influence of social desirability and testing the construct validity of a context-dependent SJT on basis of the TEFEM (Test zur Erfassung von Führungs- und Entscheidungsverhalten im Militär)
Publication date
2017
Document type
PhD thesis (dissertation)
Author
Kaminski, Katarina Karoline
Advisor
Referee
Krumm, Stefan
Granting institution
Helmut-Schmidt-Universität / Universität der Bundeswehr Hamburg
Exam date
2017-10-23
Organisational unit
Part of the university bibliography
✅
DDC Class
150 Psychologie
Keyword
Soziale Erwünschtheit
Führung
Contextdependency
Abstract
Situational Judgment Tests (SJTs) werden zur Erfassung von kontextabhängigem Wissen insbesondere in der Führungskräfteauswahl eingesetzt. Allerdings kann die Validität von SJTs z.B. durch Soziale Erwünschtheit und Faking gefährdet werden. Aktuell wird zudem diskutiert, inwieweit SJTs eher kontextunabhängiges Wissen erfassen und daher durch allgemeine Strategien anstelle von Kompetenz gelöst werden können. Es ist bei SJTs jedoch häufig unklar, anhand welcher Strategien die Testpersonen zur Lösung kommen, sodass bei SJTs oftmals nur niedrige Konstruktvalidität festgestellt werden kann. Zur Überprüfung, inwieweit Soziale Erwünschtheit als Testmerkmal einen Einfluss auf die Testleistung nehmen kann, sich das Berücksichtigen der Sozialen Erwünschtheit bei kontextabhängigem bzw. kontextunabhängigem Wissen unterscheidet und welche Strategien zur Entscheidungsfindung tatsächlich genutzt werden, wurden fünf Studien anhand des TEFEM (Test zur Erfassung von Führungs- und Entscheidungsverhalten im Militär) durchgeführt. In Studie 1 wurde anhand von Ratings (N=132) überprüft, inwieweit die Handlungsalternativen des SJTs a priori als erwünscht bzw. plausibel eingeordnet werden können. Dabei zeigte sich, dass die Handlungsalternativen zu einem Großteil als ähnlich erwünscht bzw. unerwünscht bewertet werden und somit nicht erkannt werden kann, inwieweit die richtigen auch die erwünschten Handlungsalternativen sind. In Studie 2 (N=135) wurde nachgewiesen, dass der SJT nicht absichtlich verfälscht werden kann und sich alle Personen bei der Bearbeitung des Tests ähnlich an Erwünschtheit orientieren, unabhängig von einer Fake Good bzw. No Fake Instruktion. In Studie 3 (N=95) wurde nachgewiesen, dass eine hohe Testleistung nur durch kontextabhängige Kompetenz erreicht werden kann und sich alle Personen bei der Bearbeitung des Tests ähnlich an Erwünschtheit orientieren, unabhängig von der Präsentation der Kontextinformationen. In Studie 4 (N=100) wurde gezeigt, dass die Testleistung gezielt gesteigert werden kann, wenn die Entscheidungsalgorithmen des theoretischen Modells des SJTs vermittelt werden. In Studie 5 wurde zudem qualitativ mittels Think aloud Methode (N=16) nachgewiesen, dass sich Personen bei der Entscheidungsfindung nahezu gänzlich an den Strategien des theoretischen Modells des SJTs orientieren.
SJTs are solved on basis of competence and knowledge. Thus, test scores may be influenced through intentional (faking) and unintentional (social desirability) response distortion. However, according to recent research SJTs may be solved on basis of general behavioral norms instead of competence. Furthermore, it is often unclear which norms and strategies are used when solving a SJT. Thus, five studies were conducted on basis of a context-dependent SJT (TEFEM: Test zur Erfassung von Führungs- und Entscheidungsverhalten im Militär) to explore in how far social desirability as a test characteristic may explain the risk of response distortion, if participants reflect desirability differently when context-independent instead of context-depenent knowledge is measured, and which strategies are actually used when solving the SJT. Study 1 (n=132) examined the extent of desirability of the response alternatives, i.e. if the desirable items are the correct items. Results showed that desirability may not explain test performance scores. The results of study 2 (N=135) furthermore indicated that the SJT may not be faked intentionally and relationships with desirability between Fake Good and No Fake group were similar. Study 3 (N=95) showed no differences in terms of the reflection of social desirability when no context-information was presented compared to when context-information was presented. Furthermore, participants were not able to achieve high test scores if no context-information was given. However, the results of study 4 (N=100) showed that test scores may be improved after a training based on the theoretical model of the test compared to participants without training. Additionally, study 5 (N=16) confirmed with the help of think aloud analysis that participants use the strategies of the theoretical model to solve the test without intending to and is thus an indicator for high construct validity of the test.
Version
Not applicable (or unknown)
Access right on openHSU
Open access