9 Praxistipps zur Qualitätsbeurteilung von psychologischen Tests

Neuro Sport HR Traffic General
DT - de

Die Qualitätsbeurteilung eines Tests  kann im ersten Moment allerdings ziemlich schwierig und aufwändig wirken. Wie Sie dennoch zeitsparend sichergehen können, dass Sie einen guten Test einsetzen, zeigen Ihnen unsere SCHUHFRIED-Quicktipps.

In der Personalauswahl und Personalentwicklung gewinnen psychologische Tests immer mehr an Relevanz. Einerseits können damit schnell und einfach vorhandene Potenziale und Entwicklungsbereiche identifiziert werden, andererseits ermöglichen digitale Tests durch den hohen Automatisierungsgrad eine maximal flexible Vorgabe, egal wo und wann Bewerber möchten.

Doch nicht alles ist Gold, was glänzt. Damit Sie valide Ergebnisse erhalten, müssen die eingesetzten Tests qualitativ hochwertig konstruiert sein.

Die Qualitätsbeurteilung eines Tests  kann im ersten Moment allerdings ziemlich schwierig und aufwändig wirken. Wie Sie dennoch zeitsparend sichergehen können, dass Sie einen guten Test einsetzen, zeigen Ihnen unsere SCHUHFRIED-Quicktipps.

 

 

#01: Die Fragestellung kennen

Die Qualität eines Tests ist immer im Kontext der Fragestellung zu sehen. Nicht jeder gute Test ist automatisch geeignet für den vorgesehenen Einsatzbereich. Darum sollten vor der Beurteilung die Fragestellung und Zielsetzung der Testung geklärt und am besten explizit festgehalten sein.

 

 

#02: Die Zielgruppe kennen

Testergebnisse werden in den allermeisten Fällen im Kontext einer Vergleichsgruppe interpretiert. Diese Vergleichsgruppe sollte daher bestmöglich der Zielgruppe entsprechen. Für den eingesetzten Test sollte daher eine Vergleichsgruppe, auch Normstichprobe genannt, verfügbar sein, die jene Population repräsentiert, aus der eine Person kommt bzw. aus der eine Person kommen wird. Je nach Fragestellung können das repräsentative, bildungsspezifische oder sogar jobspezifische Normen sein.

 

 

#03: Ausführliche und transparente Dokumentation

Gute Tests haben nichts zu verheimlichen, eine transparente Dokumentation ist daher ein Muss. Je konkreter das Testmanual den Entwicklungsprozessprozess beschreibt und je transparenter Kennwerte der Gütekriterien wie Reliabilität und Validität angegeben sind, desto besser.

Schon gewusst? Vertrauensvolle Testautoren füllen solche Checklisten oft schon vorab aus und legen sie dem Testmanual bei, um Anwendern das Nachlesen der relevanten Punkte zu erleichtern. Diese sind dann meistens im Anhang zu finden.

 

#04: Gut zitierter theoretischer Hintergrund

Tests brauchen einen theoretischen Rahmen, der von empirischen Ergebnissen gestützt wird. Für gute Tests wird daher eine ausführliche Literaturrecherche vorgenommen, die in einer präzisen Beschreibung des theoretischen Hintergrundes im Testmanual resultiert. Achten Sie dabei besonders auf die Zitationen im Manual. Diese sollten überwiegend unabhängiger Fachliteratur entstammen.

 

 

#05: Etabliertes wissenschaftliches Modell

Damit die Überleitung von der Theorie zum praktischen Test gut funktioniert, sollten bereits empirische Belege dafür vorliegen, dass das verwendete Modell tatsächlich die Dimension misst, die im Test angestrebt wird. Soll der Test international eingesetzt werden, sollte ihm auch ein international etabliertes Modell zugrunde liegen.

 

 

#06: Transparente Konstruktionsrationale

Auch verwendete Bauanleitungen für Aufgaben in einem Test, so genannte Konstruktionsrationale, sollten aus bestehender Fachliteratur abgeleitet und transparent und nachvollziehbar im Testmanual beschrieben sein. Vorsicht ist bei Konstruktionsrationalen geboten, die noch nicht empirisch untersucht wurden oder Argumentationslücken in der Überleitung von Theorie zu Operationalisierung aufweisen.

Schon gewusst? In der Testkonstruktion wird immer mehr auf automatisierte Item-Generatoren (AIGs) gesetzt. Gerade dann sind transparent beschriebene Konstruktionsrationale essenziell. Selbstlernende Systeme können viel leisten, ihre Funktionsweise sollte jedoch gut dokumentiert sein.

 

 

#07: Klare Beschreibung von Grenzwerten bei Konstruktvalidität

Oftmals werden zur Berechnung der Validität komplexere statistische Verfahren verwendet. Testmanuale sollten daher immer angeben, wie die Qualitätskriterien zu beurteilen sind, beispielsweise durch die Nennung von Grenzwerten oder Qualitätskategorien. Diese sollten unabhängiger Fachliteratur oder Richtlinien entstammen und entsprechend zitiert sein, damit kann man als Anwender auch ohne Statistikstudium beurteilen, wie gut ein Konstrukt validiert werden konnte.

 

 

#08: Gutes Außenkriterium bei Kriteriumsvalidierungen

Eine hoher Kriteriumsvalidität spricht für die Qualität des Tests, jedoch sollte dabei auf die Qualität des Studiendesigns geachtet werden, mit dem der Wert erzielt wurde. Nicht nur Tests müssen Gütekriterien erfüllen, auch das verwendete Außenkriterium, z. B. Jahresumsätze bei Vertriebsmitarbeiter*innen, müssen ausreichend reliabel, objektiv und valide sein.

Auch hier gilt: Das Studiendesign der Kriteriumsvalidierung sollte transparent im Testmanual beschrieben sein.

 

 

#09: Manchmal zahlt sich Zeitsparen nicht aus

Für Testungen, an deren Ergebnisse große finanzielle oder sicherheitsrelevante Entscheidungen hängen, so genannte „high stakes testings“, lohnt es sich oft, bei der Testbeurteilung nicht an Zeit zu sparen. Für viele Tests sind ausführliche Testrezensionen verfügbar, beispielsweise unter https://www.psyndex.de/tests/

 

Quellen

Kersting, M. (2018). Zur Information über und Dokumentation von Instrumenten zur Erfassung menschlichen Erlebens und Verhaltens - Die DIN SCREEN Checkliste 1, Version 3. In Diagnostik- und Testkuratorium (Hrsg.), Personalauswahl kompetent gestalten: Grundlagen und Praxis der Eignungsdiagnostik nach DIN 33430 (S. 224–244). Berlin: Springer.