#01: Die Fragestellung kennen
Die Qualität eines Tests ist immer im Kontext der Fragestellung zu sehen. Nicht jeder gute Test ist automatisch geeignet für den vorgesehenen Einsatzbereich. Darum sollten vor der Beurteilung die Fragestellung und Zielsetzung der Testung geklärt und am besten explizit festgehalten sein.
#02: Die Zielgruppe kennen
Testergebnisse werden in den allermeisten Fällen im Kontext einer Vergleichsgruppe interpretiert. Diese Vergleichsgruppe sollte daher bestmöglich der Zielgruppe entsprechen. Für den eingesetzten Test sollte daher eine Vergleichsgruppe, auch Normstichprobe genannt, verfügbar sein, die jene Population repräsentiert, aus der eine Person kommt bzw. aus der eine Person kommen wird. Je nach Fragestellung können das repräsentative, bildungsspezifische oder sogar jobspezifische Normen sein.
#03: Ausführliche und transparente Dokumentation
Gute Tests haben nichts zu verheimlichen, eine transparente Dokumentation ist daher ein Muss. Je konkreter das Testmanual den Entwicklungsprozessprozess beschreibt und je transparenter Kennwerte der Gütekriterien wie Reliabilität und Validität angegeben sind, desto besser.
Schon gewusst? Vertrauensvolle Testautoren füllen solche Checklisten oft schon vorab aus und legen sie dem Testmanual bei, um Anwendern das Nachlesen der relevanten Punkte zu erleichtern. Diese sind dann meistens im Anhang zu finden.
#04: Gut zitierter theoretischer Hintergrund
Tests brauchen einen theoretischen Rahmen, der von empirischen Ergebnissen gestützt wird. Für gute Tests wird daher eine ausführliche Literaturrecherche vorgenommen, die in einer präzisen Beschreibung des theoretischen Hintergrundes im Testmanual resultiert. Achten Sie dabei besonders auf die Zitationen im Manual. Diese sollten überwiegend unabhängiger Fachliteratur entstammen.
#05: Etabliertes wissenschaftliches Modell
Damit die Überleitung von der Theorie zum praktischen Test gut funktioniert, sollten bereits empirische Belege dafür vorliegen, dass das verwendete Modell tatsächlich die Dimension misst, die im Test angestrebt wird. Soll der Test international eingesetzt werden, sollte ihm auch ein international etabliertes Modell zugrunde liegen.
#06: Transparente Konstruktionsrationale
Auch verwendete Bauanleitungen für Aufgaben in einem Test, so genannte Konstruktionsrationale, sollten aus bestehender Fachliteratur abgeleitet und transparent und nachvollziehbar im Testmanual beschrieben sein. Vorsicht ist bei Konstruktionsrationalen geboten, die noch nicht empirisch untersucht wurden oder Argumentationslücken in der Überleitung von Theorie zu Operationalisierung aufweisen.
Schon gewusst? In der Testkonstruktion wird immer mehr auf automatisierte Item-Generatoren (AIGs) gesetzt. Gerade dann sind transparent beschriebene Konstruktionsrationale essenziell. Selbstlernende Systeme können viel leisten, ihre Funktionsweise sollte jedoch gut dokumentiert sein.
#07: Klare Beschreibung von Grenzwerten bei Konstruktvalidität
Oftmals werden zur Berechnung der Validität komplexere statistische Verfahren verwendet. Testmanuale sollten daher immer angeben, wie die Qualitätskriterien zu beurteilen sind, beispielsweise durch die Nennung von Grenzwerten oder Qualitätskategorien. Diese sollten unabhängiger Fachliteratur oder Richtlinien entstammen und entsprechend zitiert sein, damit kann man als Anwender auch ohne Statistikstudium beurteilen, wie gut ein Konstrukt validiert werden konnte.
#08: Gutes Außenkriterium bei Kriteriumsvalidierungen
Eine hoher Kriteriumsvalidität spricht für die Qualität des Tests, jedoch sollte dabei auf die Qualität des Studiendesigns geachtet werden, mit dem der Wert erzielt wurde. Nicht nur Tests müssen Gütekriterien erfüllen, auch das verwendete Außenkriterium, z. B. Jahresumsätze bei Vertriebsmitarbeiter und Vertriebsmitarbeiterinnen, müssen ausreichend reliabel, objektiv und valide sein.
Auch hier gilt: Das Studiendesign der Kriteriumsvalidierung sollte transparent im Testmanual beschrieben sein.
#09: Manchmal zahlt sich Zeitsparen nicht aus
Für Testungen, an deren Ergebnisse große finanzielle oder sicherheitsrelevante Entscheidungen hängen, so genannte „high stakes testings“, lohnt es sich oft, bei der Testbeurteilung nicht an Zeit zu sparen. Für viele Tests sind ausführliche Testrezensionen verfügbar, beispielsweise unter https://www.psyndex.de/tests/
