#01 : Connaître la problématique
La qualité d’un test doit toujours être considérée dans le contexte de la question posée. Tous les bons tests Test ne sont pas automatiquement adaptés au domaine d’application prévu. C’est pourquoi la question et l’objectif du test doivent être clarifiés et, de préférence, explicités avant l’évaluation.
#02 : Connaître le public cible
Dans la plupart des cas, les résultats de test sont interprétés dans le contexte d’un groupe de comparaison. Ce groupe de comparaison doit donc correspondre au mieux au groupe cible. Pour le site Test, il faut donc disposer d’un groupe de comparaison, également appelé échantillon standard, qui représente la population dont provient ou va provenir une personne. Selon la question posée, il peut s’agir de normes représentatives, spécifiques à l’éducation ou même à l’emploi.
#03 : Documentation détaillée et transparente
Les bons tests n’ont rien à cacher, une documentation transparente est donc indispensable. Plus le manuel de test décrit concrètement le processus de développement et plus les valeurs caractéristiques des critères de qualité tels que la fiabilité et la validité sont indiquées de manière transparente, mieux c’est.
Le saviez-vous ? Les auteurs de tests de confiance remplissent souvent de telles listes de contrôle à l’avance et les joignent au manuel de test afin de faciliter la lecture des points pertinents par les utilisateurs. La plupart du temps, ces documents se trouvent en annexe.
#04 : Un contexte théorique bien cité
Les tests ont besoin d’un cadre théorique étayé par des résultats empiriques. Les bons tests font donc l’objet d’une recherche bibliographique approfondie, qui aboutit à une description précise du contexte théorique dans le manuel de test. Faites particulièrement attention aux citations dans le manuel. Celles-ci doivent provenir principalement de la littérature spécialisée indépendante.
#05 : Modèle scientifique établi
Pour que le passage de la théorie à la pratique sur Test fonctionne bien, il devrait déjà exister des preuves empiriques que le modèle utilisé mesure effectivement la dimension visée par Test. Si le site Test doit être utilisé au niveau international, il doit également être basé sur un modèle établi au niveau international.
#06 : Rationnel de construction transparent
Les instructions de construction utilisées pour les tâches d’un test, appelées « rationnels de construction », devraient également être tirées de la littérature spécialisée existante et décrites de manière transparente et compréhensible dans le manuel de test. La prudence est de mise avec les rationnels de construction qui n’ont pas encore été étudiés empiriquement ou qui présentent des lacunes d’argumentation dans le passage de la théorie à l’opérationnalisation.
Le saviez-vous ? Dans la construction de tests, on mise de plus en plus sur les générateurs d’items automatisés (AIG). C’est précisément dans ce cas que des rationnels de construction décrits de manière transparente sont essentiels. Les systèmes d’auto-apprentissage peuvent être très performants, mais leur fonctionnement doit être bien documenté.
#07 : Description claire des valeurs limites pour la validité de construction
Des méthodes statistiques plus complexes sont souvent utilisées pour calculer la validité. Les manuels de test devraient donc toujours indiquer comment les critères de qualité doivent être évalués, par exemple en mentionnant des valeurs limites ou des catégories de qualité. Ceux-ci devraient provenir de la littérature spécialisée indépendante ou de directives et être cités en conséquence, ce qui permet à l’utilisateur d’évaluer la qualité de la validation d’une construction, même sans études statistiques.
#08 : Bon critère externe pour les validations de critères
Une validité de critère élevée est un gage de qualité du test, mais il convient d’être attentif à la qualité de la conception de l’étude qui a permis d’obtenir cette valeur. Non seulement les tests doivent répondre à des critères de qualité, mais le critère externe utilisé, par exemple le chiffre d’affaires annuel des commerciaux, doit être suffisamment fiable, objectif et valide. Ici aussi, la conception de l’étude de validation des critères doit être décrite de manière transparente dans le manuel de test.
#09 : Parfois, gagner du temps ne paie pas
Pour les tests dont les résultats sont liés à des décisions financières ou de sécurité importantes, ce que l’on appelle les « high stakes testings », il vaut souvent la peine de ne pas économiser de temps lors de l’évaluation du test. Des critiques détaillées sont disponibles pour de nombreux tests, par exemple sur https://www.psyndex.de/tests/.