Ein Tag mit einem Test Developer

Was ist eigentlich ein Test Developer?

Georg: Wie der Name schon sagt, entwickeln wir psychologische Tests. Primär geht es dabei natürlich um die Inhalte wie Instruktionen, Aufgabenmaterial und Auswertung. Aber ein digitaler Test hört damit natürlich nicht auf. Für die Umsetzung arbeiten wir sehr eng mit anderen Teams zusammen.

Was muss man als Test Developer alles können?

Felix: Klassischerweise benötigt man ein abgeschlossenes Psychologiestudium und sollte dabei eine besondere Begeisterung für Diagnostik, methodische Fragestellungen und der Arbeit mit Daten haben, so wie das bei uns der Fall ist. Gute sprachliche Kompetenz und eine gewisse Affinität zur Softwareentwicklung schaden ebenfalls nicht.

Georg: Nicht zuletzt braucht es auch Durchhaltevermögen und Geduld. Die Entwicklung einer komplexen Testbatterie wie zum Beispiel der Intelligenz-Struktur-Batterie – 2 (INSBAT-2) kann schon mal ein paar Jahre dauern.

Womit beschäftigen sich Test Developer bei SCHUHFRIED?

Felix: Unsere Entwicklungsteams sind stark interdisziplinär. Das bedeutet, wir arbeiten eng mit Programmierern, Softwaretestern und Übersetzern zusammen. Denn für einen guten Test braucht es Experten aus vielen unterschiedlichen Bereichen.

Georg: Wir entwickeln bei SCHUHFRIED ausschließlich digitale Tests. Während wir Test Developer uns vor allem mit Literaturrecherche, Datenanalyse und dem Schreiben von Testitems beschäftigen, braucht es für die technische Umsetzung auf verschiedenen Plattformen erfahrene Programmierer. Unsere Tests werden schon lange nicht mehr nur am Computer eingesetzt, sondern immer öfter auch am Handy oder in die Softwareumgebung unserer Kunden voll integriert.

Felix: Aktuell beschäftigt mich unter anderem die Umsetzung eines vergleichsweise neuen Antwortformates bei Persönlichkeitstests. Anstatt der bei Fragebögen gängigen Likert-Skala werden wir ein Forced-Choice Antwortformat umsetzen. Dafür müssen mehrere Dutzend Items geschrieben werden. Man stellt sich das vielleicht einfach vor, aber die Formulierung dieser Items kann schon mal eine Weile dauern und ganz schön kniffelig werden. Es soll ja schließlich die gewünschte Facette getroffen werden. Wichtig ist, dass die Formulierungen gut klingen, einfach zu verstehen und eindeutig sind. Auch auf eine gute Übersetzbarkeit für unserer internationalen Kunden müssen wir bereits zu diesem Zeitpunkt achten.

Natürlich ist es aber mit der Entwicklung der Items noch nicht getan. Der Test und die Auswertung müssen auch programmiert werden. Für das Forced-Choice Antwortformat sind wir ganz vorne mit dabei, wenn es um die praktische Anwendung von neuen Auswertungsalgorithmen geht. Ich arbeite aktuell mit einem Programmierer intensiv zusammen, um den neuen Algorithmus für unsere Kunden im Wiener Testsystem (WTS) zu verankern, damit unsere Anwender einen zuverlässigen – Stichwort „Reliabilität“ – und auch gültigen – Stichwort „Validität“ – Test zur Verfügung haben.

Georg: SCHUHFRIED ist nach ISO-Norm 13485 zertifiziert und hat ein umfassendes Qualitätsmanagementsystem. Daher werden die Tests auch noch durch ein eigenständiges Team von Software Testern auf Herz und Nieren geprüft. Deren Rückmeldungen helfen uns, den Test für das Release zu finalisieren.

Wie sieht so ein typischer Arbeitstag bei euch aus?

Georg: Am Anfang – nach dem morgendlichen Kaffee oder Tee – haben wir erst mal ein Meeting mit den anderen Teams aus unserem Bereich. Wir nennen das unser „Stand-up“, weil wir wie in einem Erzählkreis in der Schule beisammenstehen. Dabei erklären alle kurz, was man am Tag zuvor gemacht hat und was heute geplant ist, damit wir alle gut koordiniert bleiben. Mögliche Probleme oder Krisen werden angesprochen und gemeinsam gelöst und Erfolge natürlich gefeiert.

Felix: Danach geht dann die eigentliche Projektarbeit los. Wir arbeiten in einem open-office mit unseren Programmierern, damit wir auch außerhalb geplanter Besprechungen jederzeit mit den anderen Teams gut kommunizieren können. Manchmal ergeben sich ganz spontan improvisierte und äußerst kreative Brainstormings, um eine harte Nuss zu knacken. Wir haben – nicht zuletzt wegen Covid – eine sehr flexible Homeoffice-Policy, daher sind diese oft auch virtuell. Um so mehr genießen wir es, wenn wir gemeinsam im Haus sind, und treffen uns dann meist zu einem großen gemeinsamen Mittagessen.

Georg: Trotz der kreativen und spontanen Atmosphäre arbeiten wir sehr strukturiert. Wir orientieren uns an den Prinzipien des agilen Projektmanagements und organisieren unsere Arbeit in Sprint-Zyklen, damit wir uns immer auf das Wesentliche fokussieren können.

Das klingt ja sehr aufregend. Gibt es auch Routineaufgaben?

Felix: In welchem Job gibt es das nicht? Wir verbringen viel Zeit mit Datenanalysen. Die Daten, also die Testergebnisse, kommen zum Teil aus unserem Test- und Research Center oder werden uns von unserer Kundschaft direkt aus der praktischen Anwendung zur Verfügung gestellt. Wir sind immer daran interessiert, so viele Daten wie möglich zu unseren Tests zu sammeln und die daraus abgeleiteten Erkenntnisse und praktischen Erfahrungen in unsere Tests einfließen zu lassen. Manchmal muss man regelrecht aufpassen, sich nicht in Analysen zu verlieren, sondern beim Wesentlichen zu bleiben.

Georg: Wir arbeiten mit verschiedenen bekannten Statistik- und Analyse-Softwareprodukten, wie zum Beispiel SPSS und R, wodurch wir sehr viele Möglichkeiten haben, Daten zu interpretieren und zu verstehen.

Arbeitet ihr auch international?

Felix: Sehr sogar! Unsere Tests werden aktuell in 67 Ländern eingesetzt und sind in bis zu 30 Sprachen übersetzt, von Arabisch über Griechisch bis Vietnamesisch und es kommen immer wieder neue dazu. Darum sind auch zwei Übersetzungsmanagerinnen Teil unseres Teams. Wobei der Begriff hier eigentlich zu kurz greift.

Georg: Psychologische Tests müssen in anderen Sprachen und für andere Kulturen zum Teil relativ umfangreich adaptiert werden. Nur selten spiegelt eine direkte Übersetzung die kulturellen Konnotationen wider. Darum arbeiten wir oft in mehreren Übersetzungsschritten und mit mehreren Übersetzerinnen und Übersetzern zusammen, um die richtige Bedeutung sicherzustellen. Das ist ein wirklich spannender Vorgang, und man lernt dabei viel über andere Kulturen.

Habt ihr eigentlich auch Kontakt zu den Anwenderinnen und Anwendern der von euch entwickelten Tests?

Felix: Ja, natürlich. Als Experten zu unseren Tests sind wir vor allem in Detailfragen die zentrale Anlaufstelle. Aktuell kümmert sich ein Kollege um eine Anfrage zum Inventar zur Testung kognitiver Fähigkeiten (INT). Eine unserer spanischen Kundinnen hat Fragen zum adaptiven Testen mit INT und möchte zusätzliche Informationen zur Vergleichbarkeit zwischen der Vorgabe des Tests am Desktop und am Handy. Unser Kollege wird für die besagte Kundin daher eine übersichtliche Darstellung der Entwicklungsschritte und der Ergebnisse der Prüfung der Testreliabilität zusammenstellen.

Georg: Außerdem sind wir regelmäßig auf Fachkongressen und treffen auch dort Anwender und wissenschaftliche Kolleginnen und Kollegen.

Macht ihr noch Fortbildungen, oder habt ihr schon alles im Studium gelernt?

Felix: Grundsätzlich lernen wir natürlich vieles noch während unserer Arbeit. Zum Beispiel setzen wir in letzter Zeit für viele Datenanalysen vermehrt die Programmiersprache R ein, und da lernt man auf der Uni meistens nur die Basics, wenn überhaupt. Hier nimmt zum Beispiel ein Kollege gerade an unterschiedlichen Online-Kursen teil, um seine Fähigkeiten auszubauen. Neben eher technischen Themen haben wir die Möglichkeit, an Kongressen und Schulungen teilzunehmen, wo man sich inhaltlich über aktuelle Ergebnisse aus der psychologischen Forschung austauscht und viel neues entdecken kann.

Georg: Wir veranstalten auch regelmäßig Schulungen in Form von Workshops, bei denen Expertinnen und Experten von Universitäten oder anderen Bildungseinrichtungen zu unterschiedlichen Themen, zum Beispiel zu bestimmten Auswertungsmethoden eingeladen werden, um ihr Wissen mit uns zu teilen.

Was gefällt euch an eurem Job am meisten?

Felix: Ich könnte mir kaum einen anderen Job mit einem ähnlich breiten, spannenden und vor allem abwechslungsreichen Betätigungsfeld vorstellen. Das macht die Arbeit jeden Tag zwar herausfordernd, aber auch sehr lohnend.

Georg: Außerdem ist es schön zu wissen, dass unsere digitalen psychologischen Tests einen hohen gesellschaftlichen Wert und Nutzen haben.

Vielen Dank für das Gespräch und weiterhin viel Spaß bei der Arbeit!