5. Diskussion psychometrischer Gütekriterien und Validitätsrisiken generativer Aufgaben
Die Gegenüberstellung von automatisiert erzeugten und manuell konstruierten Testaufgaben verdeutlicht fundamentale methodische Herausforderungen für die psychometrische Qualitätssicherung im modernen Prüfungswesen. Während klassische Ansätze der Testtheorie vorwiegend globale Reliabilitätskoeffizienten betrachten und populationsabhängige Kennwerte liefern, erlaubt die probabilistische Item-Response-Theorie eine differenzierte, populationsunabhängige Trennung von Personenparametern und aufgabenspezifischen Messeigenschaften (Brennan 2017). Diese messtheoretische Differenzierung erweist sich in der praktischen Testentwicklung als unverzichtbar, um latente Verzerrungen und systematische Varianzen bei generierten Items transparent aufzudecken. Insbesondere bei dichotomen Antwortformaten zeigt sich, dass Parameterschätzungen für Aufgabenschwierigkeit und Trennschärfe über theoretisch fundierte Itemcharakteristiken modelliert werden müssen, um eine messinvariante Erfassung über heterogene Kohorten hinweg zu gewährleisten (van der Linden 2018). Treten bei algorithmisch erstellten Aufgaben unerwartete Abweichungen im Antwortverhalten auf, gefährdet dies unmittelbar die Konstruktvalidität und Vergleichbarkeit des gesamten Messinstruments. Die psychometrische Fundierung verdeutlicht hierbei, dass polytome sowie dichotome Aufgabenstrukturen jeweils distinkte mathematische Anforderungen an Modellpassung, Parameterstabilität und Skaleninvarianz stellen (Brennan 2017). Generative Aufgabenformate dürfen folglich keinesfalls ohne vorherige probabilistische Kalibrierung in standardisierte Testabläufe integriert werden, da unentdeckte Fehlkonstruktionen die diagnostische Validität gravierend untergraben können. Erst durch eine derartige IRT-basierte Überprüfung lässt sich sicherstellen, dass KI-generierte Items dieselben latenten Fähigkeitsdimensionen unverzerrt abbilden wie traditionell entwickelte Aufgaben. Vor diesem Hintergrund verlangt der wissenschaftlich fundierte Einsatz generativer Sprachmodelle eine konsequente methodische Verankerung in psychometrischen Modellen, welche differentiales Itemfunktionieren frühzeitig erfassen, Itemparameter robust schätzen und so faire, c…