Die Optimierung von Online-Mathematiktests durch Itemrevision
Ein Verfahren auf der Grundlage der Analyse statistischer Daten und Fehlertypen
von Jana ThieleIn der vorliegenden Arbeit wird ein Online-Mathematiktest aus dem mathe-meistern-Projekt über mehrere Jahre mittels Itemrevisionen so optimiert, dass er den Testgütekriterien genügt und raschkonform ist. Bei dem Test handelt es sich um einen Multiple-Choice-Test für den Bereich Technik an Berufskollegs in NRW, denn insbesondere an Berufskollegs zeigt sich eine deutliche Diskrepanz zwischen den defizitären Bildungsvoraussetzungen der Schülerinnen und Schüler und den Bildungsplänen.
Im ersten Schritt der Arbeit wird untersucht, durch welche Itemrevisionen die Testgütekriterien (Reliabilität, Trennschärfe, globale Modelltests, …) beeinflusst werden. Bei der Aufgaben- und Distraktorenanalyse werden Fehlertypen mathematischer Fertigkeiten in den einzelnen Inhaltskategorien Arithmetik, Algebra, Geometrie, Bruchrechnung, Funktionen, Dreisatz & Prozente, Diagramme & Tabellen, Einheiten und Gleichungssysteme sowie den mathematischen Kompetenzen Darstellungen verwenden, Mathematik anwenden, Probleme lösen und symbolisch/formal Rechnen zum Ende der Sekundarstufe I mit den Distraktoren der Testitems verglichen und Revisionsansätze aufgezeigt.
Im zweiten Schritt wird der optimierte Test auf Item-, Konstrukt- und Modellebene mit der klassischen Testtheorie und der probabilistischen Testtheorie hinsichtlich der Testgütekriterien überprüft.
Mit dem raschkonformen Test werden im dritten Schritt die mathematischen Kompetenzniveaus von Berufskollegschülerinnen und -schülern hinsichtlich der Inhaltskategorien diagnostiziert, um anschließend eine individuelle Förderung zu initiieren.
Im ersten Schritt der Arbeit wird untersucht, durch welche Itemrevisionen die Testgütekriterien (Reliabilität, Trennschärfe, globale Modelltests, …) beeinflusst werden. Bei der Aufgaben- und Distraktorenanalyse werden Fehlertypen mathematischer Fertigkeiten in den einzelnen Inhaltskategorien Arithmetik, Algebra, Geometrie, Bruchrechnung, Funktionen, Dreisatz & Prozente, Diagramme & Tabellen, Einheiten und Gleichungssysteme sowie den mathematischen Kompetenzen Darstellungen verwenden, Mathematik anwenden, Probleme lösen und symbolisch/formal Rechnen zum Ende der Sekundarstufe I mit den Distraktoren der Testitems verglichen und Revisionsansätze aufgezeigt.
Im zweiten Schritt wird der optimierte Test auf Item-, Konstrukt- und Modellebene mit der klassischen Testtheorie und der probabilistischen Testtheorie hinsichtlich der Testgütekriterien überprüft.
Mit dem raschkonformen Test werden im dritten Schritt die mathematischen Kompetenzniveaus von Berufskollegschülerinnen und -schülern hinsichtlich der Inhaltskategorien diagnostiziert, um anschließend eine individuelle Förderung zu initiieren.