·
3 minute read
Im Juni waren wir mit zwei Arbeiten auf der International Conference on Web Engineering (ICWE 2026) in Lyon. Am 11. Juni wurde unser Full Paper dort mit dem Best Student Paper Award ausgezeichnet. Es ist die Architektur, die der Bewertungslogik von ScormIQ zugrunde liegt.
Die Auszeichnung ist ein externer Beleg für etwas, das sich nicht selbst vergeben lässt: Eine Fachjury aus dem Bereich Webtechnologien hat unsere Methode aus 39 eingereichten Arbeiten herausgehoben.
Was die Auszeichnung wert ist
Die ICWE ist eine der etablierten Konferenzen für Webarchitekturen und Webtechnologien. Die Proceedings erscheinen bei Springer (LNCS), ausgewählte Arbeiten werden für das Journal of Web Engineering eingeladen. In diesem Jahr fand die Konferenz an der INSA Lyon statt.
Von 39 Einreichungen nahm das Programmkomitee 8 Full Papers in den Research Track auf, eine Annahmequote von 21 %. Der Best Student Paper Award geht an genau eine dieser Arbeiten, und das ist unsere: ausgezeichnet von General Chair Andrea Mauri und den Program Chairs Lola Burgueño und Riccardo Tommasini. Die Forschung dahinter entsteht in Jonas Gwozdz' Promotion, die wir bei Netresearch unterstützen und deren Ergebnisse direkt in ScormIQ einfließen.
Worum es im Paper geht
Der Titel: Toward Reliable LLM-Integrated Web Architectures for Teacher-Aligned Automatic Student Grading. Die Leitfrage dahinter: Lässt sich ein Sprachmodell in die Bewertung von Prüfungen einbinden, ohne dass die Lehrkraft die Kontrolle über das Urteil aus der Hand gibt?
Die Antwort ist eine modulare Webarchitektur mit einer Feedbackschleife im Kern. Lehrkräfte bestätigen oder korrigieren einzelne Bewertungen, und diese bestätigten Fälle dienen als Referenz für alle folgenden Bewertungszyklen. Fälle, bei denen das Modell unsicher ist, werden automatisch an die Lehrkraft zurückgegeben. Die Autonomie des Systems wächst so mit der Evidenz: je mehr bestätigte Fälle vorliegen, desto eigenständiger bewertet es.
Getestet haben wir das an echten Klausurdaten aus dem Bachelor Informatik der HTWK Leipzig. Das beste Setup erreichte rund 91 % Übereinstimmung mit den Bewertungen der Lehrenden, gegenüber einer Mehrheitsklassen-Baseline von 56 %. Der wichtigste Befund betrifft die Menge an Rückmeldung: Schon eine Handvoll bestätigter Beispiele reicht aus, um die Bewertung verlässlich auf die Erwartung der jeweiligen Lehrkraft auszurichten. Die Modellgröße spielt dabei eine kleinere Rolle als erwartet.
Wann die KI bewertet und wann sie zurückfragt
Der eigentliche Hebel liegt darin, die Unsicherheit des Modells ernst zu nehmen. Das System bewertet nur dann selbstständig, wenn es sich oberhalb einer festgelegten Schwelle sicher ist, zum Beispiel ab 80 % Konfidenz. Alles darunter landet zur Prüfung bei der Lehrkraft.
Wie streng diese Schwelle sein muss, hängt vom Einsatz ab. Eine Sicherheitsunterweisung in der Fahrschule verträgt kaum falsch durchgewinkte Antworten, das Budget für Fehler ist klein und die Schwelle entsprechend hoch. Eine Auffrischung von Vorlesungsstoff darf großzügiger automatisieren, weil die Folgen eines Fehlers geringer sind. Dieselbe Architektur, zwei Einstellungen. Die Lehrkraft entscheidet, wo der Schnitt liegt, und das System hält sich daran.
Zwei Beiträge und ein Demo Day
Das Full Paper war nicht der einzige Beitrag. Im PhD-Symposium der ICWE stellten wir eine zweite Arbeit vor, Toward Trustworthy, Teacher-Aligned Adaptive Learning on the Web, die das größere Bild der Promotion umreißt: adaptives, LLM-gestütztes Lernen im Web ist nur dann nützlich, wenn Lehrende dem System vertrauen können. Beide Beiträge sind inzwischen offiziell bei Springer erschienen und über ihre DOI zitierbar (Full Paper: 10.1007/978-3-032-29372-5_8, PhD-Symposium: 10.1007/978-3-032-29372-5_20).
Am Demo Day zeigten wir das System live. Die Fragen aus dem Publikum nach beiden Vorträgen waren von der produktiven Sorte: zur Rolle der Temperatur bei der Modellabfrage, zum Vergleich mehrerer Prüfer auf denselben Antworten, zur Übertragbarkeit über einzelne Kurse hinaus. Genau die Punkte, an denen die nächste Iteration ansetzt.
Was das für ScormIQ bedeutet
Die Architektur aus dem Paper ist kein Selbstzweck. Sie beschreibt, wie die Bewertungslogik in ScormIQ aufgebaut ist. Wenn ein Trainer in ScormIQ die Antworten seiner Lerner prüft, trainiert er das System auf seine konkreten Erwartungen. Die Bewertung richtet sich dann an seinem Urteil aus, nicht an einer generischen Modell-Vorgabe. Das Paper liefert den wissenschaftlichen Nachweis, dass dieser Ansatz trägt, und beschreibt, wie die Technik dahinter gebaut sein muss, damit das Ergebnis reproduzierbar und überprüfbar bleibt.
Für uns bei Netresearch zählt dabei die Methodik. Wir prüfen sie wissenschaftlich und lassen sie extern bewerten, bevor sie in ein Produkt einfließt. Was in kontrollierten Experimenten standhält, findet den Weg in unsere Software.
Der nächste Schritt steht schon fest. Seit der Einreichung haben wir das Experiment auf weitere Module ausgeweitet und prüfen, ob die Methode über mehrere Fächer hinweg trägt. Dazu kommen offene Fragen aus dem Publikum in Lyon, etwa wie sich verschiedene Prüfer auf denselben Antworten zueinander verhalten. Der Award bestätigt den Ansatz; die eigentliche Bewährungsprobe ist die Generalisierung über Kurse und Fächer hinweg.
Wer wissen will, wie die teacher-aligned Bewertung in der Praxis aussieht: Wir zeigen es gerne in einer ScormIQ-Demo.
