Im Juni reist unser Forschungsteam zur International Conference on Web Engineering (ICWE 2026) nach Lyon. Im Gepäck: ein Full Paper, das direkt aus unserer Arbeit an ScormIQ entstanden ist.
Die ICWE ist eine der wichtigsten Konferenzen im Bereich Webarchitekturen und Webtechnologien. Dieses Jahr findet sie vom 9. bis 12. Juni in Lyon statt, veranstaltet an der INSA Lyon. Die Proceedings erscheinen bei Springer (LNCS), ausgewählte Arbeiten werden für das Journal of Web Engineering eingeladen.
Von 39 eingereichten Arbeiten hat das Programmkomitee 8 Full Papers angenommen. Das entspricht einer Annahmequote von 21 %. Unser Paper gehört dazu.
Der Titel: Toward Reliable LLM-Integrated Web Architectures for Teacher-Aligned Automatic Student Grading. Die Kernfrage: Wie kann ein Sprachmodell Kurzantworten so bewerten, dass das Ergebnis mit der Einschätzung der jeweiligen Lehrkraft übereinstimmt?
Das Paper beschreibt eine modulare Webarchitektur mit fünf Komponenten. Der Kern ist eine Feedbackschleife. Lehrkräfte bestätigen oder korrigieren einzelne Bewertungen, und diese bestätigten Fälle werden als Lernmaterial für alle folgenden Bewertungszyklen verwendet. Fälle, bei denen sich das Modell unsicher ist, werden automatisch zur Lehrkraft weitergeleitet. Die Autonomie wächst mit der Evidenz.
Die Ergebnisse aus einer Evaluation mit realen Kursdaten (Bachelor Informatik, HTWK Leipzig) zeigen: Schon 3 bestätigte Beispiele reichen, um bei den getesteten Modellen eine Trefferquote von über 88 % zu erreichen. Bei 10 Beispielen liegt das beste Modell bei 90 %. Der entscheidende Punkt ist dabei nicht, welches Modell am besten abschneidet, sondern wie wenig Rückmeldung ausreicht.
Diese Forschung ist kein Selbstzweck. Die Architektur, die wir im Paper beschreiben, bildet die Grundlage für die Bewertungslogik in ScormIQ. Wenn ein Trainer in ScormIQ Antworten seiner Lerner prüft, trainiert er das System auf seine konkreten Erwartungen. Das Paper liefert den wissenschaftlichen Nachweis, dass dieser Ansatz funktioniert, und beschreibt, wie die Technik dahinter aufgebaut sein muss, damit das Ergebnis reproduzierbar und überprüfbar bleibt.
Für uns bei Netresearch ist das der Unterschied: Wir entwickeln Produkte nicht nur mit KI, sondern prüfen die Methodik wissenschaftlich. Was in kontrollierten Experimenten funktioniert, findet den Weg in unsere Software.
Unser Kollege Jonas Gwozdz, der die Forschung im Rahmen seiner Promotion an der HTWK Leipzig durchführt, wird das Paper vor Ort in Lyon vorstellen. Zusätzlich wurde eine zweite Arbeit für das PhD Symposium derselben Konferenz angenommen.
Wer sich für unsere Arbeit an der Schnittstelle von Webarchitekturen und KI im Bildungsbereich interessiert: Wir freuen uns über den Austausch. Entweder auf der ICWE in Lyon oder direkt über eine ScormIQ-Demo.