Automatisierte Bewertung und formatives Feedback

Das Korrigieren ist eine der größten verdeckten Arbeitslasten in der Lehre, und Feedback kommt oft zu spät, um zu helfen. LLMs und Vision-Sprachmodelle können ein Bewertungsraster auf Antworten, Aufsätze, Code und eingescannte Handschrift anwenden, einen Punktwert mit zitierten Belegen vorschlagen und innerhalb von Minuten umsetzbares Feedback entwerfen. Das tragfähige Muster lautet KI schlägt vor, Lehrkraft entscheidet für alles, was in eine Note einfließt, und KI-Feedback direkt nur für Übungen ohne Notendruck.

Problem & Nutzen

• Heute: Lehrkräfte und Dozierende korrigieren von Hand oder mit festen Lösungsschlüsseln (Multiple Choice, numerischer Abgleich). Offene Arbeiten erhalten wenig Feedback; die Bewertung ist zwischen Korrigierenden und über eine lange Korrektursitzung hinweg uneinheitlich; große Kohorten warten Wochen auf Ergebnisse.
• Nutzen der KI: schnellere erste Durchsicht, Konsistenz beim Bewertungsraster, mehr Feedback-Runden je Lernendem, Gruppierung ähnlicher Antworten (einmal bewerten, auf viele anwenden), Einblick in Fehlvorstellungen auf Klassenebene und eine Zweitkorrektur gegen menschliche Voreingenommenheit.
• Die Belege sind gemischt: LLM-Bewertungen können bei manchen Aufgaben an die Übereinstimmung zwischen Menschen heranreichen, schwanken aber je nach Aufgabe, Raster und Modell; validieren Sie an eigenen Stichproben [5][6].

Varianten

• Hochschule: Bewertung von Kurzantworten und Aufsätzen, Laborberichten, Programmieraufgaben (Tests plus LLM-Prüfung von Stil und Argumentation), handschriftliche MINT-Klausuren (scannen, transkribieren, Rechenschritte bewerten).
• Schulen (K-12): formatives Schreibfeedback, Aufsätze im Sprachunterricht, Hausaufgabenkontrollen; in der Regel Feedback an Schülerinnen und Schüler ohne Notendruck, die Note setzt die Lehrkraft.
• Betriebliche Schulung / Zertifizierung: Wissensüberprüfungen mit Freitext, Fallstudienbewertungen (siehe EDU-006).
• Sprach- und Sprechtests: Die Bewertung gesprochener Sprachkompetenz ist ein eigener Fall (EDU-012).
• Private Nutzung: Selbstlernende erhalten Feedback zu eigenen Aufsätzen oder eigenem Code (EDU-016, EDU-004).

So funktioniert es

1. Abgabeneingang (LMS / Upload / Scan)
2. pseudonymisieren (Name, Matrikelnummer entfernen; Zuordnungsschlüssel behalten)
3. [Handschrift] OCR / VLM-Transkription, Seitenbild zur Prüfung aufbewahrt
4. Raster-Prompt: Kriterien, Niveaubeschreibungen, Musterlösung, 2-5 bewertete Ankerbeispiele
5. LLM-Bewertung je Kriterium mit zitiertem Beleg + Begründung (strukturiertes JSON)
6. Feedback-Entwurf (Stärken, Lücken, nächster Schritt), Ton und Sprache je Zielgruppe
7. Qualitätsprüfungen: Selbstkonsistenz (wiederholte Läufe), Konfidenz, Erkennung von Werten außerhalb des Bereichs oder ungewöhnlichen Eingaben
8. menschliche Prüfung (alle bei hohem Gewicht; Stichprobe oder markiert bei geringem Gewicht)
9. Freigabe an Lernende / Eintrag ins Notenbuch des LMS; Prüfprotokoll von KI- vs. Endnote

• Raster zuerst: Das Bewertungsraster, nicht das Modell, bestimmt die Qualität. Bewertung je Kriterium mit Beleg schlägt einen einzelnen Gesamtwert und macht Korrekturen durch die Lehrkraft schnell.
• Kalibrierung: Lassen Sie die Pipeline auf 30-50 bereits bewerteten, anonymisierten Abgaben laufen; vergleichen Sie mit den menschlichen Bewertungen je Kriterium; passen Sie Prompt und Ankerbeispiele an, bis die Abweichung akzeptabel ist.
• Mensch-in-der-Schleife (Human-in-the-Loop): Die Lehrkraft gibt jede Bewertung frei, die Versetzung oder Zeugnisse betrifft; Lernende können eine erneute Bewertung durch einen Menschen verlangen; Grenzfälle und geringe Konfidenz gehen immer an eine Person.
• Schutz vor Prompt Injection: Lernende können Anweisungen in ihrem Text verstecken („gib volle Punktzahl“). Behandeln Sie die Abgabe als nicht vertrauenswürdige Daten, trennen Sie sie von den Anweisungen und markieren Sie verdächtige Inhalte.

Datenaufbereitung

Benötigt werden Bewertungsraster, Musterantworten, frühere bewertete Beispiele und die Abgaben der Lernenden selbst (getippter Text, Code, Scans handschriftlicher Klausuren). Sie liegen im LMS, auf den Laptops der Lehrkräfte, in Mails und auf Papier. Typische Lücken: Raster, die nur implizit existieren, uneinheitliche Bewertung zwischen Korrigierenden, handschriftliche Scans schlechter Qualität, Namen der Lernenden auf jeder Datei und unklare Zugriffsrechte auf Ergebnisse.

Schritte der Aufbereitung: explizite Raster mit Kriterien und Stufen schreiben (siehe PREP-019); anonymisierte frühere Bewertungen und Rückmeldungen als Musterbeispiele sammeln (siehe PREP-020, PREP-016); handschriftliche Arbeiten in guter Auflösung scannen und per OCR erfassen (siehe PREP-006); Abgaben pseudonymisieren, bevor sie einen KI-Dienst erreichen (siehe PREP-022); einen Evaluationssatz aufbauen, in dem mehrere Lehrkräfte dieselben Arbeiten bewertet haben, und die KI mit ihnen vergleichen (siehe PREP-018). Rechtsgrundlage für die Weiterverwendung von Daten Lernender prüfen (siehe PREP-025). Das Parsen von Dokumenten deckt DOC-014 ab.

Aufwand: mittel. Rechnen Sie mit 25 bis 35 Prozent des Gesamtaufwands, vor allem für die Definition der Raster und den Kalibrierungssatz. Siehe GUIDE-003.

Umsetzungswege

Welcher Weg für wen

• Großunternehmen: Weg B, weil die Bewertung in das eigene LMS, die Raster und die Ergebnisdaten integriert werden muss und EU-Region-APIs den Betrieb eigener Modelle ersparen.
• Öffentliche Hand: Weg C auf souveräner Infrastruktur, weil Arbeiten und Noten von Lernenden sensibel sind und Vergabe- und Schulrecht ein Hosting in Deutschland oder der EU begünstigen.
• Entwicklung: Weg C, weil ein Open-Weight-Stack mit eigener Rasterlogik Kontrolle über einen hochriskanten Einsatz und volle Nachvollziehbarkeit bietet.
• Privatpersonen: Weg C mit lokalen Apps wie LM Studio oder Ollama, weil eigene Aufsätze und Hausaufgaben auf dem Gerät bleiben.

Weg A — Kaufen (Standardsoftware)

• In bestehenden Plattformen: Gradescope (Turnitin; KI-gestützte Gruppierung von Antworten und Vorschläge für Raster), Turnitin Feedback Studio / Clarity, Plug-ins für Moodle und ILIAS, KI-Funktionen von Canvas und Blackboard, Microsoft Teams Education / Learning Accelerators, Google Classroom mit Gemini.
• Spezialisierte Bewertungswerkzeuge: CoGrader, Graide (UK, Mathematik und MINT); Programmierung: CodeGrade, Codio, Autolab. EU-Option: Fobizz (DE, Werkzeuge für Lehrkräfte).
• Weg A wählen, wenn: Sie bereits ein LMS betreiben, einen AVV, Hosting in der EU und eine lehrkraftfreundliche Oberfläche brauchen und der Anbieter dokumentiert, wie Bewertungen zustande kommen und überstimmt werden können.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Modelle: führende Reasoning-/multimodale Modelle über EU-Endpunkte: Mistral (EU-Anbieter), Azure OpenAI in der EU Data Zone, Google Vertex AI EU-Region, Amazon Bedrock Frankfurt/Paris (Claude und andere).
• Bausteine: strukturierte Ausgaben (JSON-Schema) für Rasterbewertungen, Batch-APIs für die nächtliche Bewertung, LTI-1.3-Anbindung an das LMS, OCR über Mistral OCR oder Azure Document Intelligence für Scans.
• Weg B wählen, wenn: Sie eigene Raster, fachspezifische Logik oder die Integration in proprietäre Prüfungssysteme brauchen.

Weg C — Selbst betreiben (Open Source)

• Modelle: Open-Weight-LLMs wie Qwen3, Llama 3.x/4, Mistral Small/Large, gpt-oss, Gemma 3; VLMs wie die Qwen-VL-Familie für Handschrift; Docling, PaddleOCR oder olmOCR für Scans.
• Betrieb: vLLM oder Ollama, eingeschränkte JSON-Dekodierung; Orchestrierung mit n8n oder einem kleinen FastAPI-Dienst; LTI über Open-Source-Werkzeuge; Evaluation mit promptfoo oder Inspect.
• Hardware: HW2 bewältigt Modelle von ca. 8-14B für formatives Feedback; HW3 für Modelle der 70B-Klasse oder starke Reasoning- Modelle und Handschrift in großem Umfang. Hochschulen betreiben dies oft im zentralen HPC-/GPU-Cluster.

Weg D — Eigenes Training

Ein kleines Modell oder einen Regressions-/Klassifikationskopf auf den eigenen bewerteten Abgaben einer Einrichtung feintunen (Tausende von Menschen bewertete Antworten je Aufgabe), wenn das Volumen hoch und die Aufgabe stabil ist, z. B. nationale Prüfungen oder standardisierte Tests. Die klassische automatisierte Aufsatzbewertung (AES) hat diese Geschichte; heute ergänzt sie meist per Prompt gesteuerte LLMs als günstiger, kalibrierter Zweitbewerter.

Stand der Technik (2026)

• Reasoning-Modelle bewerten MINT-Rechenschritte und Code besser als Modelle ohne Reasoning; rasterbezogenes Prompting je Kriterium mit Ankerbeispielen ist die zuverlässigste Technik. Das Zusammenführen mehrerer Durchläufe oder Modelle und die Übernahme der Übereinstimmung verringert die zufällige Streuung.
• Handschrift: Die Transkription durch VLMs hat sich stark verbessert, aber unsaubere Schrift, Diagramme, chemische Strukturen und durchgestrichene Arbeit bleiben fehleranfällig; halten Sie das Seitenbild neben der vorgeschlagenen Bewertung bereit.
• Bekannte Fehlerbilder: Drift hin zu Milde oder Strenge, Verzerrung durch Länge und Stil, abweichende Bewertung flüssig schreibender Nicht-Muttersprachler, Empfindlichkeit gegenüber der Prompt-Formulierung, halluzinierte „Belege“, Täuschung durch Prompt Injection und schwacher Umgang mit Originalität oder kreativen Arbeiten. KI-Text-Detektoren sind unzuverlässig und dürfen nicht als Beweis für Fehlverhalten dienen (siehe EDU-008).
• Feedback-Forschung: Feedback, das konkret und aufgabenbezogen ist und auf das eine Überarbeitungsmöglichkeit folgt, fördert das Lernen; pauschales Lob oder das Verraten der Antwort tut dies nicht [7].

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack (llm-reasoning + vlm + ocr-docparse): DOC-003 Formularextraktion, LANG-029 Bewertung von Manuskripten, CODE-021 Werkzeuge zur Codeanalyse.
• Kombinierbar mit: EDU-002 (Fragenerzeugung mit Bewertungsrastern), EDU-004 (Tutor nutzt dieselbe Feedback- Engine), EDU-007 (Analysen auf Klassenebene), EDU-008 (Integrität), EDU-012 (Sprechbewertung), EDU-016 (Werkzeuge zum Selbststudium).
• Ein selbst betriebener LLM/VLM-Server (HW3) kann Bewertung, Tutoring und Assistenten für Lehrkräfte bedienen.

Aufwand, Kosten & Kennzahlen

• Weg A: Tage bis Wochen; Lizenz pro Platz oder pro Lernendem, oft im LMS enthalten.
• Weg B: 1-3 Monate inkl. LMS-Anbindung, Rasterentwicklung und Validierungsstudie; die API-Kosten je Abgabe sind im Verhältnis zur Arbeitszeit der Lehrkräfte gering.
• Weg C: 2-4 Monate; GPU-Server plus Betriebs- und Evaluationsaufwand.
• Kennzahlen: Übereinstimmung mit menschlichen Korrigierenden (z. B. quadratisch gewichtetes Kappa, mittlere absolute Abweichung je Kriterium), Anteil der von Lehrkräften geänderten Bewertungen, Zeit der Lehrkraft je Abgabe, Zeit bis zum Feedback, Überarbeitungsquote der Lernenden, Fairnesslücken zwischen Untergruppen, Beschwerden und Widersprüche.

Menschen & Veränderung

Binden Sie die Geschäftsleitung und die Schul- oder Institutsleitung für die Entscheidung ein, die Lehrkräfte als tägliche Nutzer und letzte Bewertende, IT und IT-Sicherheit für Hosting und Zugriff, die oder den Datenschutzbeauftragte(n) vom ersten Tag an, Recht für das Prüfungsrecht und den Betriebs- oder Personalrat frühzeitig. Lernende und Eltern sind betroffen und müssen informiert werden.

Betriebsrat: ja. Bewertungsassistenten verarbeiten Leistungsdaten und sind objektiv geeignet, die Arbeit von Lehrkräften zu überwachen, daher gilt in Unternehmen die Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG; § 90 Abs. 1 Nr. 3 verlangt die rechtzeitige Unterrichtung über KI-gestützte Arbeitsverfahren, und § 80 Abs. 3 erlaubt dem Betriebsrat, eine(n) KI-Sachverständige(n) hinzuzuziehen. Öffentliche Schulen und Hochschulen beteiligen den Personalrat nach Landesrecht.

Datenschutz: Es werden personenbezogene Daten von Lernenden verarbeitet, daher ist eine DSFA wahrscheinlich (systematische Bewertung von Personen), mit jedem Auftragsverarbeiter ist ein AVV erforderlich, und die oder der Datenschutzbeauftragte gehört zum Projekt. Bildungsbezogene Bewertung kann nach Anhang III der KI-Verordnung hochriskant sein; die Pflichten gelten ab dem 2. Dezember 2027, planen Sie die menschliche Aufsicht daher jetzt.

KI-Kompetenz: Unterstützen Sie Lehrkräfte mit Schulungen zu Verzerrungen, Kalibrierung und Prüfung (KI-Verordnung Art. 4). Beginnen Sie mit einer Pilotgruppe für formatives Feedback ohne Notendruck, niemals mit automatischen Endnoten. Typische Sorgen sind Fairness und Angst um den Arbeitsplatz; begegnen Sie ihnen mit Transparenz, Widerspruchsrechten und menschlicher Entscheidung. Siehe GUIDE-004, GUIDE-005 und GUIDE-008.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): Anhang III Nr. 3 führt KI-Systeme, die zur Bewertung von Lernergebnissen bestimmt sind, auch wenn sie zur Steuerung des Lernprozesses dienen, als hochriskant auf; ebenso Systeme zur Festlegung der Zulassung, zur Beurteilung des angemessenen Bildungsniveaus und zur Überwachung unzulässigen Verhaltens bei Prüfungen. Bewertungssysteme, die Noten, Versetzung oder Zertifizierung erzeugen oder darüber entscheiden, sind daher hochriskant (Pflichten für Anbieter und Betreiber: Risikomanagement, Daten-Governance, menschliche Aufsicht, Protokollierung, Transparenz, Grundrechte-Folgenabschätzung (FRIA) für manche Betreiber). Rein formatives Feedback ohne Einfluss auf Noten kann außerhalb liegen, ist aber im Einzelfall einzustufen [1][2]. Verbot nach Art. 5: Das Ableiten von Emotionen von Schülerinnen und Schülern oder Studierenden (z. B. aus Gesicht oder Stimme) im Bildungsbereich ist verboten; nehmen Sie solche Signale nicht in die Bewertung auf. Art. 4 (KI-Kompetenz) gilt für Lehrkräfte. Die Pflichten für Hochrisiko-Systeme (Anhang III) wurden durch das Digital Omnibus on AI auf den 2. Dezember 2027 verschoben (Mitte 2026 beschlossen; am Text des Amtsblatts prüfen).
• DSGVO: Arbeiten von Lernenden sind personenbezogene Daten, oft von Minderjährigen. Art. 22 begrenzt ausschließlich automatisierte Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung; behalten Sie einen menschlichen Entscheider, gewähren Sie Auskunft, Erklärung und Rechte auf erneute Bewertung; AVV, Hosting in der EU, kein Training des Anbieters mit Daten der Lernenden, DSFA empfohlen [3][4].
• Bildungsrecht: Prüfungsordnungen in vielen EU-Staaten verlangen menschliche Prüfende für bewertete Arbeiten; manche verlangen die ausdrückliche Offenlegung des KI-Einsatzes bei der Bewertung.
• Gegenmaßnahmen: pseudonymisierte Bewertung, menschliche Freigabe, Prüfprotokoll, Tests auf Verzerrungen über Gruppen hinweg, veröffentlichtes Raster, Widerspruchsverfahren, Schutzmaßnahmen gegen Prompt Injection.

Erste Schritte

1. Wählen Sie eine Aufgabe ohne Notendruck mit klarem Raster (z. B. wöchentliche Kurzantworten) und definieren Sie die Kriterien.
2. Sammeln Sie 30-50 anonymisierte, von Menschen bewertete Beispiele und messen Sie die Ausgangsübereinstimmung der Korrigierenden.
3. Lassen Sie ein Werkzeug aus Weg A oder ein einfaches Skript aus Weg B im Schattenbetrieb laufen; vergleichen Sie je Kriterium.
4. Ergänzen Sie Regeln für die menschliche Prüfung, einen Hinweis für Lernende und einen Widerspruchsweg; schließen Sie die DSFA ab.
5. Erweitern Sie auf Anwendungen mit höherer Tragweite erst nach Verzerrungstests und einer Einstufung nach der KI-Verordnung durch die Rechtsberatung.

Quellen

1. Regulation (EU) 2024/1689 (AI Act), Annex III point 3 and Art. 5 - https://eur-lex.europa.eu/eli/reg/2024/1689/oj
2. European Commission - AI Act policy page - https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
3. Regulation (EU) 2016/679 (GDPR), Art. 22 - https://eur-lex.europa.eu/eli/reg/2016/679/oj
4. EDPB - Guidelines and opinions on data protection - https://www.edpb.europa.eu/our-work-tools/general-guidance/guidelines-recommendations-best-practices_en
5. Zheng et al. - Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena - https://arxiv.org/abs/2306.05685
6. Mizumoto & Eguchi - Exploring the potential of using an AI language model for automated essay scoring - https://arxiv.org/abs/2303.01957
7. Education Endowment Foundation - Feedback guidance - https://educationendowmentfoundation.org.uk/education-evidence/teaching-learning-toolkit/feedback
8. Gradescope - AI-assisted grading - https://www.gradescope.com
9. Docling project - https://github.com/docling-project/docling