Erstellung von Quiz- und Prüfungsfragen

Gute Testaufgaben zu schreiben ist langsame, anspruchsvolle Arbeit. LLMs lesen das Kursmaterial und entwerfen in Minuten Fragen, Lösungsschlüssel, plausible Distraktoren und Erklärungen, zugeordnet zu Lernzielen. Menschen prüfen, überarbeiten und geben frei. Bei Übungen ohne Notendruck und formativen Quizzen ist der Gewinn groß; bei benoteten Prüfungen ist der KI-Entwurf nur der Anfang eines validierten Prozesses der Aufgabenentwicklung.

Problem & Nutzen

• Heute: Lehrkräfte, Dozierende und betriebliche Trainer schreiben Aufgaben von Hand, oft abends vor einer Frist. Aufgabensammlungen sind klein, werden weitergegeben oder auswendig gelernt, und schwache Distraktoren oder mehrdeutige Aufgabenstämme senken die Validität des Tests. Compliance-Schulungen verwenden jahrelang dieselben zehn Fragen.
• Nutzen der KI: viele Aufgabenkandidaten je Quelldokument, Variation (Parallelformen, viele numerische Varianten), Abdeckungsprüfungen gegen Lernziele, schnelle Quizze für Lernende aus den eigenen Notizen und mehrsprachige Fassungen. Typisches Ergebnis: Der Aufwand verlagert sich vom Schreiben zum Prüfen.
• Belege: Veröffentlichte Studien zu LLM-generierten Multiple-Choice-Fragen stellen im Allgemeinen fest, dass ein großer Teil mit wenig oder ohne Überarbeitung brauchbar ist; die Qualität schwankt aber je nach Fach und Prompt, und die Qualität der Distraktoren sowie Aufgaben höherer Anforderungsstufen (Anwendung/Analyse) sind die Schwachpunkte. Eine allgemeingültige Trefferquote ist nicht belastbar; messen Sie am eigenen Material.

Varianten

• Schullehrkraft: schnelle formative Quizze, abgestimmt auf einen Lehrplan; siehe EDU-009.
• Hochschule: große Aufgabensammlungen für das LMS (Moodle, ILIAS, OLAT, Canvas), parametrisierte STACK-/numerische Aufgaben, fallbasierte und offene Prüfungsfragen mit Bewertungsschemata.
• Betriebliche Schulung / Compliance: Wissensüberprüfungen nach Microlearning (EDU-006), Fragenpools für Zertifizierungen, Awareness-Quizze.
• Zertifizierungsstellen: förmliche Aufgabenentwicklung mit Psychometrie; KI als Entwurfshilfe.
• Private Nutzung: selbst erstellte Quizze und Lernkarten aus eigenen Notizen, siehe EDU-016.

So funktioniert es

1. source material (PDF/slides/video transcript) + learning objectives
2. parsing & chunking (OCR/layout, transcript)
3. item generation (LLM, schema-constrained: stem, key, distractors, rationale, source quote)
4. automatic checks (key verifiable in source, single correct answer, no clues, duplicates, reading level)
5. human review (subject expert accepts / edits / rejects)
6. item bank with metadata
7. export (QTI / Moodle XML / H5P / LMS API)
8. pilot use
9. item statistics (difficulty, discrimination)
10. revise or retire

• Verankerung (Grounding): Retrieval über das bereitgestellte Material, wobei jede Aufgabe ihre Quellenstelle nennt, hält die Fragen im Stoffgebiet und verringert erfundene Fakten.
• Aufgabentypen: MCQ, Mehrfachauswahl, Richtig/Falsch, Lückentext, Zuordnung, Kurzantwort mit Bewertungsraster, numerisch mit Parametern (per Code berechnet, nicht vom LLM), szenariobasierte Fragen.
• Prüfung durch ein zweites Modell: Ein separates „Solver“-Modell beantwortet die Aufgabe blind; Abweichungen vom Schlüssel markieren fehlerhafte Aufgaben. Ein Reasoning-Modell ist für Mathematik- und Logikaufgaben nützlich.
• Mensch-in-der-Schleife (Human-in-the-Loop): Die Freigabe durch Fachleute ist zwingend, bevor eine Aufgabe in eine benotete Prüfung gelangt; Statistiken aus dem realen Einsatz mit echten Kohorten entscheiden, ob eine Aufgabe bleibt.

Datenaufbereitung

Die Quizerstellung braucht das Kursmaterial, auf dem die Fragen beruhen müssen: Skripte, Folien, Lehrbücher, Normen und Lernziele. In einem KMU liegen diese auf Dateiablagen, im LMS, in Mailanhängen und auf Handouts in Papierform. Typische Lücken: mehrere widersprüchliche Versionen, Scans ohne Text, nicht dokumentierte Lernziele, keine vorhandene Aufgabensammlung und keine Aufzeichnung, welche Fragen sich bewährt haben.

Schritte der Aufbereitung: den verbindlichen Quellensatz je Kurs festlegen (siehe PREP-013); Scans per OCR erfassen (siehe PREP-006); Lernziele und ein einfaches Kategorienschema wie Thema und Schwierigkeitsgrad aufschreiben (siehe PREP-019); frühere Prüfungsfragen und Antwortstatistiken als Beispiele und Qualitätslabels sammeln (siehe PREP-020); mit Fachexperten einen kleinen Testsatz guter und schlechter Aufgaben aufbauen (siehe PREP-018). Geheime Prüfungsaufgaben getrennt von Material halten, das in externe Werkzeuge gelangt. Dokumente mit DOC-014 parsen.

Aufwand: gering bis mäßig. Rechnen Sie mit etwa 15 Prozent des Gesamtaufwands, überwiegend für die Pflege der Quellen und die erste von Fachleuten geprüfte Stichprobe. Nutzen Sie GUIDE-003 als Checkliste.

Umsetzungswege

Welcher Weg für wen

• KMU: Weg A, weil Quizgeneratoren in LMS und Autorenwerkzeugen ausgereift, in der EU betreibbar und für Standardschulungsinhalte günstig sind.
• Großunternehmen: Weg A für gewöhnliche Schulungsquizze als Standardfunktion; Wechsel zu B, wenn Prüfungen zertifizierungsrelevant sind und Aufgabensammlungen und Psychometrie benötigen.
• Entwicklung: Weg B, weil der Wert in der Integration von Generierung, Prüfablauf und Aufgabensammlung in ein eigenes Produkt liegt.
• Öffentliche Hand: Weg B auf einer EU- oder deutschen Cloud, weil Prüfungsinhalte und spätere Ergebnisse souveränes Hosting und belastbare Prozesse brauchen.
• Privatpersonen: Weg A, weil Verbraucher-Apps Übungsfragen aus eigenen Notizen ohne Einrichtung erzeugen.

Weg A — Kaufen (Standardsoftware)

• LMS-eigen: Moodle (KI-Subsystem mit Anbietern sowie KI-Plug-ins zur Fragenerzeugung), Canvas, Blackboard, Microsoft Teams/Forms und KI-Funktionen von Google Forms/Classroom; EU-Mandant und Datennutzung prüfen.
• Quiz-/Lehrwerkzeuge: Kahoot!, Quizlet, Wooclap (EU, Belgien), Quizizz, Conker und ähnliche Generatoren; für deutsche Schulen fobizz und telli (vom Anbieter betriebene, schulorientierte Werkzeuge).
• Betrieblich: Autorenwerkzeuge wie Articulate, Easygenerator (EU, NL), 360Learning (EU, FR), Docebo.
• Weg A wählen, wenn: Quizze ohne Notendruck, kleines Team, LMS bereits vorhanden.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Modelle: führende LLMs (Claude, GPT, Gemini) oder Mistral (EU) mit strukturierten Ausgaben / JSON- Schema; EU-Regionen über Azure OpenAI, Google Vertex AI oder AWS Bedrock; Mistral und EU-Anbieter im Stil von Aleph Alpha bei Anforderungen an die Datenhaltung.
• Stack: Dokumentenparser (Azure Document Intelligence, Mistral OCR), Embeddings + Vektordatenbank für die Verankerung, Workflow in n8n oder Python, Export über QTI 3.0 oder Moodle XML/GIFT, Web-Service-APIs des LMS.
• Weg B wählen, wenn: Sie einen Aufgaben-Workflow mit Prüfwarteschlange, Metadaten und Hausstil über eine ganze Einrichtung benötigen.

Weg C — Selbst betreiben (Open Source)

• Modelle: Open-Weight-LLMs wie Qwen3, Llama, Mistral/Mixtral, Gemma oder gpt-oss, betrieben mit vLLM oder Ollama; Docling oder MinerU zum Parsen; Qdrant/pgvector für das Retrieval.
• Werkzeuge: H5P (Open Source) und Moodle-Plug-ins, STACK für parametrisierte Mathematikaufgaben, Open WebUI als Oberfläche.
• Hardware: HW2 für quantisierte Modelle von ca. 14-32B, ausreichend für Aufgabenentwürfe; HW3 für stärkere Reasoning-Modelle.
• Weg C wählen, wenn: Prüfungsmaterial vertraulich ist und die Einrichtung nicht verlassen darf oder Daten von Lernenden betroffen sind.

Weg D — Eigenes Training

Selten nötig. Feintuning auf den eigenen validierten Aufgaben einer Einrichtung (mit Statistiken) kann Hausstil und Schwierigkeitskalibrierung verbessern; Modelle zur Vorhersage des Schwierigkeitsgrads brauchen Tausende Aufgaben mit Antwortdaten.

Stand der Technik (2026)

• Strukturierte Ausgaben, das Lesen ganzer Skripte im langen Kontext und Reasoning-Modelle machen quellenbasierte MCQ- Erzeugung mit Quellenangabe zur Routine; die Prüfung durch einen blinden Solver ist ein verbreitetes Qualitätstor.
• Die Vorhersage von Schwierigkeit und Trennschärfe allein aus dem Text ist weiterhin unzuverlässig; echte Antwortdaten (Item-Response-Theorie, klassische Teststatistik) bleiben der Standard.
• Schwachstellen: unplausible oder zu offensichtliche Distraktoren, mehrere vertretbare Antworten, Fragen, die ohne das Material beantwortbar sind, Hinweise im Aufgabenstamm, Neigung zu flachen Wissensabfragen, falsche numerische Ergebnisse, kulturelle oder sprachliche Verzerrungen und Beinahe-Dubletten öffentlicher oder Internet-Aufgaben (Abfluss in Trainingsdaten der Modelle).
• Interoperabilität: 1EdTech QTI 3.0 und Moodle XML/GIFT sind die praktischen Austauschformate [3].
• KI-geschriebene Aufgaben werden zunehmend für Übungen genutzt; vollautomatische Prüfungen mit hoher Tragweite sind keine anerkannte Praxis.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack (llm-general, Dokumentenparser, Embeddings/Vektordatenbank): EDU-001 Erstellung von Kursmaterial, EDU-006 Microlearning, EDU-009 Assistent für Lehrkräfte, EDU-016 Lernwerkzeuge, DOC-014 Dokumentenparser für RAG.
• Nachgelagert: EDU-003 automatisierte Bewertung und Feedback nutzt die hier erstellten Bewertungsraster und Schlüssel; EDU-008 Maßnahmen zur Prüfungsintegrität; EDU-007 Analysen nutzen die Aufgabenstatistiken.
• Ein selbst betriebener LLM-Server (HW2/HW3) kann alle diese Anwendungsfälle aus dem Bildungsbereich bedienen.

Aufwand, Kosten & Kennzahlen

• Weg A: Stunden bis Tage; überwiegend Lizenzkosten, oft in LMS- oder Quiz-Werkzeug-Abonnements enthalten.
• Weg B: 2-6 Wochen für Pipeline, Prüfoberfläche und LMS-Export; die API-Kosten je Aufgabe sind im Vergleich zur Arbeitszeit der Fachleute gering.
• Weg C: 1-3 Monate inkl. Hosting; ein GPU-Server und Betrieb.
• Kennzahlen: Annahmequote ohne Änderungen, Prüfzeit der Fachleute je akzeptierter Aufgabe, Anteil der Aufgaben mit fehlerhaftem Schlüssel, die in der Prüfung gefunden wurden, Schwierigkeit/Trennschärfe der Aufgaben nach dem Pilot, Abdeckung der Lernziele, Rückmeldungen der Lernenden zur Verständlichkeit, Rückgang der Autorenstunden.

Menschen & Veränderung

Binden Sie die Abteilungsleitung und die Fachleute ein, die jede Aufgabe freigeben, die Trainer als tägliche Nutzer, die IT für die LMS-Anbindung und die oder den Datenschutzbeauftragte(n), wenn Daten oder Ergebnisse von Lernenden verknüpft werden. Recht oder Compliance sind bei zertifizierungsrelevanten Prüfungen wichtig, die Personalabteilung, wenn Prüfungsergebnisse in Beurteilungen einfließen.

Betriebsrat: kommt darauf an. Die reine Aufgabenerzeugung überwacht niemanden, daher in der Regel keine Mitbestimmung. Sobald Ergebnisse oder Protokolle mit namentlich bekannten Beschäftigten verknüpft werden, ist das System objektiv zur Leistungsüberwachung geeignet und § 87 Abs. 1 Nr. 6 BetrVG greift; der Betriebsrat muss in jedem Fall über KI in Arbeitsprozessen unterrichtet werden (§ 90 Abs. 1 Nr. 3 BetrVG). Schulen und Behörden beteiligen den Personalrat.

Datenschutz: Für die Erzeugung von Aufgaben aus Kurstexten sind keine personenbezogenen Daten nötig; ein AVV mit dem Anbieter ist dennoch erforderlich. Eine DSFA ist wahrscheinlich, wenn das Werkzeug mit der Auswertung von Personen in großem Umfang kombiniert wird.

KI-Kompetenz: Unterstützen Sie die Beschäftigten mit Schulungen zu Aufgabenqualität, Verzerrungen und der Prüfung von Lösungsschlüsseln (KI-Verordnung Art. 4). Beginnen Sie mit einem Kurs als Pilot, lassen Sie Fachleute alle Aufgaben prüfen und stellen Sie klar, dass Menschen über Prüfungsinhalte und Bewertung entscheiden. Typische Sorge: faire, valide Prüfungen; begegnen Sie ihr mit Prüfung und Pilotstatistiken. Siehe GUIDE-004, GUIDE-006 und GUIDE-009.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): Das Entwerfen von Übungsquizzen oder Aufgaben, die Lehrkräfte prüfen, ist typischerweise minimales Risiko. Anhang III Nr. 3 nennt als hochriskant Systeme, die zur Bewertung von Lernergebnissen, zur Festlegung von Zulassung oder Zugang, zur Beurteilung des angemessenen Bildungsniveaus oder zur Überwachung unzulässigen Verhaltens bei Prüfungen eingesetzt werden [1]. Werden erzeugte Aufgaben automatisiert eingesetzt, um den Lernweg einer Person zu steuern oder über Zulassung, Versetzung oder Noten zu entscheiden, ist der Hochrisiko-Status zu prüfen; eine von Menschen geprüfte Aufgabensammlung in einer von Menschen bewerteten Prüfung liegt in der Regel außerhalb. Art. 4 (KI-Kompetenz) gilt für Beschäftigte; die Transparenzpflicht nach Art. 50 gilt, wenn Lernende direkt mit einem Generator interagieren. Art. 5 verbietet Emotionserkennung im Bildungsbereich (relevant für Proctoring, nicht für die Aufgabenerzeugung). Prüfen Sie die aktuellen Anwendungszeitpunkte der Hochrisiko-Regeln.
• DSGVO: Quellenmaterial enthält selten personenbezogene Daten, aber hochgeladene Arbeiten von Lernenden, Lernprofile, die zur Personalisierung von Quizzen genutzt werden, oder Quizergebnisse sind personenbezogene Daten (Art. 6, AVV mit dem Anbieter, Hosting in der EU, DSFA bei Minderjährigen) [2]. Daten von Schülerinnen und Schülern unterliegen in Deutschland den Schulgesetzen der Länder.
• Urheberrecht: Das Erzeugen von Aufgaben aus lizenzierten Lehrbüchern setzt Rechte zur Verarbeitung der Inhalte voraus; prüfen Sie die Bedingungen der Verlage und die Schranke für Text und Data Mining (Art. 4 DSM-Richtlinie) samt Nutzungsvorbehalten.
• Qualität und Fairness: falsche Schlüssel schaden Lernenden und provozieren Widersprüche; Verzerrungen in der Formulierung; Prüfungs- validität und rechtliche Anfechtbarkeit (Prüfungsrecht) erfordern dokumentierte menschliche Verantwortung.
• Gegenmaßnahmen: quellenbasierte Aufgaben, Prüfung durch einen blinden Solver, verpflichtende Freigabe durch Fachleute, Pilotierung mit Statistiken, Zugriffskontrolle für die Aufgabensammlung, Versionierung und Prüfpfad zwischen KI-Fassung und endgültiger Aufgabe.

Erste Schritte

1. Wählen Sie einen Kurs; sammeln Sie dessen Lernziele und 3-5 Quelldokumente.
2. Probieren Sie das bereits lizenzierte LMS-/Quiz-Werkzeug (Weg A) an Quizzen ohne Notendruck aus; führen Sie ein Protokoll der gefundenen Fehler.
3. Schreiben Sie einen Hausleitfaden zum Aufgabenschreiben (Regeln für Stamm und Distraktoren, Bloom-Stufen) und übernehmen Sie ihn in den Prompt.
4. Ergänzen Sie den Prüfablauf: Quellenzitat je Aufgabe, Prüfung durch einen blinden Solver, Annahme/Ablehnung durch Fachleute.
5. Pilotieren Sie mit einer Kohorte, berechnen Sie Schwierigkeit und Trennschärfe, sondern Sie schwache Aufgaben aus; dann skalieren Sie.

Quellen

1. Regulation (EU) 2024/1689 (AI Act), Annex III point 3 and Arts. 4, 5, 50 - https://eur-lex.europa.eu/eli/reg/2024/1689/oj
2. Regulation (EU) 2016/679 (GDPR) - https://eur-lex.europa.eu/eli/reg/2016/679/oj
3. 1EdTech - QTI 3.0 assessment interoperability standard - https://www.1edtech.org/standards/qti/index
4. Moodle Docs - AI subsystem and AI providers/placements - https://docs.moodle.org/en/AI_subsystem
5. H5P - open-source interactive content - https://h5p.org/
6. STACK - open-source maths assessment system - https://stack-assessment.org/
7. Docling project - https://github.com/docling-project/docling
8. Directive (EU) 2019/790 (DSM, Art. 4 text and data mining) - https://eur-lex.europa.eu/eli/dir/2019/790/oj