Rückmeldungen und Korrekturen zu KI-Ausgaben erfassen

Die meisten Unternehmen führen einen KI-Assistenten ein und erfahren danach nie, ob er richtig liegt. Beschäftigte korrigieren falsche Antworten stillschweigend, geben das Werkzeug auf oder kopieren Ergebnisse in Word, ohne jemandem etwas zu sagen. Ein kleiner, routinierter Rückmeldekreislauf (eine Daumen-Schaltfläche, eine Begründung, ein Ort, an dem Korrekturen landen, und eine Person, die sie jede Woche liest) macht die alltägliche Nutzung zu den günstigsten Verbesserungsdaten, die ein KMU bekommen kann. Es ist überwiegend Organisation, nicht Technik.

Problem & Nutzen

• Heute: Rückmeldungen sind anekdotisch („der Chatbot taugt nichts für Verträge“). Daumen-Schaltflächen der Anbieter senden Daten oft an den Anbieter, nicht an Ihr Team. Korrekturen in Word oder im ERP werden nie mit dem KI-Entwurf verglichen.
• KI-Nutzen: Ein strukturiertes Protokoll zeigt, welche Anwendungsfälle scheitern, warum und bei wem. Es speist Korrekturen an der Wissensbasis (PREP-017), Testdatensätze (PREP-018) und Musterbeispiele (PREP-016) und liefert der Geschäftsleitung Belege für Entscheidungen über Fortführung oder Abbruch.
• Hinweis zu Zahlen: Es gibt keinen verlässlichen branchenübergreifenden Richtwert dafür, wie stark Rückmeldekreisläufe die Genauigkeit verbessern; messen Sie Ihre eigene Ausgangslage. Beachten Sie, dass Microsoft dokumentiert, dass Copilot-Rückmeldungen genutzt werden, um Copilot zu verbessern, nicht um Basismodelle zu trainieren, und von Administratoren einsehbar sind; sie ersetzen kein vollständiges eigenes Verbesserungsprotokoll [1].

Varianten

• Chat-Assistenten: Bewertungen plus Begründung direkt im Werkzeug (Open WebUI, LibreChat, Copilot).
• Anwendungsfälle zum Verfassen von Texten: KI-Entwurf mit dem tatsächlich versandten Endtext vergleichen (Mails, Angebote, Protokolle), um zu sehen, was die Beschäftigten ändern.
• Extraktion/Klassifikation (Rechnungen, Mail-Routing): Jede manuelle Korrektur auf einer Prüfmaske ist ein Etikett (PREP-020).
• Öffentlicher Sektor: gleiche Routine, meist selbst betrieben, mit Personalrat von Anfang an.

So funktioniert es

1. AI answer shown to employee
2. one-click rating (up/down) + optional reason category + optional comment
3. correction captured (edited text, corrected field, "right answer is …")
4. log entry with context (use case, prompt, sources, model version, date) in one table
5. weekly triage by a feedback owner (cause: knowledge gap, prompt, wrong source, model limit, user error)
6. fix (update document, adjust prompt/template, add test case) and tell users what changed

• KI-Komponenten sind optional und klein: Ein LLM oder Klassifikator kann Kommentare vorsortieren und Dubletten bündeln; ein Mensch bestätigt. Alles andere sind Formulare, Listen und eine Workflow-Engine.
• Mensch-in-der-Schleife (Human-in-the-Loop): Eine benannte Person nimmt die Triage vor; nichts wird automatisch in ein Modell zurückgespeist. Pseudonymisieren Sie, bevor Kommentartexte an einen anderen KI-Dienst gehen (PREP-022).

Datenaufbereitung

Welche Daten: Bewertungen, Begründungen, korrigierte Ausgaben und der minimale Kontext, um den Fall nachzuvollziehen (Name des Anwendungsfalls, Prompt, abgerufene Quellen, Modell/Version, Zeitstempel).

Wo sie liegen: im KI-Werkzeug selbst (Open-WebUI-Auswertungen, Copilot-Administratorrückmeldungen), in Microsoft Forms/Lists oder Google Forms/Sheets, in einer Nextcloud-Forms-Tabelle oder auf der Prüfmaske einer Automatisierung (Korrekturen in Paperless-ngx, Buchungsänderungen im ERP).

Typische Lücken: kein gemeinsames Kategorieschema, Rückmeldungen ohne Kontext, personenbezogene Daten in Kommentaren (Namen, Kundendaten), keine verantwortliche Person und Rückmeldungen, die in der Konsole des Anbieters bleiben.

Aufbereitungsschritte: 1. Legen Sie 5-8 Begründungskategorien fest (falsche Tatsache, veraltete Quelle, falscher Ton, fehlende Quelle, zu lang, Datenschutzbedenken) - PREP-019. 2. Entscheiden Sie über die Protokolltabelle: eine Zeile je Fall mit den oben genannten Kontextfeldern; eine Microsoft-Liste, Excel auf SharePoint, eine Nextcloud-Tabelle oder eine Datenbank. 3. Ergänzen Sie einen Freitexthinweis: „keine Namen oder Kundendaten in Kommentaren“. 4. Legen Sie die Aufbewahrung fest (zum Beispiel 12 Monate) und wer die Rohkommentare lesen darf. 5. Benennen Sie die verantwortliche Person für Rückmeldungen und einen wöchentlichen 30-Minuten-Termin.

Werkzeuge: Microsoft Forms/Lists, Google Forms, Nextcloud Forms, n8n oder Power Automate, Open WebUI, Excel.

Grober Aufwandsanteil: etwa 15 Prozent; die Arbeit besteht darin, sich auf Kategorien und Zuständigkeiten zu einigen. Siehe GUIDE-003.

Umsetzungswege

Welcher Weg für wen

• KMU - Weg C: Dieselbe selbst betriebene Chat-Oberfläche (Open WebUI mit Ollama auf HW1/HW2) bedient mehrere Anwendungsfälle, hält Kommentare auf Ihrem eigenen Server und hat Bewertungen eingebaut; n8n verbindet das Protokoll mit Ihren Tabellen. Wenn Sie nur Copilot oder ChatGPT Team nutzen, beginnen Sie stattdessen mit Formularen im Stil von Weg A (siehe unten).
• Enterprise - Weg B: Eine interne KI-Plattform ruft bereits Cloud-KI-Dienste auf, daher werden Rückmeldungen über eine Beobachtungsschicht plus Ihr BI-Werkzeug protokolliert.
• Entwickler - Weg C: Open-Source-Tracing mit Nutzerbewertungen als Kennwerten, selbst betrieben.
• Öffentlicher Sektor - Weg C: Kommentare können Daten von Bürgern oder Beschäftigten enthalten; Eigenbetrieb oder souveränes Hosting ist die sichere Voreinstellung.

Weg A — Kaufen (Standardsoftware)

• Eingebaute Daumen in Microsoft 365 Copilot (Administratorrichtlinie, Prüfung im Admin Center) und Gemini für Workspace; ein kurzes Microsoft-Forms-/Google-Formular, das vom Werkzeug aus verlinkt ist. Microsoft hat Ende Oktober 2026 angekündigt, dass „Daumen runter“ künftig Problemkategorien und einen optionalen Kommentar anzeigt [1][2]. Gut für ein erstes Signal, aber die Daten fließen überwiegend zum Anbieter und lassen sich nicht mit Ihrem Kontext verknüpfen.
• Viele EU-KI-Assistenten (zum Beispiel Mistral Le Chat Enterprise, in der EU gehostet) bieten Bewertungen; prüfen Sie, was exportiert wird.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Kapseln Sie Ihre eigenen Aufrufe (n8n, Power Automate, kleiner Python-Dienst), sodass jede Antwort eine ID erhält, und speichern Sie Bewertungen zu dieser ID in einer Datenbank. Langfuse Cloud (EU-Region) oder Azure Monitor können Kennwerte aufnehmen. Wählen Sie B, wenn bereits eine interne Plattform besteht.

Weg C — Selbst betreiben (Open Source)

• Open WebUI: Daumen hoch/runter mit Begründung; Bewertungen speisen eine Elo-Rangliste für Administratoren (nur für Antworten mit Geschwisterantworten, z. B. neu erzeugt oder nebeneinander), und bewertete Chats lassen sich exportieren [3].
• Langfuse (MIT, selbst betreibbar): Nutzerrückmeldungen werden als Kennwerte an Traces gespeichert, über das Browser-SDK oder das Backend; Sie können nach schlecht bewerteten Antworten filtern [4].
• n8n + Nextcloud/Paperless-ngx: Workflow, der Korrekturen in die Protokolltabelle kopiert und die wöchentliche Zusammenfassung versendet.
• Hardware: HW1 für den Protokoll-Aufbau; HW2 nur, wenn ein lokales LLM Kommentare vorsortiert.

Weg D — Eigenes Training

Erst wenn tausende validierte Korrekturen vorliegen und ein Feintuning gerechtfertigt ist (DATA-023 für Annotationswerkzeuge). Die meisten KMU kommen nie dahin; nutzen Sie das Protokoll zuerst, um Wissen und Prompts zu korrigieren.

Stand der Technik (2026)

• Ausdrückliche Rückmeldungen sind spärlich: Nur eine kleine Minderheit der Antworten wird bewertet, und die Bewertungen neigen zu Extremen; daher sind implizite Signale (Änderungen, erneute Erzeugungen, abgebrochene Antworten) wertvoll. Sie sind zugleich die stärker überwachungsrelevanten Signale.
• LLM-gestützte Triage von Kommentaren nach Ursachen funktioniert für die Vorsortierung gut genug; Menschen entscheiden.
• Von der Rückmeldung zur Bewertung: Bewährte Praxis ist, echte Fehler in Regressionstests zu überführen (PREP-018), damit Korrekturen überprüft werden.
• Grenzen: verzerrte und winzige Stichproben, Bewertungen, die den Ton statt der Richtigkeit widerspiegeln, Datenschutzlecks in Kommentaren und Rückmeldemüdigkeit, wenn sich sichtbar nichts ändert.

Gemeinsame Bausteine & Kombinationen

• Gleicher Aufbau wie PREP-017 (Inhaltslebenszyklus), PREP-018 (Testdatensätze), PREP-016 (Musterbeispiele), PREP-020 (Etiketten aus Geschäftsdaten) und PREP-013 (Wissensbasis).
• Technisches Tracing ist hier nicht Thema (CODE-018); dieser Anwendungsfall ist die organisatorische Routine.
• Eine Chat-Plattform plus n8n bedient alle KI-Anwendungsfälle (Baukasten-Effekt).

Aufwand, Kosten & Kennzahlen

• Weg A: 1-2 Tage, um Daumen und ein Formular einzuschalten.
• Weg B/C: 3-8 Tage für Protokoll, Workflow und Wochenbericht; laufend etwa 30-60 Minuten pro Woche für die verantwortliche Person. Die Softwarekosten sind gering (Open Source oder vorhandene Lizenzen).
• Kennzahlen: Anteil der Antworten mit Rückmeldung, Anteil als hilfreich bewertet, die fünf häufigsten Fehlerursachen, Zeit von der Meldung bis zur Korrektur, Anzahl der Rückmeldefälle, die zu Testfällen wurden.

Menschen & Veränderung

Früh einbeziehen: die Abteilungsleitung (Verantwortliche für den Anwendungsfall), die Endanwender (sie kennen die Fehler), die IT (Protokoll, Zugriff) und die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten. Die Geschäftsleitung benennt die verantwortliche Person für Rückmeldungen.

Betriebsrat: in der Praxis ja. Rückmeldeprotokolle verknüpfen eine Person, einen Prompt und eine Beurteilung der Ausgabe, und die Protokollierung von Nutzeraktivität ist objektiv geeignet, Verhalten oder Leistung zu überwachen; das genügt für die Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG (nach dem Bundesarbeitsgericht). § 90 Abs. 1 Nr. 3 verlangt eine rechtzeitige Unterrichtung über KI-gestützte Arbeitsabläufe. Öffentliche Stellen beteiligen den Personalrat. Vereinbaren Sie eine Betriebsvereinbarung: Rückmeldungen sind pseudonym oder aggregiert und werden nicht zur Leistungsbeurteilung verwendet (GUIDE-004).

Datenschutz: Bewertungen, die namentlich bekannten Nutzern zugeordnet sind, sind Beschäftigtendaten; Kommentare können Kundendaten enthalten. Prüfen Sie die Rechtsgrundlage, beschränken Sie Zugriff und Aufbewahrung und schließen Sie mit jedem gehosteten Werkzeug einen AVV (GUIDE-005). Eine DSFA ist für ein kleines internes Protokoll selten nötig, fragen Sie aber die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten.

KI-Kompetenz: Art. 4 KI-Verordnung (AI Act) verlangt Maßnahmen zur Förderung der KI-Kompetenz des Personals; eine 30-minütige Einweisung, was gemeldet werden soll und wie man es formuliert (GUIDE-006).

Kommunikation und Pilot: Sagen Sie klar, dass es darum geht, das Werkzeug zu verbessern, nicht Menschen zu bewerten. Beginnen Sie mit einem Team und einem Anwendungsfall für vier Wochen, veröffentlichen Sie monatlich eine Notiz „Sie haben gesagt, wir haben behoben“ und benennen Sie KI-Botschafter (GUIDE-008, GUIDE-009).

Typische Bedenken: Überwachung („wer hat was bewertet“), Mehrarbeit (ein Klick, kein Formular), es passiert nichts (sichtbare Korrekturen).

Menschen behalten die Kontrolle: Die verantwortliche Person für Rückmeldungen entscheidet, was geändert wird; es gibt kein automatisches Nachtrainieren.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): minimales Risiko als interner Qualitätsprozess; die Pflicht zur Förderung der KI-Kompetenz nach Art. 4 gilt. Würde das Protokoll zur Beurteilung von Beschäftigten verwendet, könnte sich der Kontext ändern; schließen Sie das ausdrücklich aus (GUIDE-014).
• DSGVO: Zweckbindung (nur Qualitätsverbesserung), Datenminimierung, Aufbewahrung, Zugriffskontrolle. Prüfen Sie, was der Anbieter mit Rückmeldungen und Screenshots tut (Microsoft nennt optionale Screenshots im neuen Rückmeldeablauf) [2].
• Risiken: personenbezogene Daten in Kommentaren, heimliche Nutzung der Rückmeldungen für Leistungsbeurteilungen, verzerrte Stichproben. Gegenmaßnahmen: pseudonyme Protokollierung, aggregierte Berichte, klare Regeln (GUIDE-007).

Erste Schritte

1. Wählen Sie einen produktiven KI-Anwendungsfall und benennen Sie eine verantwortliche Person für Rückmeldungen.
2. Schalten Sie Daumen und Begründungen im Werkzeug ein oder ergänzen Sie einen Forms-Link; legen Sie die Kategorien fest.
3. Legen Sie die Protokolltabelle und einen wöchentlichen 30-Minuten-Triage-Termin an.
4. Vereinbaren Sie vor dem Start die Regeln mit der Datenschutzbeauftragten bzw. dem Datenschutzbeauftragten und dem Betriebsrat (falls vorhanden).
5. Machen Sie nach vier Wochen aus den zehn häufigsten Fehlern Testfälle (PREP-018) und berichten Sie den Nutzern über die Korrekturen.

Quellen

1. Microsoft Learn - Welcome users, create organizational messages, and enable feedback for Microsoft Copilot - https://learn.microsoft.com/en-us/microsoft-365/copilot/microsoft-365-copilot-enable-users
2. Microsoft 365 Message Center MC1530595 - Microsoft Copilot Feedback UX update (via Merill's mirror) - https://mc.merill.net/message/MC1530595
3. Open WebUI docs - Evaluation - https://docs.openwebui.com/features/administration/evaluation/
4. Langfuse docs - User Feedback - https://langfuse.com/docs/observability/features/user-feedback
5. Regulation (EU) 2024/1689 (AI Act) - https://eur-lex.europa.eu/eli/reg/2024/1689/oj