Katalog / Aufbereitung von Daten und Wissen / PREP-017

Lebenszyklus von Wissensinhalten: Prüfzyklen und Rückmeldungen aus Assistentenfehlern

Jedem Quelldokument eines KI-Assistenten eine verantwortliche Person, einen Prüftermin und ein Ablaufdatum geben und falsche oder fehlende Assistentenantworten zur Korrektur an die Verantwortlichen zurückleiten.

Bausteine für den EigenbetriebAgenten & AutomatisierungSprachmodellSuche & RAG

Ein KI-Assistent ist nur so aktuell wie seine Quellen. Nach dem Start ändern sich Preislisten, ein Verfahren wird ersetzt, und der Assistent zitiert weiter mit voller Überzeugung die alte Fassung. Dieser Anwendungsfall ist die unspektakuläre Pflegeschleife: Jede Quelle erhält eine verantwortliche Person, einen Prüftermin und ein Ablaufdatum; abgelaufene Inhalte verlassen den Index; und jede falsche oder unbeantwortete Frage landet in der Aufgabenliste der Verantwortlichen. Das kostet Stunden pro Monat und entscheidet, ob die Mitarbeitenden dem Assistenten nach sechs Monaten noch vertrauen.

Problem & Nutzen

  • Wer: jedes Unternehmen, das einen internen Assistenten über eigene Dokumente betreibt (siehe PREP-013). Typischerweise pflegen 5-50 Personen Inhalte "nebenbei".
  • Heute: Dokumente werden einmal hochgeladen. Niemand weiß, wer sie verantwortet, nichts läuft ab, und Beschwerden ("der Assistent hat etwas Falsches gesagt") kommen per Flurfunk oder gar nicht.
  • Warum KI hilft: Ein kleines Modell kann gescheiterte Fragen gruppieren, auf das Quelldokument verweisen, das den Fehler wahrscheinlich verursacht hat, und einen Korrekturvorschlag entwerfen. Der Kern der Schleife bleibt jedoch Prozess und Verantwortung, nicht KI.
  • Nutzen: weniger veraltete Antworten, sichtbare inhaltliche Lücken und eine klar benannte verantwortliche Person je Thema. Wir nennen keine Prozentwerte; messen Sie den Anteil der Daumen-runter-Antworten und abgelaufener Dokumente vorher und nachher.

Varianten

  • Nur Prüfdatum (ohne KI, am günstigsten), Rückmeldeschleife (Daumen werden zu Tickets) oder KI-gestützte Triage (ein LLM gruppiert gescheiterte Fragen und entwirft Korrekturen).
  • Außerhalb des Umfangs: automatische FAQ-Erzeugung (KNOW-011) sowie LLM-Tracing und Observability (CODE-018).

So funktioniert es

source documents (+ owner, review_by, valid_until)
  -> nightly job: due soon? -> reminder to owner -> escalate to lead
  -> expired and not renewed -> flag "expired" -> removed from index
assistant answers (+ sources, thumbs, comment)
  -> failed / unanswered questions -> weekly triage (LLM groups, proposes source)
  -> task for owner -> correct document -> re-index -> re-test question (PREP-018)
  • Metadaten: vier Felder je Dokument: owner, last_reviewed, review_by, valid_until (siehe PREP-010). Der Retrieval-Filter ignoriert Dokumente nach valid_until.
  • Mensch-in-der-Schleife (Human-in-the-Loop): Die KI schlägt nur vor. Die verantwortliche Person entscheidet, ob das Dokument, die Frage oder der Assistent falsch liegt; nichts wird automatisch umgeschrieben.

Datenaufbereitung

Welche Daten: das Quelleninventar mit Verantwortlichen (PREP-004, PREP-013), ein Prüfintervall je Dokumenttyp (zum Beispiel Preislisten vierteljährlich, Sicherheitsverfahren jährlich) und das Fragenprotokoll des Assistenten.

Wo sie liegen: SharePoint oder OneDrive, Google Drive, Nextcloud, Confluence oder ein Wiki, Paperless-ngx; das Protokoll in der Datenbank des Assistenten (Open WebUI, Copilot-Studio-Analysen, ein eigener Bot).

Schritte: 1. Exportieren Sie die Dokumentliste mit Änderungsdatum und Ordnerverantwortlichen; weisen Sie je Bereich eine namentlich genannte Person oder ein Team-Postfach zu (1-2 Tage mit den Abteilungsleitungen). 2. Legen Sie 4-6 Prüfintervalle fest und ergänzen Sie die Metadatenspalten. 3. Schalten Sie im Assistenten Rückmeldungen und Quellenprotokollierung ein; legen Sie fest, wie lange Protokolle aufbewahrt werden. 4. Löschen oder archivieren Sie Dokumente, die nach einer Frist niemand beansprucht.

Grober Aufwandsanteil: mittel, überwiegend für die Klärung der Verantwortlichkeiten. Siehe GUIDE-003.

Umsetzungswege

Welcher Weg für wen

  • KMU - Weg C: Die Protokolle enthalten Fragen von Mitarbeitenden und können Kundendaten enthalten, und derselbe n8n- und Ollama-Stack, der Dokumente verschlagwortet (PREP-010) und den Assistenten bedient, kann die Schleife auf HW1 betreiben (Baukasten-Effekt). Microsoft-365-Betriebe mit nur SharePoint und Copilot können für den Erinnerungsteil bei Weg A bleiben.

  • Großunternehmen - Weg B: bestehende Microsoft-365- oder ServiceNow-Prozesse plus Cloud-APIs in EU-Regionen für die Triage. Entwickler - Weg C: Open-Source-Stack mit Metadatenfiltern.

Weg A — Kaufen (Standardsoftware)

  • Microsoft 365: SharePoint-Spalten mit Power-Automate-Erinnerungen; Microsoft-Purview-Aufbewahrungsetiketten für den Ablauf; Copilot-Studio-Analysen zeigen unbeantwortete Fragen (EU Data Boundary).
  • Wiki- und Wissenswerkzeuge: Guru-Verifizierungszyklen und Notion-Seitenverifizierung (Herstellerangabe; prüfen Sie Tarif, EU-Hosting und AVV); andere Wiki-Werkzeuge bieten möglicherweise ähnliche Funktionen. Elemente in der EU: Nextcloud und Paperless-ngx (selbst betrieben), DocuWare, d.velop, ELO.
  • Wählen Sie A, wenn: der Assistent Copilot oder ein Herstellerprodukt ist und dessen eingebaute Prüffunktionen genügen.

Weg B — Auf Cloud-KI-Diensten aufbauen

  • Modelle: Mistral (EU-Anbieter) oder andere Modelle in EU-Regionen zum Gruppieren gescheiterter Fragen und Entwerfen von Korrekturen.
  • Orchestrierung: Power Automate oder n8n liest das Protokoll, ruft das Modell auf und legt Aufgaben in Planner, Jira oder Teams an.
  • Wählen Sie B, wenn: Sie viele Systeme haben und ein AVV mit Verarbeitung in der EU vorliegt.

Weg C — Selbst betreiben (Open Source)

  • Stack: n8n (selbst betrieben) für Erinnerungen und Wochenberichte, Paperless-ngx oder Nextcloud für Dokumente, Open WebUI oder ein RAG-Framework mit Rückmeldeknöpfen, Ollama mit einem kleinen Modell für die Triage.
  • Aufwand: 2-4 Tage Einrichtung, danach 1-2 Stunden pro Woche Zeit der Verantwortlichen.

Weg D — Eigenes Training

Nicht nötig; Feintuning behebt keine veralteten Quellen.

Stand der Technik (2026)

  • Wissenswerkzeuge für Unternehmen liefern Verifizierungszyklen (Verantwortliche(r), Prüfintervall, Abzeichen "verifiziert") als Standardfunktion.
  • Assistentenplattformen protokollieren abgerufene Quellen und Nutzerbewertungen; LLM-basiertes Clustern gescheiterter Fragen ist praxistauglich.
  • Grenzen: Daumen-runter sind selten und verzerrt; Modelle ordnen Fehler der falschen Quelle zu; Korrekturen können andere Antworten verschlechtern; die Schleife scheitert, wenn Verantwortliche Erinnerungen ignorieren.

Gemeinsame Bausteine & Kombinationen

Aufwand, Kosten & Kennzahlen

  • Weg A: Lizenzkosten; 1-3 Tage Konfiguration.
  • Weg C: 2-4 Tage Einrichtung plus etwa ein halber Tag pro Monat Administration (Planungsschätzung, kein Richtwert).
  • Weg B: geringe Kosten je Token plus 3-5 Tage Integration.
  • Kennzahlen: Anteil der Quellen mit Verantwortlichen und gültigem Prüftermin, Zahl abgelaufener Dokumente im Index, Daumen-runter-Quote, durchschnittliche Tage vom gemeldeten Fehler bis zur Korrektur, Anteil unbeantworteter Fragen je Thema, Reaktionsquote der Verantwortlichen auf Erinnerungen.

Menschen & Veränderung

Früh einbinden: die Geschäftsführung (Verantwortung als Pflicht), Abteilungsleitungen (benennen Verantwortliche), Verantwortliche als Endnutzer der Schleife, die IT, die/den Datenschutzbeauftragte(n) und den Betriebsrat.

Betriebsrat: ja. Fragenprotokolle und Rückmeldungen zeigen, wer was gefragt hat, und die objektive Eignung zur Verhaltensüberwachung genügt für §87 Abs. 1 Nr. 6 BetrVG (BAG). Vereinbaren Sie in einer Betriebsvereinbarung, was protokolliert wird, wer es sieht (aggregiert nach Thema, nicht nach Person) und wie lange es aufbewahrt wird. §90 Abs. 1 Nr. 3 verlangt rechtzeitige Information über KI-gestützte Arbeitsprozesse; §80 Abs. 3 erlaubt die Hinzuziehung einer Sachverständigen oder eines Sachverständigen. Öffentliche Stellen beziehen den Personalrat ein (GUIDE-004).

Datenschutz: Fragen können personenbezogene Daten enthalten; legen Sie eine Rechtsgrundlage, die Aufbewahrung und für jedes Cloud-Modell einen AVV (Art. 28 DSGVO) fest und beziehen Sie die/den Datenschutzbeauftragte(n) ein; eine DSFA (Art. 35) ist voraussichtlich nur nötig, wenn Protokolle je Person ausgewertet werden (GUIDE-005). KI-Kompetenz: Art. 4 KI-Verordnung (AI Act) in der durch die Verordnung (EU) 2026/1744 geänderten Fassung verlangt Maßnahmen zur Förderung der KI-Kompetenz des Personals; vermitteln Sie den Verantwortlichen, was der Assistent kann und was nicht (GUIDE-006).

Pilot und Tonalität: Beginnen Sie mit einem Bereich, etwa HR-Richtlinien oder Produkt-FAQs, und einer Botschafterin oder einem Botschafter. Stellen Sie es dar als "der Assistent ist nur so gut wie unsere Dokumente", nicht als Kontrolle der Mitarbeitenden; Verantwortliche stehen für Inhalte ein, nicht für das Verhalten des Modells (GUIDE-008).

Risiken, Regulierung & Compliance

  • KI-Verordnung (AI Act): minimales Risiko. Die Transparenz nach Art. 50 gilt für den Assistenten selbst (Nutzer müssen wissen, dass sie mit einer KI sprechen). Fließen Antworten in Auswahlentscheidungen im Personalwesen ein, gelten ab dem 2. Dez. 2027 die Pflichten für Hochrisiko-Systeme nach Anhang III.
  • DSGVO: Protokolle minimieren, kurze Aufbewahrung, wo möglich keine personenbezogenen Daten in Rückmeldekommentaren.
  • Risiken: Verantwortliche ignorieren Erinnerungen, sodass Dokumente unbemerkt ablaufen; zu aggressiver Ablauf leert den Assistenten; Rückmeldungen werden manipuliert oder zur Überwachung von Mitarbeitenden genutzt. Gegenmaßnahmen: Eskalation an die Leitung, Karenzzeit, aggregierte Berichte, regelmäßige Stichproben (GUIDE-011, GUIDE-013).

Erste Schritte

  1. Listen Sie die Quellen des Assistenten auf und benennen Sie je Bereich eine verantwortliche Person.
  2. Ergänzen Sie die Spalten review_by und valid_until; legen Sie Intervalle je Dokumenttyp fest.
  3. Bauen Sie den Erinnerungsablauf in Power Automate oder n8n und testen Sie ihn mit einer Abteilung.
  4. Aktivieren Sie Daumen, Kommentar und Quellenprotokollierung; vereinbaren Sie die Aufbewahrung der Protokolle mit Datenschutzbeauftragter(m) und Betriebsrat.
  5. Halten Sie vier Wochen lang eine wöchentliche Triage von 30 Minuten ab und beurteilen Sie dann anhand der Kennzahlen (GUIDE-009).

Quellen

  1. Microsoft - Power Automate documentation - https://learn.microsoft.com/power-automate/
  2. Microsoft - Retention policies and labels in Microsoft Purview - https://learn.microsoft.com/purview/retention
  3. Microsoft - EU Data Boundary for the Microsoft Cloud - https://learn.microsoft.com/privacy/eudb/eu-data-boundary-learn
  4. n8n - Documentation - https://docs.n8n.io/
  5. Paperless-ngx - Documentation - https://docs.paperless-ngx.com/
  6. Open WebUI - Documentation (feedback and evaluation) - https://docs.openwebui.com/
  7. Regulation (EU) 2024/1689 (AI Act) - https://eur-lex.europa.eu/eli/reg/2024/1689/oj
  8. Regulation (EU) 2016/679 (GDPR) - https://eur-lex.europa.eu/eli/reg/2016/679/oj