Katalog / Aufbereitung von Daten und Wissen / PREP-019

Kategorieschemata festlegen, bevor die KI klassifiziert

Legen Sie gemeinsam mit den Menschen, die die Arbeit machen, Kategorien, Definitionen, Abgrenzungsregeln und Beispiele für Dokumente, Tickets, E-Mails oder Fehler fest, und testen Sie das Schema mit einem kleinen LLM, bevor ein Klassifikator eingerichtet wird.

Schneller Erfolg: bewährt, überschaubarer Aufwand, erste Ergebnisse nach Wochen, geringes regulatorisches Risiko.

Bausteine für den EigenbetriebAgenten & AutomatisierungSprachmodell

Viele KI-Klassifikationsprojekte scheitern am Whiteboard, nicht am Modell: Zwei Personen ordnen dieselbe E-Mail unterschiedlich ein, „Reklamation“ und „Gewährleistung“ überschneiden sich, und niemand weiß, was „Sonstiges“ bedeutet. Ein bis zwei Wochen für ein klares Schema mit Definitionen und Beispielen, getestet mit einem kleinen LLM an echten Vorgängen, sind günstiger als jedes Modelltuning. Das Ergebnis hilft auch ohne KI: Es macht Routing und Berichtswesen einheitlich.

Problem & Nutzen

  • Wer: jedes Team, das eingehende Vorgänge sortiert: Service-Desks, Poststellen, Qualitätsabteilungen, Vertriebsinnendienst, Buchhaltungspostfächer.
  • Heute: Kategorien sind über Jahre gewachsen. Ticket-Warteschlangen sind nach Personen benannt, Ordner nach Projekten, und die Excel-Liste der Fehlercodes hat 140 Einträge, von denen 30 genutzt werden. Jeder Mitarbeitende wendet sie ein wenig anders an.
  • Warum KI hilft: Ein LLM, das auf 200 echte Vorgänge angewendet wird, zeigt schnell, wo Kategorien mehrdeutig sind: Wo es von den Menschen abweicht, ist meist das Schema unklar und nicht das Modell falsch. Es kann außerdem nicht etikettierte Vorgänge gruppieren, um fehlende Kategorien vorzuschlagen und erste Definitionen zu entwerfen.
  • Nutzen: ein Schema, das alle verstehen, eine etikettierte Stichprobe, die zugleich als Testdatensatz dient (PREP-018), und ein realistischer Blick darauf, was ein Klassifikator leisten kann. Wir nennen keine Prozentwerte; messen Sie die Übereinstimmung Ihrer eigenen Prüfer.

Varianten

  • E-Mail- und Ticket-Routing: Kategorien entsprechen Teams (LANG-012, AGENT-001).
  • Dokumenttypen in Poststelle oder DMS: Rechnung, Angebot, Vertrag, Reklamation (DOC-008, PREP-010).
  • Fehler- und Qualitätscodes: Katalog in der Fertigung, oft mit einer Norm oder Kundenvorgabe als Grundlage.
  • Private Nutzung: ein persönliches Ordner- und Schlagwortsystem für Unterlagen; gleiche Methode, ein Nachmittag.
  • Nicht Teil dieses Anwendungsfalls: die Klassifikation selbst (LANG-012, DOC-008) und Etikettierwerkzeuge (DATA-023).

So funktioniert es

200 reale Vorgänge ziehen (gemischt, auch ungewöhnliche)
  -> clustern oder ein LLM Kategorieentwürfe vorschlagen lassen
  -> Workshop: zusammenführen, umbenennen, „verwenden wenn / nicht wenn“ definieren, Beispiele ergänzen
  -> zwei Personen kennzeichnen dieselben 100 Vorgänge unabhängig voneinander
  -> vergleichen (Übereinstimmung, Verwechslungsliste) + ein kleines LLM mit dem Schemaentwurf laufen lassen
  -> Definitionen korrigieren, wo Menschen oder Modell abweichen
  -> v1 einfrieren, Verantwortliche benennen, Änderungsregeln festlegen
  • Vom Menschen geführt, von KI unterstützt: Das LLM schlägt vor und testet; die Fachabteilung entscheidet. Definitionen werden in der Sprache der Arbeit geschrieben, nicht in der der IT.
  • Regeln, auf die es ankommt: eine Hauptkategorie je Vorgang (oder eine klare Regel für Mehrfachzuordnung), ein definierter Sammelbereich „unklar/sonstiges“ mit einem Höchstanteil und eine Regel, was damit geschieht.
  • Hierarchie: höchstens zwei Ebenen; 8-15 Hauptkategorien lassen sich leichter anwenden als 60.
  • Mensch-in-der-Schleife (Human-in-the-Loop) später: Vorgänge mit geringer Sicherheit gehen an eine Person; deren Korrekturen werden erfasst (PREP-021).

Datenaufbereitung

Welche Daten: eine repräsentative Stichprobe von Vorgängen, die aktuellen Kategorien mit Anzahl je Kategorie, Routingregeln und die Formulierungen gegenüber Kunden.

Wo sie liegen: gemeinsame Postfächer (Outlook/Exchange, Gmail), Ticketsysteme (Zammad, Freshdesk, Jira Service Management, Zendesk), DMS oder Dateiablagen, Excel-Listen, Qualitätssysteme und Papierformulare.

Typische Lücken: uneinheitlich genutzte Kategorien, seltene, aber wichtige Typen fehlen in der Stichprobe, personenbezogene Daten in den Texten, gemischte Sprachen, Vorgänge, die zu zwei Kategorien gehören.

Aufbereitungsschritte: 1. Exportieren Sie 200-300 Vorgänge der letzten 6-12 Monate, einschließlich seltener Typen (siehe PREP-005); entfernen oder pseudonymisieren Sie personenbezogene Daten, wo sie nicht nötig sind (PREP-022). 2. Zählen Sie die Nutzung der bestehenden Kategorien; streichen oder legen Sie selten genutzte zusammen. 3. Führen Sie einen 2-3-stündigen Workshop mit den Menschen durch, die die Arbeit machen, und einer Person, die die Daten nutzt. 4. Zwei Personen etikettieren 100 Vorgänge unabhängig voneinander; Abweichungen werden aufgelistet (PREP-018, PREP-020). 5. Sammeln Sie Musterbeispiele je Kategorie (PREP-016) und gleichen Sie die Begriffe ab (PREP-015).

Werkzeuge: Excel oder Google Sheets, SharePoint-Listen, Paperless-ngx-Tags, ein Ollama-Modell zum Testen, n8n oder Power Automate für den Stapellauf.

Grober Aufwandsanteil: mittel. Insgesamt etwa 3-8 Personentage, der größte Teil davon Workshop- und Etikettierzeit. Siehe GUIDE-003.

Umsetzungswege

Welcher Weg für wen

  • KMU - Weg C: Tickets und Mails enthalten Kunden- und Mitarbeiterdaten, und ein einfacher Aufbau (Excel, n8n und ein kleines Ollama-Modell auf HW1/HW2) genügt, um ein Schema zu testen. Derselbe Server übernimmt später Klassifikation, Verschlagwortung (PREP-010) und Zusammenfassungen, sodass der Baukasten-Effekt greift.
  • Enterprise - Weg B: mehrere Abteilungen und Sprachen, vorhandene Werkzeuge; Cloud-KI-Dienste in einer EU-Region plus Workflow-Werkzeuge passen gut, ergänzt um Funktionen aus Weg A (siehe unten), wo bereits lizenziert.
  • Entwickler - Weg C: Open-Weight-Modelle mit strukturierten Ausgaben und ein Auswertungsskript ermöglichen einen wiederholbaren Schematest.

Weg A — Kaufen (Standardsoftware)

  • Ticketsysteme mit eingebauter Klassifikation oder automatischer Verschlagwortung (Zendesk, Freshdesk, Jira Service Management, Zammad mit seinem KI-Agenten für Ticketkategorien), trainierbare Klassifizierer in Microsoft Purview oder SharePoint Premium für Dokumente, DMS-Anbieter wie DocuWare, d.velop und ELO (EU-Anbieter). Prüfen Sie EU-Hosting und AVV.
  • Wählen Sie A, wenn: die Kategorien Standard sind (Rechnung, Angebot, Vertrag) und das anbietereigene Schema akzeptiert wird. Ein Anbieterschema ersetzt nicht Ihre eigenen Definitionen und Beispiele.

Weg B — Auf Cloud-KI-Diensten aufbauen

  • Modelle: Mistral (EU-Anbieter) oder Azure OpenAI, Google Gemini oder Claude in EU-Regionen, mit strukturierten Ausgaben.
  • Orchestrierung: n8n oder Power Automate liest ein Sheet oder eine Liste, ruft das Modell mit dem Schema auf und schreibt das Etikett samt kurzer Begründung zurück.
  • Wählen Sie B, wenn: große Vorgangsmengen, mehrere Sprachen, keine hochsensiblen Texte oder ein AVV mit Verarbeitung in der EU vorliegen.

Weg C — Selbst betreiben (Open Source)

  • Aufbau: Ollama mit einem kleinen Open-Weight-Modell (7-8B-Klasse, z. B. Qwen oder Mistral) und Ausgabe nach JSON-Schema, selbst betriebenes n8n, Excel-/Nextcloud-Tabellen oder Paperless-ngx-Tags; Clustering mit einem offenen Embedding-Modell.
  • Hardware: HW1 genügt für einige hundert Vorgänge; HW2 für schnellere Läufe.
  • Aufwand: 1-2 Tage Einrichtung, danach Iterationen parallel zum Workshop.

Weg D — Eigenes Training

Nicht Teil dieses Anwendungsfalls. Ein feingetunter Klassifikator kommt erst, wenn das Schema eingefroren ist und einige tausend etikettierte Vorgänge vorliegen (DATA-023).

Stand der Technik (2026)

  • Kleine, auf Anweisungen trainierte Modelle klassifizieren sauberen Text in klar definierte Kategorien, wenn Definitionen und Few-Shot-Beispiele vorliegen; schemagebundenes Decodieren verhindert ungültige Etiketten.
  • LLM-gestützte Kategorieentdeckung (Embeddings gruppieren, dann die Gruppen benennen) ist gängige Praxis, um fehlende Kategorien zu finden.
  • Grenzen: Modelle folgen dem Wortlaut von Definitionen buchstäblich, schwanken bei nahezu gleichbedeutenden Begriffen und sind schwach bei Kategorien, die von ungeschriebenem Kontext abhängen („VIP-Kunde“). Wenn zwei geschulte Menschen nur mäßig übereinstimmen, wird kein Modell besser sein; korrigieren Sie zuerst das Schema.

Gemeinsame Bausteine & Kombinationen

Aufwand, Kosten & Kennzahlen

  • Weg C: 1-2 Tage Einrichtung plus Workshop und Etikettierung, insgesamt 3-8 Personentage (Planungsschätzung, kein Benchmark). Lizenzkosten nahe null.
  • Weg A: Konfiguration 1-3 Tage plus Lizenz.
  • Weg B: geringe API-Kosten für einige hundert Vorgänge; 1-3 Tage Integration.
  • Kennzahlen: Übereinstimmung zwischen zwei menschlichen Etikettierenden, Übereinstimmung zwischen Modell und Menschen, Anteil „sonstiges/unklar“, Anzahl zusammengelegter oder gestrichener Kategorien, Anteil der Vorgänge, die geprüft werden müssen.

Menschen & Veränderung

Früh einbeziehen: Abteilungsleitungen (Schema-Verantwortliche), Endanwender, die täglich etikettieren, die Nutzer der Daten, die IT, die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten und, wo vorhanden, den Betriebsrat. Kunden oder Lieferanten werden einbezogen, wenn Kategorien für sie sichtbar sind (zum Beispiel in Ticketformularen).

Betriebsrat: kommt darauf an. Ein Schema-Workshop ist keine Überwachung. Speisen die Kategorien später jedoch Statistiken je Mitarbeitenden oder Team, oder protokolliert ein System, wer was etikettiert hat, genügt die objektive Eignung zur Überwachung für § 87 Abs. 1 Nr. 6 BetrVG (BAG); vereinbaren Sie Zweckbindungen in einer Betriebsvereinbarung. § 90 Abs. 1 Nr. 3 verlangt eine rechtzeitige Unterrichtung, wenn Arbeitsabläufe mit KI geplant werden; nach § 80 Abs. 3 kann der Betriebsrat einen Sachverständigen hinzuziehen. Öffentliche Stellen beteiligen den Personalrat (GUIDE-004).

Datenschutz: Mails und Tickets enthalten personenbezogene Daten; prüfen Sie Rechtsgrundlage, AVV (Art. 28 DSGVO) für Cloud-Modelle und eine DSFA (Art. 35) nur, wenn Beschäftigte oder Kunden systematisch bewertet werden (GUIDE-005). KI-Kompetenz: Art. 4 KI-Verordnung (AI Act), geändert durch die Verordnung (EU) 2026/1744, verpflichtet Anbieter und Betreiber, Maßnahmen zur Förderung der KI-Kompetenz ihres Personals zu ergreifen; weisen Sie die Etikettierenden ein (GUIDE-006).

Pilot und Tonalität: ein Team, ein Vorgangstyp. Stellen Sie es als „Schluss mit dem Streit, wohin das gehört“ dar. Jeder darf eine Kategorie infrage stellen; die oder der Verantwortliche entscheidet (GUIDE-008, GUIDE-009).

Risiken, Regulierung & Compliance

  • KI-Verordnung (AI Act): minimales Risiko für Routing und Dokumenttypen. Steuern Kategorien Personalentscheidungen oder den Zugang zu wesentlichen Diensten, können Hochrisiko-Regeln gelten (Anhang III, ab 2. Dez. 2027); verwenden Sie solche Schemata nicht ohne Prüfung weiter (GUIDE-014).
  • DSGVO: etikettierte Stichproben sind personenbezogene Daten; halten Sie sie in Ihren Systemen und löschen Sie sie nach dem Test.
  • Risiken: voreingenommene oder wertende Kategorien („schwieriger Kunde“), zu viele Kategorien, zu früh eingefrorenes oder nie gepflegtes Schema. Gegenmaßnahmen: neutrale Formulierungen, Verantwortliche(r) und Prüfdatum, vierteljährlicher Abgleich mit neuen Vorgängen (GUIDE-011).

Erste Schritte

  1. Wählen Sie einen Strom (zum Beispiel das Service-Postfach) und exportieren Sie 200 Vorgänge.
  2. Zählen Sie die aktuellen Kategorien; lassen Sie ein LLM 8-15 Kandidaten vorschlagen und kürzen Sie diese im Workshop.
  3. Lassen Sie zwei Personen 100 Vorgänge unabhängig voneinander etikettieren und listen Sie die Abweichungen auf.
  4. Lassen Sie ein kleines Modell mit dem Schema laufen; schreiben Sie Definitionen um, wo es und die Menschen abweichen.
  5. Frieren Sie v1 ein, benennen Sie eine verantwortliche Person und übergeben Sie die etikettierte Stichprobe als Testdatensatz (PREP-018).

Quellen

  1. Microsoft - Trainable classifiers in Microsoft Purview - https://learn.microsoft.com/purview/trainable-classifiers-learn-about
  2. Ollama - Structured outputs - https://docs.ollama.com/capabilities/structured-outputs
  3. Paperless-ngx - Documentation - https://docs.paperless-ngx.com/
  4. n8n - Documentation - https://docs.n8n.io/
  5. Regulation (EU) 2024/1689 (AI Act) - https://eur-lex.europa.eu/eli/reg/2024/1689/oj
  6. Regulation (EU) 2016/679 (GDPR) - https://eur-lex.europa.eu/eli/reg/2016/679/oj