RAG-Assistent für Unternehmensdokumente ("Chat mit Ihren Daten")

Unternehmenswissen liegt in Dateiservern, SharePoint, Wikis und PDFs, die niemand wirksam durchsuchen kann. Ein Assistent mit Retrieval-Augmented Generation (RAG) indexiert diese Dokumente, holt die zu einer Frage passenden Textstellen und lässt ein LLM eine Antwort mit Quellenangaben schreiben. Gut umgesetzt ersetzt er lange Suchen und „Wer weiß das?“-E-Mails; schlecht umgesetzt liefert er selbstsichere falsche Antworten oder gibt Dokumente über Berechtigungsgrenzen hinweg preis.

Problem & Nutzen

• Heute: Beschäftigte suchen nach Dateinamen oder Stichwörtern, fragen Kolleginnen und Kollegen oder erledigen Arbeit doppelt, die es schon gibt. Die klassische Intranet-Suche übersieht Inhalte, wenn die Formulierung der Anfrage von der des Dokuments abweicht.
• KI-Nutzen: Fragen in natürlicher Sprache werden aus den eigenen, aktuellen Dokumenten des Unternehmens beantwortet, mit Quellenangaben, die die Antworten überprüfbar machen. Das Wissen bleibt in den Dokumenten (aktualisierbar ohne erneutes Training); das ist das Kernargument für RAG gegenüber dem Feintuning von Fakten in ein Modell [1].
• Gemessene Effekte: Die Qualität der Suche ist der wichtigste Hebel. Anthropic berichtete in einem eigenen Benchmark, dass vom LLM erzeugter Kontext zu den Textabschnitten die Fehlerquote bei den Top-20-Treffern um 35 % (nur Embeddings), 49 % (mit BM25) und 67 % (mit Reranking) senkte, ausgehend von 5,7 % [2]. Das ist ein Herstellerbenchmark und keine Garantie für Ihren Datenbestand; messen Sie an Ihren eigenen Fragen.
• Abgrenzung zu Nachbarn: KNOW-001 betrifft das Finden von Dokumenten (Trefferlisten); dieser Anwendungsfall das Erzeugen von Antworten. Fachspezifische Varianten (HR, Servicehandbücher, Normen, Klinik) sind KNOW-003/004/009/010.

Varianten

• Team-/KMU-Assistent: ein gemeinsames Laufwerk oder eine SharePoint-Site, 10–500 Nutzer, gehostetes Produkt, kein eigener Code.
• Wissensplattform für Großunternehmen: viele Quellen, berechtigungsbewusste Suche (ACL-Filterung), mandantenfähig, Audit-Protokollierung.
• Entwickler-/Engineering-Dokumentation: Code, Runbooks, Tickets, API-Dokumente (für Servicetechniker siehe KNOW-004).
• Öffentlicher Sektor: interne Vorschriften, Rundschreiben und Verfahren; typischerweise On-Premises oder souveräne Cloud.
• Private Nutzung: lokales „Chat mit meinen PDFs/Notizen“ mit Ollama + Open WebUI; siehe KNOW-018 (persönliches Wissen).
• Agentisches RAG: das LLM plant Teilanfragen, durchsucht mehrere Quellen und wiederholt den Vorgang (z. B. agentische Suche in Azure AI Search) [3].

So funktioniert es

1. sources (SharePoint, file share, wiki, DMS, e-mail)
2. connectors + incremental sync (incl. ACLs / group membership)
3. parsing (layout-aware: tables, headings, OCR for scans)
4. chunking (+ optional context prefix per chunk)
5. embeddings
6. index: vector + keyword (BM25) + metadata/ACL fields query: question
7. (rewrite / decompose)
8. hybrid retrieval with ACL filter
9. reranker
10. top-k passages
11. LLM answer with citations
12. guardrails (grounding check, PII, injection filters)
13. user feedback + logs

• Hybride Suche (BM25 + dichte Vektoren, zusammengeführt und anschließend neu gerankt) schlägt reine Vektorsuche, besonders bei Teilenummern, Namen und Abkürzungen. BGE-M3 liefert dichte, spärliche und Multi-Vektor-Ausgaben in einem Modell [4].
• Berechtigungsfilterung ist unverzichtbar: Der Filter muss zum Abfragezeitpunkt in der Suchschicht angewendet werden, nicht dadurch, dass man das LLM bittet, Dinge zu verbergen.
• Mensch-in-der-Schleife (Human-in-the-Loop): Daumen hoch/runter mit Begründung, „Falsche Antwort melden“ geht an die Verantwortlichen des Dokuments, dazu eine gepflegte Liste von Referenzfragen, die nach jeder Änderung erneut durchlaufen wird.

Datenaufbereitung

Die Qualität eines RAG-Assistenten ist die Qualität seiner Dokumente. Typische Quellen sind Richtlinien, Handbücher, Angebote, Projektakten, Wiki-Seiten und Mails auf Dateiservern, in SharePoint oder im DMS. Typische Lücken sind Scans ohne Text, mehrere widersprüchliche Versionen desselben Dokuments, veraltete Inhalte, Wissen, das nur in den Köpfen oder in Mails existiert, und Dokumente, die nicht jede(r) Beschäftigte sehen darf.

Schritte der Aufbereitung: - Für den Start einen abgegrenzten, verbindlichen Bestand wählen, nicht „alles“ (PREP-013). - Pro Dokument eine gültige Version kennzeichnen, Dubletten und alte Versionen entfernen oder archivieren (PREP-009, PREP-010). - Scans per OCR erschließen und Altformate konvertieren (PREP-006, PREP-007, DOC-014). - Unklare Schlüsseldokumente so überarbeiten, dass sie in Abschnitten abrufbar sind (PREP-014), und Fachbegriffe und Abkürzungen des Unternehmens auflisten (PREP-015). - Berechtigungen prüfen und vertrauliches Material ausschließen (PREP-023, PREP-024). - 30 bis 50 echte Fragen mit richtigen Antworten als Testsatz sammeln (PREP-018). - Einen Prüfzyklus für die Inhalte einplanen (PREP-017).

Rechnen Sie mit 40 bis 60 Prozent des Aufwands in dieser Aufbereitung; die Technik ist der kleinere Teil. Siehe GUIDE-003.

Umsetzungswege

Welcher Weg für wen

• KMU: Weg A, weil fertige Wissensassistenten mit EU-Hosting zu KMU-Preisen verfügbar sind und der Anwendungsfall (Fragen zu eigenen Dokumenten) Standard ist.
• Großunternehmen: Weg B, weil Assistenten über zentrales Wissen eigene Berechtigungsbehandlung, Evaluation und Integration in bestehende Portale brauchen und das Volumen Lizenzen pro Platz teuer macht.
• Entwicklung: Weg C, weil Open-Source-RAG-Stacks (Open WebUI, LlamaIndex oder Haystack mit Ollama oder vLLM) gut erprobt sind.
• Öffentlicher Sektor: Weg C auf souveräner EU- oder deutscher Infrastruktur, weil interne Dokumente sensibel sind und das Vergaberecht kontrolliertes Hosting begünstigt.

Weg A — Kaufen (für die meisten KMU empfohlen)

• Suite-Assistenten: Microsoft 365 Copilot (verankert in SharePoint/OneDrive über Microsoft Graph, beachtet bestehende Berechtigungen; EU Data Boundary), Google Gemini mit Workspace, Atlassian Rovo, Notion AI, Glean (Unternehmenssuche + Assistent).
• EU-/deutsche Anbieter: Langdock (Berlin; modellunabhängiger Chat, Agenten, Integrationen; EU-Hosting, Optionen als Managed Service/eigene Cloud/On-Premises) [5], Mistral Le Chat Enterprise (Frankreich), Aleph Alpha PhariaAI (Deutschland, Schwerpunkt On-Premises/souverän), KI-Modell-Hubs von IONOS und STACKIT, Dust (Frankreich), Nuclia / Progress Agentic RAG (RAG-as-a-Service französischen Ursprungs), DocuWare und d.velop mit KI-Erweiterungen für DMS-Inhalte.
• Wählen Sie A, wenn: die Inhalte bereits in einer Suite liegen, die Nutzerzahl unter einigen tausend liegt und keine besondere Anforderung an die Datensouveränität besteht. Prüfen Sie: Umgang mit ACLs, Datenhaltung in der EU, Qualität der Quellenangaben, Admin-Audit-Protokolle, Liste der Unterauftragnehmer und ob Prompts für Training verwendet werden.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Verwaltete Suche: Azure AI Search (hybride + semantische Rangfolge, agentische Suche mit Wissensbasen und Quellen, Übernahme der Berechtigungen aus Entra ID, Private Endpoints) mit Azure-OpenAI-/Foundry-Modellen in EU-Regionen [3]; AWS Bedrock Knowledge Bases (Frankfurt/Paris usw.); Google Vertex AI Search/RAG Engine (EU-Standorte).
• Modelle: Claude, GPT, Gemini (über Endpunkte in EU-Regionen) oder Mistral (EU-Anbieter) für die Generierung; Cohere Rerank, Voyage oder Mistral-Embeddings oder gleichwertige, bei Azure/Bedrock gehostete Modelle. Prüfen Sie die aktuelle Modellliste und die Verfügbarkeit in EU-Regionen in der Konsole des jeweiligen Anbieters, bevor Sie sich festlegen.
• Frameworks: LlamaIndex, LangChain/LangGraph, Haystack (deepset, Berlin); Low-Code: n8n, Dify (Open Source, selbst betreibbar) [6].
• Vektorspeicher: pgvector (PostgreSQL weiterverwenden), Qdrant (in Berlin gegründet), Weaviate, Elasticsearch/OpenSearch hybrid.
• Wählen Sie B, wenn: Sie eigene Quellen, die Einbindung in eine bestehende Anwendung oder eine besondere Zugriffslogik benötigen.

Weg C — Selbst betreiben (Open Source)

• Parsing: Docling (MIT, Layout/Tabellen/OCR, läuft ohne Netzanbindung) [7], dazu PaddleOCR oder MinerU für Scans.
• Embeddings/Reranker: BGE-M3 (MIT, über 100 Sprachen, 8k Token) [4], Qwen3-Embedding 0.6B/4B/8B und Qwen3-Reranker (Apache-2.0) [8]. Prüfungen der deutschen Sprachqualität am eigenen Datenbestand sind verpflichtend.
• LLMs: Open-Weight-Instruktionsmodelle, betrieben mit vLLM, Ollama oder llama.cpp: z. B. Mistral Small / offene Modelle der Mistral-Medium-Klasse, Qwen3-Familie, Llama, gpt-oss, Gemma. Wählen Sie nach Qualität im Deutschen und Lizenz; prüfen Sie die aktuellen Veröffentlichungen.
• Stack: Open WebUI (RAG mit BM25 + Vektor hybrid, Reranking, Extraktion mit Docling/Tika; beachten Sie die Lizenz, die das Branding erhält) [9], oder Dify, RAGFlow, AnythingLLM, LibreChat; Speicherung in Qdrant/pgvector/OpenSearch.
• Hardware: HW2 (eine GPU mit 24–32 GB) versorgt ein quantisiertes Modell mit ca. 14–30 Mrd. Parametern für Dutzende gleichzeitige Nutzer; Embeddings und Reranker können sich die GPU teilen. HW3 für größere Modelle, viele Nutzer oder lange Kontexte. Rein CPU-basiert funktioniert für einen Pilot mit kleinen Modellen und einem kostenlos gehosteten Embedding-Modell.
• Betriebsaufwand: Patches, Neuindexierung bei Wechsel des Embedding-Modells, Sicherung des Index, Überwachung der Konnektoren.

Weg D — Eigenes Training

Für das Wissen selbst selten erforderlich. Erwägenswert: Feintuning eines Embedding-Modells oder Rerankers auf fachspezifischen Paaren aus Anfrage und Textstelle (einige tausend Paare, oft synthetisch aus Ihren Dokumenten erzeugt und von Menschen gefiltert), wenn jargonlastige Bestände schlecht abschneiden; Feintuning eines kleinen LLM für Tonalität, Format der Quellenangaben oder striktes Ablehnungsverhalten. Trainieren Sie keine Fakten ein, die sich ändern.

Stand der Technik (2026)

• Standardrezept: layoutbewusstes Parsing → kontextualisierte Abschnitte → hybride Suche → Reranker → Antwort mit Quellenangaben. Reranking und mit Kontext angereicherte Abschnitte bringen die größten gemessenen Verbesserungen [2].
• Agentische Suche: LLM-basierte Anfrageplanung, parallele Teilanfragen über mehrere Wissensquellen und strukturierte Quellenangaben sind inzwischen Produkte (Azure AI Search / Foundry IQ nennt die agentische Suche als empfohlenen Ansatz für Neuentwicklungen, einzelne Teile noch in der Vorschau) [3].
• Langer Kontext vs. RAG: Kontextfenster mit Millionen Token ersetzen die Suche bei großen Beständen nicht (Kosten, Latenz, ACLs, Aktualität), erlauben aber, ganze Dokumente zu übergeben, sobald die richtigen gefunden sind.
• Evaluation: Kennzahlen im Stil von Ragas (Faithfulness, Context Precision/Recall, Answer Relevance) und Referenzfragensätze sind Standard [10]; LLM-Bewerter brauchen Stichproben durch Menschen.
• Grenzen und Fehlerbilder: falsche Abschnittsgrenzen und zerstörte Tabellen; Fragen, die eine Aggregation über viele Dokumente erfordern (zählen, alle Verträge vergleichen), scheitern an der Top-k-Suche (nutzen Sie SQL/strukturierte Extraktion oder KNOW-013 GraphRAG); veraltete oder widersprüchliche Dokumentversionen; erfundene Quellenangaben; Sprachmischung; Prompt-Injection über indexierte Dokumente und E-Mails (OWASP führt Prompt-Injection und Schwächen bei Vektoren/Embeddings in seinen LLM-Top-10) [11].

Gemeinsame Bausteine & Kombinationen

• Gemeinsamer Stack: Das Rückgrat der Suche (Embedding-Modell, Reranker, Vektor-/Hybrid-Index, Parser, LLM-Server) ist dasselbe wie bei KNOW-001 Unternehmenssuche, KNOW-003 HR-Assistent, KNOW-004 technische Dokumentation, KNOW-009 Fragen zu Normen und KNOW-010 klinische Leitlinien. Bauen Sie es einmal als interne Plattform und betreiben Sie die Fachassistenten als getrennte Sammlungen mit eigenen ACLs.
• Ingestion: DOC-014 (Umwandlung von PDF in strukturierte Daten) und KNOW-011 (Pflege von Wissensdatenbank / FAQ); KNOW-025 (Klassifikation von Akten, Bereinigung von ROT-Daten) verbessert die Qualität des Bestands vor der Indexierung.
• Erweiterungen: KNOW-013 GraphRAG für beziehungslastige Fragen; AGENT-002 Workflow-Automatisierung und Agenten, die auf Antworten hin handeln (Tickets, Entwürfe).
• Hardware: ein HW2-/HW3-Server für LLM + Embeddings + Reranker trägt auch Extraktionslasten im Stil von DOC-001 und LANG-Zusammenfassungen.

Aufwand, Kosten & Kennzahlen

• Weg A: Tage bis 2 Wochen (Quellen anbinden, Berechtigungen setzen, Pilotgruppe). Lizenzen pro Platz dominieren typischerweise die Kosten.
• Weg B: 1–3 Monate bis zum Produktivbetrieb inkl. Konnektoren, ACL-Behandlung und Bewertungssatz; Kostentreiber sind Token pro Anfrage (abgerufener Kontext), Reranker-Aufrufe, Indexspeicher und Entwicklungsaufwand.
• Weg C: 2–4 Monate; GPU-Server plus Betriebszeit; keine Kosten pro Token.
• Kennzahlen: Richtigkeit der Antworten und Faithfulness am Referenzfragensatz, Genauigkeit der Quellenangaben, Quote „keine Antwort“ bei Fragen außerhalb des Themenbereichs, Anteil der Fragen, die ohne Eskalation beantwortet werden, wöchentlich aktive Nutzer, von Nutzern bewertete Hilfsbereitschaft, Zeitersparnis pro Anfrage (Stichprobe), Vorfälle mit Berechtigungslecks (Ziel null), Kosten pro Anfrage.

Menschen & Veränderung

Die Geschäftsführung legt Umfang und Budget fest; die Abteilungsleitung benennt den Pilotbestand und eine für die Inhalte verantwortliche Person. Fachexpertinnen und Fachexperten schreiben die Testfragen und prüfen Antworten, binden Sie sie daher von Anfang an ein. Die IT kümmert sich um Konten, Hosting und Konnektoren; die IT-Sicherheitsbeauftragte bzw. der IT-Sicherheitsbeauftragte prüft die Risiken durch Prompt-Injection und Datenabfluss (GUIDE-013). Die/der Datenschutzbeauftragte wird einbezogen, wenn Dokumente personenbezogene Daten enthalten; eine Datenschutz-Folgenabschätzung (DSFA) ist ratsam, wenn Mails oder Personalakten einbezogen werden, und mit jedem Hosting-Anbieter ist ein Auftragsverarbeitungsvertrag (AVV) nötig (GUIDE-005).

Betriebsrat: kommt darauf an. Falls ein Betriebsrat besteht: Ein Assistent, der Nutzerfragen protokolliert, ist geeignet, das Verhalten zu überwachen, daher ist die Mitbestimmung nach §87 Abs. 1 Nr. 6 BetrVG wahrscheinlich, und §90 Abs. 1 Nr. 3 verlangt frühe Unterrichtung. Vereinbaren Sie, dass Fragen nicht individuell ausgewertet werden (GUIDE-004).

Starten Sie den Pilot mit einem Team von 10 bis 20 Personen, sammeln Sie wöchentlich Rückmeldungen und benennen Sie KI-Botschafter. Typische Bedenken: „Ersetzt es meine Expertise?“ (Antwort: Es findet Dokumente, Menschen entscheiden) und „Kann ich ihm vertrauen?“ (Antwort: Jede Antwort nennt ihre Quellen, es gibt einen Feedback-Knopf). Der Mensch behält die Kontrolle: Der Assistent entscheidet nie, und falsche Antworten werden den Inhaltsverantwortlichen gemeldet. Fördern Sie die KI-Kompetenz mit einer kurzen Schulung zu Prompting und Überprüfung (GUIDE-006, GUIDE-008, GUIDE-009).

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): typischerweise begrenztes Risiko: Ein interner Chatbot muss deutlich machen, dass Nutzer mit KI interagieren (Art. 50 Abs. 1, anwendbar ab 2. Aug. 2026 nach Art. 113, sofern nicht aus dem Kontext offensichtlich) [12]; Pflicht zur KI-Kompetenz (Art. 4) für das Personal. Er wird hochriskant, wenn er für Zwecke nach Anhang III genutzt wird (z. B. als Entscheidungshilfe bei Einstellung, Bewertung von Beschäftigten oder Zugang zu wesentlichen Leistungen); dokumentieren Sie den Einsatzbereich. Prüfen Sie die Fristen erneut im Falle von Änderungen durch das EU-„Digital Omnibus“.
• DSGVO: Indexierte Dokumente enthalten oft personenbezogene Daten (Personalakten, Verträge, E-Mails). Erforderlich sind eine Rechtsgrundlage, ein Auftragsverarbeitungsvertrag (AVV) mit Anbietern, EU-Region bzw. Prüfung der Übermittlung, Aufbewahrung und Löschung, die bis in Index und Protokolle durchschlägt, sowie eine DSFA bei breiter Indexierung von Postfächern oder Personalunterlagen. Die Mitbestimmung des Betriebsrats (§87 BetrVG) gilt in Deutschland für Werkzeuge, die Beschäftigte überwachen können, einschließlich Nutzungsprotokollen.
• Sicherheit: Quellberechtigungen bei der Suche durchsetzen; getrennte Sammlungen für vertrauliche Bereiche (Personal, Vorstand, Recht); allen abgerufenen Text als nicht vertrauenswürdig behandeln (Prompt-Injection, Datenabfluss über Links/Bilder); keine schreibenden Aktionen ohne Bestätigung [11].
• Qualität/Haftung: Quellenangaben anzeigen, Datum/Version des Dokuments zeigen, „nicht gefunden“ ausdrücklich sagen; ungeprüfte Antworten nicht für rechtliche, medizinische oder sicherheitsrelevante Entscheidungen verwenden.
• Gegenmaßnahmen: den Assistenten mit gezielt präparierten Dokumenten angreifen (Red Team), Abrufe protokollieren, die häufigsten fehlgeschlagenen Fragen wöchentlich prüfen, eine verantwortliche Person je Sammlung.

Erste Schritte

1. Wählen Sie einen engen, wertvollen Bestand (z. B. IT-/Prozessdokumentation, ca. 1.000 Dokumente) und eine Pilotgruppe von 10–30 Nutzern; bereinigen Sie zuerst veraltete Versionen.
2. Schreiben Sie 50–100 echte Fragen mit Referenzantworten und Quellenstellen (der Referenzfragensatz).
3. Lassen Sie den Referenzfragensatz gegen 2–3 Optionen laufen (Produkt aus Weg A, verwaltete Suche aus Weg B, offener Stack aus Weg C) und vergleichen Sie Faithfulness, Quellenangaben und Qualität im Deutschen.
4. Prüfen Sie die Berechtigungen: Testen Sie mit Nutzern, die bestimmte Dokumente nicht sehen dürfen; beziehen Sie die/den Datenschutzbeauftragte(n) und den Betriebsrat früh ein.
5. Starten Sie mit Feedback-Knöpfen und Verantwortlichen je Sammlung; lassen Sie den Referenzfragensatz nach jeder Änderung an Modell, Abschnittsbildung oder Bestand erneut laufen.

Quellen

1. Lewis et al., "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" (NeurIPS 2020) — https://arxiv.org/abs/2005.11401
2. Anthropic — Introducing Contextual Retrieval — https://www.anthropic.com/news/contextual-retrieval
3. Microsoft Learn — RAG and generative AI in Azure AI Search (agentic retrieval vs classic RAG) — https://learn.microsoft.com/en-us/azure/search/retrieval-augmented-generation-overview
4. BAAI — BGE-M3 model card — https://huggingface.co/BAAI/bge-m3
5. Langdock — product and hosting overview — https://www.langdock.com/
6. Dify — open-source LLM app platform — https://github.com/langgenius/dify
7. Docling project — https://github.com/docling-project/docling
8. Qwen — Qwen3-Embedding-8B model card — https://huggingface.co/Qwen/Qwen3-Embedding-8B
9. Open WebUI — https://github.com/open-webui/open-webui
10. Ragas — LLM application evaluation toolkit — https://github.com/explodinggradients/ragas
11. OWASP — Top 10 for LLM applications — https://genai.owasp.org/llm-top-10/
12. EU AI Act Article 50 (transparency obligations) — https://artificialintelligenceact.eu/article/50/