Wissensgraph aus Dokumenten aufbauen (GraphRAG)

Einfaches Vektor-RAG findet ähnliche Textabschnitte, tut sich aber schwer mit Fragen wie „Wie hängen diese Lieferanten, Projekte und Störungen zusammen?" oder „Was sind die Hauptthemen in 10.000 Berichten?". Bei GraphRAG liest ein LLM die Dokumente einmal, extrahiert Entitäten und Beziehungen in einen Wissensgraphen und beantwortet Fragen dann anhand des Graphen und seiner vorberechneten Zusammenfassungen. Das eignet sich gut für vernetzte Fragen über mehrere Dokumente hinweg. Die Indexierung ist jedoch teuer, und bei einfachen Nachschlagefragen ist GraphRAG nicht besser als einfaches RAG. Deshalb sollte es bewusst zusätzlich zu KNOW-002 eingeführt werden, nicht an dessen Stelle.

Problem & Nutzen

• Heute: Wissen ist über Tausende Dokumente verstreut. Chunk-basiertes RAG findet Passagen, die der Frage ähneln, kann aber Fakten aus mehreren Dokumenten nicht zuverlässig verknüpfen und keinen ganzen Korpus zusammenfassen. Manuell gebaute Ontologien und Graphen sind genau, aber langsam und teuer.
• KI-Nutzen: Die LLM-basierte Extraktion baut und aktualisiert den Graphen automatisch; der Graph liefert eine explizite Struktur (wer/was steht wie in Beziehung), nachvollziehbare Herkunft und Zusammenfassungen auf Korpusebene.
• Evidenz: Das ursprüngliche Paper zu Microsoft GraphRAG berichtet bei globalen „Sensemaking"-Fragen über Korpora von rund 1 Million Token deutliche Vorteile gegenüber herkömmlichem RAG bei Umfang und Vielfalt der Antworten [1]. Unabhängige Benchmarks fallen nüchterner aus: GraphRAG-Bench stellt fest, dass GraphRAG bei vielen realen Aufgaben häufig schlechter abschneidet als Standard-RAG, und untersucht, wann es tatsächlich hilft [5]. Behandeln Sie den Graphen als gezieltes Werkzeug für Beziehungsfragen und globale Fragen.

Varianten

• Korpusweites Sensemaking: Community-Zusammenfassungen zu Themen, Trends und Risiken über große Berichtsbestände.
• Multi-Hop-Fragen im Unternehmen: Projekte, Personen, Produkte, Lieferanten und Störungen verknüpfen (mit der Expertensuche KNOW-012).
• Regulatorik- und Vertragsgraphen: Klauseln, Pflichten, Normen und ihre Querverweise (KNOW-009).
• Wissenschafts- und Patentgraphen: Entitäten und Aussagen über Fachartikel hinweg (KNOW-007, KNOW-008).
• Agentengedächtnis: zeitliche Graphen mit Fakten, die sich über die Zeit ändern, für Assistenten und Agenten (Graphiti, Cognee).
• Ermittlungsbezogene Verknüpfungsanalyse: Entitätsauflösung über Fallmaterial (KNOW-026; beachten Sie die dortigen rechtlichen Grenzen).
• Private Nutzung: ein persönlicher Wissensgraph über Notizen und Fachartikel (KNOW-018).

So funktioniert es

1. Dokumente
2. Parsing/OCR (Layout, Tabellen)
3. Chunking
4. LLM-Extraktion von Entitäten, Beziehungen, Aussagen (geführt durch Schema/Ontologie)
5. Entitätsauflösung & Zusammenführung (Duplikate bereinigen: „BMW AG“ / „BMW“)
6. Graphspeicher (+ Embeddings von Chunks/Entitäten)
7. Community-Erkennung
8. Community-Zusammenfassungen
9. Anfrage: Frage klassifizieren
10. lokal (Umgebung einer Entität) | global (Community-Zusammenfassungen) | hybrid Graph+Vektor | reiner Vektor
11. LLM-Antwort mit Quellenangaben
12. menschliche Prüfung von Schema, Stichproben der Extraktion und folgenreichen Antworten

• Extraktion: Ein LLM, dem ein Schema vorgegeben wird (oder frei), liefert Tripel aus Entitäten und Beziehungen mit Quellenverweisen. Die Qualität hängt von Schema, Modell und Chunking ab; Präzision und Trefferquote (Recall) müssen an einer Stichprobe geprüft werden.
• Hybrid aus Graph und Vektor: Die Suche kombiniert Graphtraversierung mit Embedding-Suche und Reranking.
• Abfragemodi in Microsoft GraphRAG: Global Search (Community-Zusammenfassungen), Local Search (Umgebung einer Entität), DRIFT Search (lokal plus Community-Kontext) und Basic Search (einfaches Vektor-Top-k) [2].
• Lazy-/Low-Cost-Indexierung: LazyGraphRAG ersetzt die LLM-Extraktion zur Indexierungszeit durch eine NLP-Extraktion von Nominalphrasen und verschiebt die LLM-Arbeit auf die Abfragezeit. Microsoft berichtet Indexierungskosten in Höhe von Vektor-RAG und 0,1 % von vollem GraphRAG (eigene Auswertung) [3].
• Mensch-in-der-Schleife (Human-in-the-Loop): Fachexperten legen das Schema fest, prüfen Stichproben der Extraktion, lösen Konflikte beim Zusammenführen und geben Änderungen am Graphen in kritischen Bereichen frei.

Datenaufbereitung

Der Graph ist nur so gut wie die Dokumente dahinter: Verträge, Berichte, Wiki-Seiten, Tickets, E-Mails und Projektordner. Im Mittelstand liegen diese auf Dateiablagen, in einem DMS, in SharePoint und in Postfächern; in ERP/CMDB finden sich Stammdaten, die Entitäten verankern können. Typische Lücken sind gescannte PDFs ohne Text, doppelte und veraltete Versionen, uneinheitliche Namen für denselben Lieferanten oder dasselbe Produkt, fehlende Metadaten und Zugriffsrechte, die nicht zu dem passen, was der Graph offenlegen würde.

Aufbereitungsschritte: (1) Quellen inventarisieren und einen abgegrenzten Korpus wählen (PREP-001, PREP-002); (2) Scans per OCR erfassen und Altformate konvertieren (PREP-006, PREP-007, DOC-014); (3) Duplikate und alte Versionen entfernen und die Ordnerstruktur bereinigen (PREP-009); (4) vor der Extraktion die Entitäts- und Beziehungstypen sowie eine Synonym-/Abkürzungsliste festlegen (PREP-015, PREP-012); (5) Dokumentenberechtigungen übernehmen, damit Antworten die Zugriffsrechte beachten (PREP-023); (6) mit Fachexperten einen kleinen Fragensatz für die Evaluation erstellen (PREP-018).

Werkzeuge: Docling oder Unstructured zum Parsen, Paperless-ngx oder ein DMS für OCR, OpenRefine oder einfache Skripte für den Entitätsabgleich. Rechnen Sie mit etwa 50-60 Prozent des Gesamtaufwands für Datenaufbereitung und Schemaentwurf, der Rest entfällt auf Feinabstimmung der Extraktion und Evaluation. Beginnen Sie mit einer Abteilung und einigen hundert Dokumenten.

Umsetzungswege

Welcher Weg für wen

• Großunternehmen: Weg B - die Graphextraktion ist LLM-intensiv, läuft aber gut über Cloud-APIs in EU-Regionen, und die vorhandene Daten- und Wissensplattform kann die Graphdatenbank hosten.
• Entwickler: Weg C - offene Frameworks (LightRAG, Microsoft GraphRAG) mit lokalen Modellen geben volle Kontrolle über Schema, Kosten und Experimente.
• KMU: Weg B - kein ausgereiftes KMU-Produkt passt, daher ist ein kleiner Eigenbau auf Cloud-APIs mit den eigenen Dokumentquellen besser als der Kauf einer Plattform.
• Öffentlicher Sektor: Weg C - sensible Akten und Vergaberegeln sprechen für Selbstbetrieb oder eine souveräne EU-/deutsche Cloud.

Weg A — Kaufen (Standardsoftware)

• Graphplattformen mit integriertem GraphRAG: Neo4j (Aura, LLM Knowledge Graph Builder) [4], Stardog, Graphwise (Ontotext + Semantic Web Company, Bulgarien/Österreich, EU), metaphacts (Walldorf, DE, EU), eccenca (Leipzig, DE, EU), Memgraph, FalkorDB. Prüfen Sie den aktuellen GraphRAG-Funktionsumfang jedes Anbieters.
• Enterprise-Search- und RAG-Suiten ergänzen zunehmend Graphfunktionen; siehe KNOW-001/KNOW-002.
• Wählen Sie A, wenn: Sie bereits eine Graph- oder Semantic-Data-Plattform betreiben oder Governance und Support auf Unternehmensniveau brauchen.

Weg B — Auf Cloud-KI-Diensten aufbauen (empfohlener Einstieg)

• Frameworks: Microsoft GraphRAG (MIT, Python; das Repository gibt an, es sei ein Forschungsprojekt, das inzwischen weitgehend im Wartungsmodus läuft) [6]; neo4j-graphrag-python mit SimpleKGPipeline, das OpenAI, Azure OpenAI, Vertex AI, Gemini, Anthropic, Mistral, Cohere, Ollama und Bedrock unterstützt [7]; LlamaIndex PropertyGraph und LangChain Graph Transformers.
• Modelle: ein günstiges, schnelles LLM für die Massenextraktion (z. B. Claude Haiku/Sonnet-Klasse, Gemini Flash, GPT-mini-Klasse, Mistral Small/Medium über den EU-Anbieter Mistral AI), ein stärkeres Modell für die Antworten. Nutzen Sie EU-Regionen oder EU-Anbieter, wenn die Dokumente personenbezogene oder vertrauliche Daten enthalten.
• Graphspeicher: Neo4j Aura (EU-Region), Amazon Neptune (Frankfurt), Azure Cosmos DB (Gremlin) oder Postgres mit Graphschicht.
• Kostenwarnung: Das GraphRAG-Repository selbst warnt, dass die Indexierung „teuer sein kann" („can be an expensive operation"), und rät, klein anzufangen [6]. Planen Sie zuerst ein Token-Budget für eine Pilot-Teilmenge ein.

Weg C — Selbst betreiben (Open Source)

• Stack: Microsoft GraphRAG, LightRAG (MIT; Graph + Vektor, fünf Abfragemodi, inkrementelle Updates und Löschen, PostgreSQL für den Produktivbetrieb empfohlen, Backends Neo4j/Memgraph/Milvus/Qdrant/OpenSearch, Parsing mit Docling/MinerU) [8], HippoRAG 2 (ICML 2025, Retrieval mit Personalized PageRank) [9], Graphiti (Apache-2.0, zeitliche Graphen auf Neo4j/FalkorDB) [10], Cognee (Apache-2.0, Agentengedächtnis- Graph, läuft lokal mit kleinen Modellen) [11].
• Modelle: Open-Weight-LLMs ab etwa 30B-Klasse für die Extraktion (Qwen3, Mistral Small/Medium als Open Weights, Llama, gpt-oss), betrieben über vLLM oder Ollama; Embedding-Modelle wie BGE-M3 oder Qwen3-Embedding; ein Reranker (bge-reranker).
• Hardware: HW2 für kleine Korpora (Tausende Seiten) mit einem quantisierten ~30B-Modell; HW3 für größere Korpora und höhere Extraktionsqualität, da die Indexierung token-intensiv ist und Stunden bis Tage läuft.
• Betriebsaufwand: erheblich: Betrieb der Graphdatenbank, Neuindexierung bei Schemaänderung, Qualitätssicherung der Extraktion.

Weg D — Eigenes Training

Lohnt sich nur für enge Bereiche mit hohem Volumen (Biomedizin, Recht, Patente), in denen ein feingetuntes kleines Modell oder ein NER-/Relationsextraktions-Encoder (BERT-Klasse) die teure LLM-Extraktion ersetzen kann. Dafür braucht es einige hundert bis tausend annotierte Entitäts-/Beziehungsbeispiele; Korrekturen der Prüfer am Extraktionsschritt sind die natürliche Quelle. Erwägen Sie auch, ein domänenspezifisches Embedding-Modell zu trainieren.

Stand der Technik (2026)

• Kostenbewusstes GraphRAG: LazyGraphRAG und ähnliche „leichte" Varianten vermeiden die vollständige LLM-Extraktion zur Indexierungszeit. Die Eigenauswertung von Microsoft (5.590 Nachrichtenartikel, 100 synthetische Anfragen, LLM als Bewerter) zeigt, dass es bei lokalen Anfragen die Vergleichsvarianten zu Vektor-RAG-Kosten schlägt und ein größeres Budget braucht, um mit der globalen Suche gleichzuziehen; selbst berichtete Ergebnisse sollten Sie mit Ihren Daten erneut prüfen [3].
• Vom Gedächtnis inspiriertes Retrieval: HippoRAG 2 verspricht, Standard-RAG bei faktischen, Sensemaking- und assoziativen Aufgaben zu übertreffen (rund 7 % Zugewinn beim assoziativen Gedächtnis gegenüber einer starken Embedding- Baseline), nachdem frühere Graphverfahren bei einfachen Faktenfragen schlechter wurden [9].
• Zeitliche Graphen für Agenten: Graphiti markiert überholte Fakten als ungültig, statt sie zu löschen, und behält die Herkunft zu den Quell-Episoden [10]; Cognee zielt auf dauerhaftes Agentengedächtnis [11].
• Konsolidierung des Ökosystems: LightRAG hat 2026 das multimodale Parsing (RAG-Anything) integriert und OpenSearch-Unterstützung ergänzt [8]; Neo4j liefert ein offizielles GraphRAG-Paket und einen No-Code-Graph-Builder [4][7].
• Ehrliche Evaluation: GraphRAG-Bench bewertet Graphaufbau, Retrieval und Generierung über Faktenabruf, komplexes Schlussfolgern, Zusammenfassen und kreative Generierung und zeigt, dass Graphen nicht immer gewinnen [5].
• Grenzen und Fehlerbilder: Extraktionsfehler und halluzinierte Beziehungen; Fehler bei der Entitätsauflösung, die verschiedene Entitäten zusammenführen; hohe Indexierungskosten und langsame Neuindexierung; veraltete Graphen; der Builder von Neo4j funktioniert am besten mit langen englischen Texten und ist bei Tabellen, Bildern und Folien schwächer [4]; Verlust der Dokumentenzugriffsrechte, sofern die ACLs nicht in den Graphen übernommen werden.

Gemeinsame Bausteine & Kombinationen

• Gemeinsamer Stack: Parsing (DOC-014), Embeddings + Vektordatenbank + Reranker und LLM-Serving sind dieselben wie bei KNOW-002 und KNOW-001; ein Hybridindex (Vektor + Graph + BM25) bedient alle drei. Ein HW2/HW3-vLLM-Server kann Extraktion, Beantwortung und Embeddings bedienen.
• Naheliegende Kombinationen: KNOW-002 (Graph als zusätzlicher Retriever für Multi-Hop- und globale Fragen), KNOW-009 (Querverweise zwischen Normen und Regulierung), KNOW-012 (Expertensuche aus dem Graphen Person-Projekt-Kompetenz), KNOW-014 (Organisationsgedächtnis und Lessons Learned), KNOW-026 (Entitäts- auflösung und Verknüpfungsanalyse, mit strengen rechtlichen Grenzen), AGENT-002 (Agenten, die den Graphen als Werkzeug bzw. Gedächtnis nutzen).
• Graphdatenbank und Ontologie sind in allen diesen Fällen wiederverwendbare Bausteine.

Aufwand, Kosten & Kennzahlen

• Weg A: Wochen für einen Piloten; Lizenz je Graphplattform plus LLM-Nutzung.
• Weg B: 2–4 Monate bis zur Produktivpipeline (Schemaentwurf, Qualitätssicherung der Extraktion, ACLs, Evaluation).
• Weg C: 3–6 Monate inkl. GPU-Server und Betrieb der Graphdatenbank.
• Kostentreiber: LLM-Token für Extraktion und Zusammenfassung (dominant), Häufigkeit der Neuindexierung, Hosting der Graphdatenbank, Zeit für die Prüfung durch Experten.
• Kennzahlen: Antwortkorrektheit auf einem Multi-Hop-/Global-Testset im Vergleich zur RAG-Baseline, Extraktions- präzision/-Recall an einer annotierten Stichprobe, Treue der Quellenangaben, Kosten pro 1.000 Seiten, Latenz, Aktualität des Index, Anteil der Fragen, die an den Graphen geleitet werden.

Menschen & Veränderung

Binden Sie die Geschäftsführung früh für Umfang und Budget ein, und die Abteilungsleitung als Prozessverantwortliche, die die Fragen festlegt, die der Graph beantworten muss. Die Datenverantwortlichen der Dokumentquellen (DMS, Dateiablagen, Wiki) müssen den Korpus und seine Zugriffsrechte freigeben; die IT integriert Parsing, Graphdatenbank und Identitätsverwaltung; die Informationssicherheit prüft die Risiken für Modell und Prompt Injection (siehe GUIDE-013). Die Endnutzer sind ab dem Pilotbetrieb dabei und beurteilen, ob Antworten und Quellenangaben nützlich sind.

Betriebsrat: abhängig vom Einzelfall. Enthält der Korpus nur technische Dokumente und werden keine Nutzungsprotokolle ausgewertet, ist eine Mitbestimmung unwahrscheinlich; sobald das System Nutzeranfragen protokolliert oder Fakten über namentlich genannte Beschäftigte extrahiert, gilt §87(1) Nr. 6 BetrVG, und §90(1) Nr. 3 verlangt die rechtzeitige Unterrichtung über KI-gestützte Arbeitsprozesse. Öffentliche Stellen beteiligen den Personalrat. Dokumente mit personenbezogenen Daten (E-Mail, Personalakten, Verträge mit namentlich genannten Ansprechpartnern) erfordern die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten, einen AVV mit jedem Auftragsverarbeiter und häufig eine DSFA (GUIDE-005); schließen Sie Personalunterlagen und Postfächer in der ersten Phase aus.

KI-Kompetenz: Unterstützen Sie die Beschäftigten mit einer kurzen Schulung zu Quellenangaben, halluzinierten Beziehungen und Überprüfung (GUIDE-006). Vermitteln Sie, dass der Graph die Recherche unterstützt und Experten nicht ersetzt; halten Sie Quellenverweise sichtbar und lassen Sie kritische Fakten von Menschen bestätigen. Typische Sorge: „Der Graph zeigt, was ich nicht sehen sollte" - begegnen Sie ihr mit berechtigungsbewusster Suche und einer Pilotgruppe von 5-10 Wissensarbeitern (GUIDE-008).

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): in der Regel minimales Risiko (interne Wissenswerkzeuge); die Pflicht zur KI-Kompetenz (Art. 4) gilt. Transparenzpflichten (Art. 50) gelten, wenn es Nutzern als Chatbot bereitgestellt wird. Hochrisiko wird es nur durch den Kontext, z. B. wenn Graphergebnisse in Entscheidungen über Beschäftigte (Anhang III Beschäftigung) oder in die Strafverfolgung einfließen; die Pflichten nach Anhang III wurden durch das AI Omnibus auf den 2. Dezember 2027 verschoben [12]. Graphbasiertes Profiling von Einzelpersonen (Social Scoring) ist nach Art. 5 verboten.
• DSGVO: Graphen bündeln personenbezogene Daten (Personen, Rollen, Beziehungen) und erleichtern das Profiling; erforderlich sind eine Rechtsgrundlage, Datenminimierung, eine Löschung, die sich auf Knoten, Kanten und Zusammenfassungen auswirkt, und eine DSFA bei personenzentrierten Graphen. Wählen Sie für sensible Korpora EU-Hosting oder On-Premises.
• Sicherheit: Erhalten Sie die Dokument-ACLs bei Graphabfragen; Community-Zusammenfassungen können eingeschränkte Inhalte an Nutzer ohne Zugriff auf die Quellen preisgeben. Prompt Injection in eingelesenen Dokumenten kann die Extraktion vergiften.
• Qualitätsrisiken: halluzinierte Kanten. Gegenmaßnahmen: Schema-Beschränkungen, Konfidenzwerte, Herkunftsverweise an jeder Kante, stichprobenartige Expertenprüfungen, Antworten nur mit Quellenangabe.

Erste Schritte

1. Sammeln Sie 20–30 reale Fragen, die einfaches RAG schlecht beantwortet (Multi-Hop, „über alle Dokumente hinweg"), und eine Baseline aus KNOW-002.
2. Wählen Sie einen Pilotkorpus von einigen hundert Dokumenten; definieren Sie ein kleines Schema (5–10 Entitäts- und Beziehungstypen).
3. Lassen Sie ein Framework (Microsoft GraphRAG, LightRAG oder Neo4j SimpleKGPipeline) mit einem günstigen Extraktionsmodell laufen; prüfen Sie 100 extrahierte Tripel.
4. Vergleichen Sie Graph, Vektor und Hybrid anhand Ihres Fragensatzes und messen Sie die Kosten pro 1.000 Seiten.
5. Ergänzen Sie vor dem Roll-out ACL-Handhabung, inkrementelle Updates und eine Routing-Schicht.

Quellen

1. Edge et al., "From Local to Global: A Graph RAG Approach to Query-Focused Summarization" — https://arxiv.org/abs/2404.16130
2. Microsoft GraphRAG documentation — https://microsoft.github.io/graphrag/
3. Microsoft Research, "LazyGraphRAG: Setting a new standard for quality and cost" — https://www.microsoft.com/en-us/research/blog/lazygraphrag-setting-a-new-standard-for-quality-and-cost/
4. Neo4j LLM Knowledge Graph Builder — https://neo4j.com/labs/genai-ecosystem/llm-graph-builder/
5. "When to use Graphs in RAG" (GraphRAG-Bench) — https://arxiv.org/abs/2506.05690
6. microsoft/graphrag repository — https://github.com/microsoft/graphrag
7. neo4j/neo4j-graphrag-python — https://github.com/neo4j/neo4j-graphrag-python
8. HKUDS/LightRAG — https://github.com/HKUDS/LightRAG
9. HippoRAG 2, "From RAG to Memory" — https://arxiv.org/abs/2502.14802
10. getzep/graphiti — https://github.com/getzep/graphiti
11. topoteretes/cognee — https://github.com/topoteretes/cognee
12. European Commission — AI Act regulatory framework and timeline — https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai