Juristische Recherche bedeutet, für eine konkrete Frage die anwendbaren Normen, die maßgeblichen Entscheidungen und die herrschende Kommentarmeinung zu finden. Ein KI-Rechercheassistent kombiniert hybrides Retrieval über Gesetze, Rechtsprechung und Kommentare mit einem LLM, das eine belegte Antwort entwirft, und einem Prüfschritt, der jede Fundstelle kontrolliert. Er verkürzt die erste Orientierungsphase, doch Studien zeigen, dass selbst spezialisierte Werkzeuge weiterhin falsche oder nicht belegte Antworten liefern; daher muss immer ein Jurist bzw. eine Juristin die Quellen prüfen.
Problem & Nutzen
- Heute: Anwältinnen und Anwälte, Unternehmensjuristen, Compliance-Beauftragte, Juristen im öffentlichen Dienst und Studierende durchsuchen Datenbanken per Stichwort (beck-online, juris, Westlaw, Lexis, EUR-Lex, Gerichtsportale), lesen viele Treffer und stellen einen Vermerk von Hand zusammen. Kommentare sind in der Regel lizenzpflichtig und nicht frei verfügbar.
- KI-Nutzen: Fragen in natürlicher Sprache, schnellere Orientierung, Zusammenfassungen langer Entscheidungen, Auffinden einschlägiger Rechtsquellen, die die Stichwortsuche übersieht, sprachübergreifende Suche im EU-Recht, erste Entwürfe von Vermerken.
- Belege zur Zuverlässigkeit: Eine vorab registrierte Studie von Stanford RegLab/HAI mit über 200 juristischen Anfragen stellte fest, dass die getesteten Rechercheinstrumente in mehr als 17 % der Fälle halluzinierten oder falsch antworteten (Lexis+ AI, Ask Practical Law AI) bzw. in mehr als 34 % (Westlaw AI-Assisted Research); frühere Arbeiten fanden allgemeine Chatbots bei 58–82 % der juristischen Anfragen falsch [1]. Die Anbieter haben seitdem nachgebessert; verstehen Sie diese Zahlen daher als Warnung zur Methode, nicht als aktuelle Produktwerte: Messen Sie stets anhand Ihrer eigenen Fragen.
- Vorsicht bei Nutzenversprechen: Fallstudien der Anbieter (z. B. Kundengeschichten von Thomson Reuters zu CoCounsel/Westlaw [3]) berichten Produktivitätsgewinne, doch die Zahlen sind selbst berichtet und nicht unabhängig geprüft.
Varianten
- Kanzlei / Rechtsabteilung: Unterstützung bei Rechercheberichten über lizenzierte Datenbanken plus das eigene Wissen der Kanzlei (Gutachten, Klauselsammlungen).
- Compliance & regulatorisches Monitoring: Fragen quer durch EU-Recht, nationale Umsetzungen und Aufsichtshinweise; zu Normen siehe KNOW-009, zu Prozessanalytik PRED-038.
- Öffentliche Verwaltung: interne Normrecherche und Unterstützung beim Entwurf. Systeme, die von oder im Auftrag einer Justizbehörde zur Recherche und Auslegung von Tatsachen und Recht eingesetzt werden, sind nach Anhang III Nr. 8 Hochrisiko-Systeme [2].
- Studierende / Privatpersonen: Selbsthilfe im Verbraucherrecht, siehe PERS-015; die Antwort muss einen klaren Hinweis "keine Rechtsberatung" und Links zu Primärquellen enthalten.
- Entwickler / Legal Tech: Recherche-API oder MCP-Server über offene Rechtsdaten.
So funktioniert es
- Frage / Sachverhalt
- Anfrageverständnis (Rechtsordnung, Rechtsgebiet, Zeitpunkt, Sprache)
- hybride Suche (BM25 + dichte Vektoren) über Gesetze, Entscheidungen, Kommentare
- Reranker + Erweiterung über den Zitiergraphen (Entscheidung zitiert Norm / andere Entscheidung)
- LLM-Antwort NUR aus den abgerufenen Passagen, mit genauen Fundstellen
- Zitatprüfer (existiert die Quelle? in Kraft? Zitat stimmt? später aufgehoben?)
- Juristin bzw. Jurist prüft die Quellen und gibt frei
- Chunking: strukturbewusst (Norm → Absatz → Satz; Entscheidung → Leitsatz, Sachverhalt, Gründe). Metadaten: Gericht, Datum, Aktenzeichen, ECLI, an einem bestimmten Stichtag geltende Normfassung.
- Wissensgraph: Zitierverknüpfungen zwischen Entscheidungen und Normen verbessern das Ranking und die Prüfung "ist das noch geltende Rechtslage" (siehe KNOW-013).
- Agentische Recherche: Ein Reasoning-Modell plant Teilfragen, führt mehrere Suchen aus und stellt einen Vermerk zusammen; nützlich für die Breite, aber jeder Schritt muss protokolliert und jede Fundstelle maschinell geprüft werden.
- Mensch-in-der-Schleife (Human-in-the-Loop): Die Antwort ist ein Hinweis, keine Autorität. Die Juristin bzw. der Jurist öffnet jede zitierte Quelle.
Datenaufbereitung
Hier treffen zwei Datenwelten aufeinander. Öffentliche Quellen (Gesetze, EUR-Lex, Gerichtsentscheidungen) und lizenzierte Kommentare kommen strukturiert von Anbietern. Das eigene Wissen der Kanzlei liegt im DMS oder Fallbearbeitungssystem, in Word-Vermerken auf Dateiablagen, in E-Mails und in Papierakten im Archiv.
Typische Lücken: gescannte Gutachten ohne Textebene, viele nahezu doppelte Entwürfe, Vermerke ohne Metadaten (Rechtsgebiet, Datum, Ergebnis), veraltete Fassungen, die nicht als überholt gekennzeichnet sind, und Mandantenakten, deren Zugriffsrechte niemals über Mandate hinweg durchsickern dürfen.
Schritte der Aufbereitung: - Gescannte Akten per OCR erfassen (PREP-006) und alte Formate konvertieren (PREP-007). - Nur endgültige, geprüfte Vermerke und Muster auswählen; Rechtsgebiet, Datum und Status verschlagworten (PREP-010, PREP-013). - Berechtigungen auf Mandatsebene im Index erhalten (PREP-023); Mandantendaten getrennt halten. - Parteien pseudonymisieren, wo Vermerke wiederverwendet werden (PREP-022). - Einen Testsatz aus Fragen mit bekannten richtigen Rechtsquellen aufbauen (PREP-018).
Aufwand: gering bei reinen Anbieterprodukten, etwa 30 bis 40 Prozent des Projekts, wenn interne Vermerke einbezogen werden. Die Verschwiegenheitspflicht (§ 43a BRAO, § 203 StGB) muss vor jedem Upload geklärt sein. Siehe auch DOC-014.
Umsetzungswege
Welcher Weg für wen
- KMU: Weg A, weil etablierte Rechtsdatenbanken (z. B. mit lizenzierten Kommentaren) bereits KI-Recherche mit geprüften Fundstellen enthalten, die eine kleine Kanzlei nie selbst lizenzieren oder bauen könnte.
- Großunternehmen: Weg B, weil Rechtsabteilungen lizenzierte Inhalte mit internen Vermerken und Mustern über APIs und eigene Guardrails verbinden müssen.
- Entwickler: Weg B, weil sich die lizenzierten Inhalte ohnehin nicht selbst betreiben lassen; Cloud-APIs mit einer Zitierprüfschicht sind der pragmatische Bauweg.
- Öffentlicher Sektor: Weg B in einer souveränen EU- oder deutschen Cloud, weil Vergaberegeln und vertrauliche Gerichtsakten EU-Hosting verlangen, während Inhaltslizenzen einen vollständig lokalen Stack ausschließen.
Weg A — Kaufen (Standardsoftware; für die meisten Kanzleien empfohlen)
- Etablierte Verlage mit integrierter KI: Thomson Reuters CoCounsel Legal und Westlaw Advantage (agentische Recherche auf Basis von Westlaw- und Practical-Law-Inhalten) [3]; LexisNexis Lexis+ AI / Protege; in Deutschland bieten die Verlage beck (beck-online), juris (juris Portal), Wolters Kluwer und Otto Schmidt KI-Assistenten auf ihren eigenen Datenbanken an (EU/Deutschland; aktuelle Produktnamen und Bedingungen bitte direkt beim jeweiligen Anbieter prüfen).
- Legal-AI-Plattformen: Harvey (SOC 2 Type II, ISO 27001/27701/42001 angegeben; Recherche-Produkt "Knowledge"; separater EU-Login vorhanden, Datenresidenz vertraglich bestätigen lassen) [4], Legora (Recherche, Agent, Word-Add-in; DSGVO und ISO 27001/42001 angegeben, kein Training mit Kundendaten) [5], vLex Vincent. Es gibt deutsche/EU-Startups in diesem Feld; prüfen Sie sie in einem Pilotprojekt.
- A wählen, wenn: Sie lizenzierte Kommentare und Rechtsprechung benötigen, denn nur Verlage dürfen sie rechtlich indexieren. Bestehen Sie auf Antworten mit Quellenverlinkung, EU-Hosting, AVV und keinem Training mit Ihren Daten.
Weg B — Auf Cloud-KI-Diensten aufbauen
- Einsatz für: eigene Vermerke und internes Wissen plus offene Rechtsdaten oder eine RAG-Schicht auf der API eines Verlags, sofern die Lizenz das erlaubt.
- Modelle: Reasoning-LLMs der Spitzenklasse mit Verarbeitung in der EU (Claude, GPT, Gemini über EU-Regionen von Bedrock/Vertex/Azure; Mistral als EU-Anbieter) plus ein mehrsprachiges Embedding-Modell und ein Reranker.
- Offene Datenquellen: Bundesgesetze und -entscheidungen über gesetze-im-internet.de, rechtsprechung-im-internet.de und das neue Portal Rechtsinformationen des Bundes, das eine API bietet und sich noch in der Testphase mit unvollständiger Abdeckung befindet [6]; EUR-Lex und CURIA für EU-Recht.
- Orchestrierung: LlamaIndex / LangGraph / n8n, Elasticsearch/OpenSearch mit Vektorunterstützung oder Qdrant.
- B wählen, wenn: Sie einen abgegrenzten Bestand und ein Entwicklungsteam haben und einen belastbaren Evaluationssatz aufbauen können.
Weg C — Selbst betreiben (Open Source)
- Stack: Open-Weight-LLM (Qwen, Llama, Mistral-Familie oder gpt-oss-Klasse), betrieben mit vLLM; Embeddings wie BGE-M3 oder Qwen3-Embedding; Reranker; PostgreSQL+pgvector oder Qdrant plus OpenSearch; Docling für das PDF-Parsing.
- Hardware: HW3 für ein Modell mit 30–120B Parametern und gutem juristischem Deutsch; HW2 ist für kleine Bestände mit einem kleineren Modell machbar, mit geringerer Qualität bei langem, differenziertem Schlussfolgern.
- Wann: Die Mandantenverschwiegenheit (Anwaltsgeheimnis, § 203 StGB) verbietet die Übermittlung nach außen, oder öffentliche Stellen brauchen die volle Kontrolle. Lizenzen für Bestände gelten auch für selbst betriebene Indizes weiter.
Weg D — Eigenes Training
Feintuning lohnt sich für ein domänenspezifisches Embedding-/Reranker-Modell (Paare aus Frage und einschlägiger Norm/Entscheidung aus den eigenen Recherche-Logs) und für einen Klassifikator zur Zitierprüfung. Ein LLM so zu feintunen, dass es "das Recht kennt", ist nicht sinnvoll: Das Wissen veraltet und lässt sich nicht belegen; halten Sie es im Retrieval. Korpora wie der Open Australian Legal Corpus zeigen das Muster für offene Rechtsdatensätze [7]; für deutsches Recht aus den amtlichen Portalen zusammenstellen und jede Lizenz prüfen.
Stand der Technik (2026)
- Fundiertes RAG mit Zitierprüfung ist der Standard; Anbieter haben agentische, mehrstufige Recherche ergänzt (z. B. Westlaw Advantage, CoCounsel Legal) sowie das Entwerfen direkt in Word [3][5].
- Zuverlässigkeit bleibt die zentrale Grenze: Retrieval-Lücken, falsch gelesene Leitsätze, Zitate überholter Entscheidungen, falsche Rechtsordnung und Fragen mit falscher Prämisse [1]. Anwälte wurden in mehreren Rechtsordnungen sanktioniert, weil sie erfundene Zitate eingereicht hatten; prüfen Sie daher jede Fundstelle an der Primärquelle.
- Evaluation: Öffentliche Benchmarks sind dünn gesät; der Vals Legal AI Report (Update Feb. 2025) schloss die juristische Recherche in seiner ersten Runde aus, und eine separate Studie wurde angekündigt [8]. Bauen Sie einen privaten Testsatz aus echten Fragen mit von Fachleuten verfassten Referenzantworten auf und messen Sie Präzision, Recall und Korrektheit der Zitate.
- Besonderheiten des deutschen Rechts: Kommentare und viele Entscheidungen liegen hinter Bezahlschranken der Verlage, daher stammen die besten deutschsprachigen Antworten derzeit aus verlagsintegrierten Werkzeugen oder lizenzierten Inhalten.
- Fehlerbilder: Veraltetes Recht (Normfassungen), fehlende Mindermeinungen, selbstsicherer Ton, Vermischung von Rechtsordnungen, erfundene Zitate, Prompt Injection über abgerufene Dokumente.
Gemeinsame Bausteine & Kombinationen
- Gleicher RAG-Stack (embedding-text + reranker + vector-db + search-engine + llm-general): KNOW-001 Enterprise Search, KNOW-002 RAG über Unternehmensdokumente, KNOW-009 Fragen und Antworten zu Normen und Compliance, KNOW-007 Patentsuche; ein selbst betriebener Server (HW3) kann sie alle bedienen.
- Dokumentenparsing (ocr-docparse): DOC-014 Parsing für RAG, gemeinsame Pipeline für Urteile und PDFs.
- Wissensgraph: KNOW-013 baut den hier genutzten Zitiergraphen auf.
- Benachbarte Anwendungsfälle: PRED-038 Prognose von Prozessausgängen (andere Aufgabe und höheres Risiko), PERS-015 rechtliche Selbsthilfe für Verbraucher, AGENT-001 für agentische Recherche-Workflows.
- Gemeinsame Guardrails: Schwärzung personenbezogener Daten und Prompt-Injection-Filter, die in allen Rechts-/Compliance-Assistenten wiederverwendet werden.
Aufwand, Kosten & Kennzahlen
- Weg A: Wochen für Pilot und Einführung; Lizenzen meist pro Arbeitsplatz, mit Aufpreis gegenüber der Basisdatenbank.
- Weg B: 2–4 Monate inkl. Einlesen des Bestands, Evaluationssatz und Prüfer; Kosten sind Einlesen, Inferenz und Zeit der Rechtsexperten für die Evaluation.
- Weg C: 3–6 Monate plus laufender Betrieb; GPU-Server und Entwicklerkapazität.
- Weg D: zusätzlich 1–3 Monate für das Feintuning von Embedding/Reranker mit von Fachleuten gelabelten Paaren.
- Kennzahlen: Existenzquote der Zitate (Ziel 100 %), Belegquote der Zitate (Passage stützt die Aussage tatsächlich), Korrektheit der Antwort gegenüber der Experten-Referenz, Recall der wichtigsten Rechtsquellen, Zeit bis zum ersten brauchbaren Vermerk, Anteil der Antworten mit Korrekturbedarf, Vertrauen der Nutzenden und Akzeptanz.
Menschen & Veränderung
Beziehen Sie die Partner bzw. die Leitung der Rechtsabteilung als Entscheider ein, die Juristinnen und Juristen, die das Werkzeug nutzen werden, als Pilotgruppe, IT und Informationssicherheit für Zugriff und Hosting, die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten sowie die Compliance für die Verschwiegenheitspflicht. Holen Sie sie vor der Anbieterauswahl ins Boot, nicht danach.
Betriebsrat: kommt darauf an. Hat die Kanzlei oder Rechtsabteilung einen gewählten Betriebsrat, ist ein Assistent, der protokolliert, welche Beschäftigten was gefragt haben, geeignet, das Verhalten zu überwachen, sodass nach der BAG-Rechtsprechung § 87 Abs. 1 Nr. 6 BetrVG greift; § 90 Abs. 1 Nr. 3 verlangt frühzeitige Information. Öffentliche Stellen beteiligen den Personalrat. Ziehen Sie einen Sachverständigen nach § 80 Abs. 3 und eine Betriebsvereinbarung in Betracht (GUIDE-004).
Datenschutz: Mandatsakten enthalten personenbezogene Daten und oft besondere Kategorien; binden Sie die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten ein, schließen Sie einen AVV (Art. 28 DSGVO) ab und führen Sie eine DSFA durch, wo interne Akten indexiert werden (GUIDE-005).
KI-Kompetenz: Unterstützen Sie die Beschäftigten mit Schulungen zu halluzinierten Zitaten und zur verpflichtenden Prüfung (Art. 4 KI-Verordnung, GUIDE-006). Beginnen Sie mit einer kleinen Pilotgruppe von zwei bis fünf Juristen bei unkritischen Recherchen. Typische Sorge: Haftung und Kompetenzverlust bei Berufseinsteigern; begegnen Sie ihr mit der Regel, dass jede Rechtsquelle an der Primärquelle geprüft wird und Berufseinsteiger weiterhin zuerst selbst entwerfen. Die Entscheidung trifft immer der Jurist bzw. die Juristin.
Risiken, Regulierung & Compliance
- KI-Verordnung (AI Act) (Verordnung 2024/1689): Für Anwälte, Rechtsabteilungen und Compliance ist dies in der Regel keine
Anhang-III-Verwendung (minimales Risiko; Art. 4 KI-Kompetenz gilt, Art. 50 Transparenz, wenn die Öffentlichkeit
direkt mit einem Bot interagiert). Ist das System für die Verwendung durch oder im Auftrag einer Justizbehörde oder in der
alternativen Streitbeilegung bestimmt, um Tatsachen und Recht zu recherchieren, auszulegen und auf Tatsachen anzuwenden, fällt es
unter Anhang III Nr. 8 und wird zum Hochrisiko-System, mit Pflichten für Anbieter und Betreiber [2][9].
Daher
depends. - DSGVO: Mandatsakten enthalten personenbezogene Daten und Daten besonderer Kategorien; AVV mit Anbietern, Verarbeitung in der EU, Datenminimierung, kein Training mit Mandantendaten; bei großen Einführungen ist eine DSFA wahrscheinlich.
- Berufliche Verschwiegenheit: Deutsche Rechtsanwälte müssen die Vertraulichkeit wahren (§ 43a BRAO, § 203 StGB beim Einsatz von Dienstleistern, § 43e BRAO bei Auslagerung); beachten Sie die Hinweise der Bundesrechtsanwaltskammer (BRAK) und Ihre Berufsregeln, bevor Sie Mandantensachverhalte an ein Cloud-Modell senden.
- Haftung: Die Anwältin bzw. der Anwalt bleibt für die Beratung verantwortlich; keine automatisierte Rechtsberatung für Verbraucher, ohne die Grenzen des Rechtsdienstleistungsgesetzes (RDG) geprüft zu haben.
- Urheberrecht/Lizenzen: Kommentare und Datenbanken sind geschützt; prüfen Sie die Lizenzbedingungen vor dem Indexieren.
- Gegenmaßnahmen: ausschließlich Antworten mit Quellenverlinkung, Prüfschritt, versionierte Protokolle, verpflichtende menschliche Prüfung, regelmäßige Evaluation an einem festen Testsatz.
Erste Schritte
- 50–100 echte Rechercheaufgaben mit Referenzantworten von Fachleuten festlegen (auch solche mit falscher Prämisse).
- 2–3 Werkzeuge von Weg A damit testen; die Korrektheit der Zitate messen, nicht nur die Sprachgewandtheit.
- Vertraulichkeit klären: AVV, Datenresidenz, Klausel zum Nicht-Training, Regeln der Rechtsanwaltskammer.
- Beim Eigenbau mit offenen Quellen (Bundesgesetze und -entscheidungen, EUR-Lex) plus den eigenen Vermerken beginnen und einen Zitierprüfer ergänzen.
- Mit einer Regel einführen: Keine Rechtsquelle wird zitiert, ohne dass ein Mensch die Quelle geöffnet hat.
Quellen
- Stanford HAI - "AI on Trial: Legal Models Hallucinate in 1 out of 6 (or More) Benchmarking Queries" (May 2024) - https://hai.stanford.edu/news/ai-trial-legal-models-hallucinate-1-out-6-or-more-benchmarking-queries
- AI Act Explorer - Annex III (high-risk systems, point 8 administration of justice) - https://artificialintelligenceact.eu/annex/3/
- Thomson Reuters - CoCounsel Legal and Westlaw Advantage (product and customer stories) - https://www.thomsonreuters.com/en/press-releases
- Harvey - platform and security overview - https://www.harvey.ai/
- Legora - platform overview - https://legora.com/
- Rechtsinformationen des Bundes (BMJV / DigitalService, test phase, API) - https://testphase.rechtsinformationen.bund.de/
- Open Australian Legal Corpus (example of an open legal dataset, CC BY 4.0) - https://huggingface.co/datasets/isaacus/open-australian-legal-corpus
- Vals Legal AI Report (VLAIR) - https://www.vals.ai/vlair
- Regulation (EU) 2024/1689 (AI Act) - https://eur-lex.europa.eu/eli/reg/2024/1689/oj