Datenbereinigung, Deduplizierung & Stammdatenmanagement

Derselbe Kunde, Lieferant oder dasselbe Produkt existiert dreimal in drei Systemen, mit unterschiedlichen Schreibweisen, Adressen und IDs. KI-gestützte Entitätsauflösung bewertet Datensatzpaare probabilistisch oder mit Embeddings, LLMs normalisieren unordentlichen Freitext und erklären Grenzfälle, und ein Prozess des Stammdatenmanagements (Master Data Management, MDM) führt das Ergebnis zu einem kontrollierten Golden Record zusammen. Typischer Nutzen sind weniger doppelte Sendungen und Zahlungen, verlässliche Berichte und eine solide Basis für jeden anderen KI-Anwendungsfall.

Problem & Nutzen

• Heute: Stammdaten werden von vielen Personen erfasst und aus Zukäufen, Webshops und Altwerkzeugen importiert. Regelbasierte Bereinigung (exakte Schlüssel, Regex, unscharfer Zeichenkettenvergleich) übersieht Varianten wie „Müller GmbH & Co. KG“ gegenüber „Mueller Gmbh“, vertauschte Felder oder Adressen in unterschiedlichen Formaten und erzeugt falsche Zusammenführungen, wenn die Regeln gelockert werden.
• KI-Nutzen: Gelerntes Abgleichen bewältigt Tippfehler, Abkürzungen, Transliteration und unvollständige Datensätze; LLMs vereinheitlichen Freitext (Berufsbezeichnungen, Produktbeschreibungen, Einheiten) und klassifizieren Datensätze; aktives Lernen konzentriert die knappe Zeit der Data Stewards auf Grenzfälle.
• Warum es wichtig ist: Doppelte Lieferanten ermöglichen doppelte oder betrügerische Zahlungen, doppelte Kunden verzerren Kennzahlen und verletzen die Richtigkeits- und Auskunftspflichten der DSGVO (eine Person muss überall gefunden werden). Datenqualität ist zudem eine rechtliche Pflicht bei Trainingsdaten für Hochrisiko-KI (KI-Verordnung Art. 10) [1][2].
• Belegte Nutzenangaben sind überwiegend Fallstudien von Anbietern; messen Sie Ihre eigene Dublettenquote und die Stunden der Data Stewards vor und nach der Einführung.

Varianten

• Kunden-/Kontakt-MDM: B2C- und B2B-Deduplizierung über CRM, ERP, Newsletter und Shop (siehe AGENT-011).
• Lieferanten-MDM: Abgleich juristischer Personen über USt-IdNr., LEI und Register; Verknüpfungen zu Betrug und Sanktionen.
• Produkt-/Material-MDM: Klassifikation, Normalisierung von Attributen, Einheiten (siehe DATA-010).
• Öffentlicher Sektor: Melde-, Unternehmens- und Adressregister, Verknüpfung von Datensätzen zwischen Behörden, Statistik.
• Gesundheitswesen / Forschung: Patientenverknüpfung mit datenschutzfreundlicher Verknüpfung (gehashte Bloom-Filter-Kodierungen); sensible Daten.
• Einmalige Analysten-/Data-Science-Arbeit: eine Tabelle oder einen Datensatz vor der Analyse bereinigen (OpenRefine, pandas, DuckDB).
• Private Nutzung: Kontakte oder Foto-/Dateidubletten auf den eigenen Geräten zusammenführen (in Telefon-Betriebssystemen und Werkzeugen eingebaut).

So funktioniert es

1. Quellen (ERP, CRM, PIM, Dateien)
2. Profiling (Nullquoten, Formate, Ausreißer)
3. Vereinheitlichung (Groß-/Kleinschreibung, Unicode, Adressparsing, Telefon-/USt-IdNr./IBAN-Validierung, Einheitenumrechnung; LLM für Freitext)
4. Blocking (Kandidatenpaare über Schlüssel, phonetische Codes oder Embedding-Nächste-Nachbarn)
5. paarweise Bewertung (Fellegi-Sunter / Gradient Boosting / feingetunter Encoder / LLM als Richter bei schwierigen Fällen)
6. Clustering (Zusammenhangskomponenten, Prüfungen auf transitive Hülle)
7. Survivorship (bester Wert je Feld: Quellenvertrauen, Aktualität, Vollständigkeit)
8. Prüfung durch Data Stewards (Grenzfall-Cluster, Zusammenführungen mit hoher Auswirkung)
9. Golden Record + Querverweis-IDs
10. in Systeme veröffentlichen, Herkunftsnachweis und Möglichkeit zum Aufheben der Zusammenführung behalten

• Blocking vermeidet den Vergleich jedes Paares (quadratischer Aufwand); die Embedding-Suche in einem Vektorindex findet semantische Kandidaten, die schlüsselbasiertes Blocking übersieht.
• Bewertung: Klassische probabilistische Verknüpfung (Fellegi-Sunter, wie in Splink) ist schnell, erklärbar und braucht wenige Labels, sogar unüberwacht über EM. Überwachte Modelle (Gradient Boosting, feingetunte Transformer im Stil von DITTO) gewinnen bei unordentlichem Text. LLMs dienen als Richter für die schwierigen 1–5 % der Paare und um dem Data Steward eine einzeilige Begründung zu schreiben, nicht für den Vergleich aller Paare (Kosten, Latenz).
• Mensch-in-der-Schleife (Human-in-the-Loop): Schwellenwerte legen die Bereiche automatisch zusammenführen / prüfen / kein Treffer fest; Zusammenführungen regulierter oder hochwertiger Datensätze (Lieferanten mit Bankdaten, Patienten) brauchen eine Freigabe; jede Zusammenführung ist umkehrbar.

Datenaufbereitung

Dieser Anwendungsfall ist selbst Datenaufbereitung, braucht aber auch Vorbereitung. Kunden-, Lieferanten- und Produktdatensätze liegen im ERP, CRM, Shopsystem, in der Buchhaltung, in Excel-Listen auf Dateiservern und teils in Papierformularen. Typische Lücken sind Schreibvarianten, fehlende USt-IdNr., alte Adressen, durch Importe entstandene Dubletten, uneinheitliche Einheiten und fehlende Verantwortliche für die Daten.

Schritte der Aufbereitung: (1) alle Systeme und Schattenlisten mit Stammdaten erfassen, siehe PREP-001, PREP-003 und PREP-005; (2) je Bereich einen Data Steward benennen, siehe PREP-004; (3) Zielfelder, Formate und Survivorship-Regeln festlegen (welche Quelle gewinnt), siehe PREP-012; (4) schreibgeschützte Kopien exportieren und Testsätze pseudonymisieren, siehe PREP-022; (5) 200–500 Datensatzpaare als Treffer oder Nichttreffer kennzeichnen, um den Abgleich abzustimmen und zu bewerten, siehe PREP-018 und PREP-020; (6) Zweck und Rechtsgrundlage für die Weiterverwendung der Daten prüfen, siehe PREP-025.

Werkzeuge: OpenRefine für die erste Bereinigung, Splink oder Dedupe für den Abgleich, Dienste zur Adress- und USt-IdNr.-Validierung, DuckDB oder PostgreSQL als Arbeitsspeicher. Grober Aufwandsanteil: über 60 Prozent des Gesamtaufwands, überwiegend Prüfung durch Data Stewards und Abstimmung der Regeln, nicht Modellarbeit. Beginnen Sie mit GUIDE-003; zugehörige Überwachung ist DATA-008.

Umsetzungswege

Welcher Weg für wen

• smb: Weg C, weil Kunden- und Lieferantendaten sensibel sind und quelloffene Entitätsauflösung (z. B. Splink, Dedupe, OpenRefine) auf HW1 läuft und dieselben Werkzeuge mehrere Anwendungsfälle der Datenaufbereitung bedienen.
• enterprise: Weg B, weil Stammdaten zentral und systemspezifisch sind, sodass Abgleichslogik und Abläufe für Data Stewards am besten auf der eigenen Datenplattform mit API-basierter LLM-Normalisierung aufgebaut werden; Standard-MDM-Suiten verursachen hohe Platz- und Lizenzgebühren.
• developer: Weg C, weil offene Bibliotheken volle Kontrolle über Abgleichsregeln, Erklärbarkeit und Herkunftsnachweis geben.
• public: Weg C auf eigener oder souveräner EU-/deutscher Infrastruktur, weil Bürger- und Patientendaten kontrollierte Umgebungen nicht verlassen dürfen.

Weg A — Kaufen (Standardsoftware)

• Unternehmens-MDM-Plattformen: Informatica MDM / CLAIRE, Reltio, Profisee, Tamr, Semarchy xDM (EU, Frankreich), Stibo Systems (EU, Dänemark; stark bei Produktdaten), Syniti, SAP Master Data Governance, IBM, Ataccama ONE (EU, Tschechien), CluedIn (EU, Dänemark). Die meisten liefern inzwischen KI-gestützten Abgleich, LLM-basierte Vorschläge für Datenqualitätsregeln und Copilots für Data Stewards.
• KMU-Werkzeuge: CRM-eigenes Dublettenmanagement (Salesforce, HubSpot, Microsoft Dynamics), Dataladder, WinPure, Openprise, dazu Referenzdienste für Adressen/Unternehmen (Deutsche Post Direkt, Dun & Bradstreet, Creditreform).
• A wählen, wenn: mehrere führende Systeme, laufender Governance-Bedarf, kein Data-Engineering-Team. Prüfen Sie EU-Hosting, Konfigurierbarkeit der Survivorship, Herkunftsnachweis/Aufheben von Zusammenführungen und AVV-Bedingungen.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Data-Warehouse-nativ: dbt-/SQL-Modelle auf Snowflake, Databricks, BigQuery oder Microsoft Fabric mit Embedding-Funktionen und LLM-Funktionen (z. B. Cortex, AI Functions, Vertex AI) für Normalisierung und Entscheidung über Treffer.
• LLM-Aufrufe: Extraktion mit strukturierter Ausgabe in ein Schema (Claude, Gemini, GPT, Mistral — EU-Regionen oder EU-Anbieter bevorzugt) für Adress-/Namensparsing, Klassifikation und Paarbewertung; Embeddings über Mistral, Cohere oder Azure OpenAI.
• Orchestrierung: Airflow/Dagster/n8n; Referenzdaten über VIES (USt-Prüfung), GLEIF (LEI) und nationale Unternehmensregister.
• B wählen, wenn: Sie bereits eine Datenplattform betreiben und eigene Bereiche oder enge Kostenkontrolle brauchen.

Weg C — Selbst betreiben (Open Source)

• Entitätsauflösung: Splink (britisches Justizministerium; DuckDB-/Spark-/Athena-Backends), Zingg (aktives Lernen), dedupe (Python), recordlinkage, Forschungscode im Stil von Ditto/Magellan; OpenRefine für interaktive Bereinigung.
• Qualitätsregeln: Great Expectations, Soda Core, pandera (siehe DATA-008). Adressparsing: libpostal, Pelias.
• MDM-Hub: Pimcore (EU, Österreich) oder Alternativen unter Apache-Lizenz; kleine offene LLMs (Qwen3, Llama, Mistral, Phi-Klasse) über Ollama oder vLLM für die Normalisierung, Embeddings bge-m3 / multilingual-e5 mit pgvector, Qdrant oder OpenSearch.
• Hardware: Die meiste Arbeit läuft auf CPU/DuckDB (HW1); ein 7–14B-LLM für Entscheidungen oder die Bereinigung von Freitext läuft komfortabel auf HW2.

Weg D — Eigenes Training

Lohnt sich bei großen fachspezifischen Mengen (z. B. Millionen Produkttitel oder Patientendatensätze), bei denen allgemeine Abgleichsverfahren an ihre Grenze stoßen. Es braucht einige tausend gekennzeichnete Paare (Treffer / kein Treffer), meist aus den Entscheidungen der Data Stewards gewonnen; einen kleinen Encoder oder Cross-Encoder als Paarklassifikator feintunen. Einen zurückgehaltenen Testsatz behalten, um Präzision und Trefferquote (Recall) zu verfolgen.

Stand der Technik (2026)

• Entitätsabgleich mit LLMs funktioniert bei Benchmark-Datensätzen im Zero- und Few-Shot-Betrieb gut und lässt sich mit wenigen gekennzeichneten Daten auf neue Bereiche übertragen, kostet aber je Paar mehr als feingetunte Encoder; das erfolgreiche Muster ist die Kaskade: zuerst günstiges Blocking und günstige Modelle, das LLM nur für mehrdeutige Paare [3].
• Splink v4 und DuckDB-basierte Pipelines machen probabilistische Verknüpfung über zig Millionen Datensätze auf einem einzelnen Rechner machbar [4].
• Agentische Datenbereinigung: Anbieter und offene Projekte lassen einen Agenten eine Tabelle profilieren, Bereinigungsregeln vorschlagen, in einer Sandbox ausführen und einen Data Steward um Freigabe bitten; MDM-Anbieter bewerben „agentische“ Betreuung, mit unterschiedlichem Reifegrad.
• Grenzen und Fehlerbilder: LLMs können gültige, aber ungewöhnliche Werte stillschweigend „korrigieren“ (halluzinierte Normalisierung), verschiedene Personen mit häufigen Namen oder Familienmitglieder an einer Adresse zusammenführen und driften, wenn sich Quellformate ändern. Falsche Zusammenführungen sind teurer als übersehene Dubletten; daher auf Präzision abstimmen, Herkunftsnachweis verlangen und Fairness über Namensherkunft hinweg testen (Transliterationsfehler treffen nicht-westliche Namen häufiger).

Gemeinsame Bausteine & Kombinationen

• Gemeinsamer Stack: Embeddings + Vektorindex bedienen DOC-014 und KNOW-013; der LLM-Normalisierer kann auch die Produktanreicherung DATA-010 und das Schema-Mapping von Partnerdaten DATA-022 übernehmen.
• Vor-/nachgelagert: DATA-008 (Überwachung erkennt neue Qualitätsrückschritte), DATA-007 (Katalog und Metadaten), DATA-023 (Kennzeichnung von Abgleichspaaren), AGENT-011 (CRM-Hygiene), KNOW-026 (Entitätsauflösung bei Untersuchungen), DATA-005 (synthetische Daten, um Pipelines ohne echte personenbezogene Daten zu testen).
• Golden Records sind die Grundlage für Analysen (DATA-001) und Betrugsprüfungen bei doppelten Lieferanten.

Aufwand, Kosten & Kennzahlen

• Weg A: 3–12 Monate für ein MDM-Programm über mehrere Bereiche; Lizenzen sind der Hauptkostenfaktor, die Arbeit an Prozessen und Verantwortlichkeiten übersteigt oft die technische Arbeit.
• Weg B/C: ein erster Bereich (z. B. Kunden) in 4–10 Wochen mit einem Data Engineer und einem Data Steward; die LLM-Kosten bleiben gering, wenn es nur für mehrdeutige Paare genutzt wird.
• Kennzahlen: Dublettenquote, Präzision / Trefferquote (Recall) des Abgleichs auf einer gekennzeichneten Stichprobe, Anteil automatisch zusammengeführt vs. geprüft, Stunden der Data Stewards je 1.000 Datensätze, Vollständigkeit / Gültigkeit wichtiger Felder, Rücklauf- und Unzustellbarkeitsquoten, Fälle doppelter Zahlungen, Zeit bis zur Beantwortung eines Betroffenenersuchens.

Menschen & Veränderung

Stammdaten berühren fast jede Abteilung, binden Sie daher von Anfang an die Abteilungsleitungen von Vertrieb, Einkauf und Finanzen gemeinsam mit der Geschäftsleitung ein; sie müssen sich einigen, welcher Datensatz bestehen bleibt. Dateneigner und ein benannter Data Steward treffen die endgültigen Entscheidungen über Grenzfälle bei Zusammenführungen. Die IT übernimmt Exporte und das Zurückschreiben in Quellsysteme, und Lieferanten oder Kunden müssen möglicherweise über korrigierte Daten informiert werden.

Betriebsrat: abhängig. Kunden- und Lieferantendaten allein lösen keine Mitbestimmung aus, Beschäftigtenstammdaten oder die Protokollierung der Prüfarbeit der Data Stewards können dies aber, dann greift § 87 Abs. 1 Nr. 6 BetrVG, und § 90 Abs. 1 Nr. 3 verlangt rechtzeitige Information über geänderte Arbeitsabläufe. Öffentliche Stellen beteiligen den Personalrat. Datenschutz: Es werden personenbezogene Daten verarbeitet; beziehen Sie daher die(den) Datenschutzbeauftragte(n) ein, schließen Sie mit jedem Auftragsverarbeiter einen Auftragsverarbeitungsvertrag (AVV), dokumentieren Sie die Rechtsgrundlage und führen Sie eine Datenschutz-Folgenabschätzung (DSFA) durch, wenn große Bürger-, Patienten- oder Beschäftigtendatensätze abgeglichen werden.

KI-Kompetenz: Unterstützen Sie die Data Stewards mit einer Schulung dazu, wie Abgleichswerte funktionieren und wo die LLM-Normalisierung falsch liegen kann, siehe GUIDE-006. Starten Sie einen Pilot mit einem Bereich (zum Beispiel Kunden einer Region), halten Sie eine Prüfwarteschlange durch Menschen für unsichere Treffer vor, führen Sie unterhalb eines Schwellenwerts nie automatisch zusammen und machen Sie jede Zusammenführung umkehrbar. Begegnen Sie der Angst vor Datenverlust mit Sicherungen und Herkunftsnachweis. Leitfäden: GUIDE-005, GUIDE-008, GUIDE-009.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): in der Regel minimales Risiko (interne Datenaufbereitung). Relevant wird sie, wenn die entstehenden Daten in Hochrisiko-Systeme einfließen (Kreditscoring, Personalwesen, Anspruchsprüfung bei Leistungen): Dann gelten die Pflichten zur Daten-Governance nach Art. 10, und Verknüpfungsfehler, die Einzelne betreffen, müssen kontrolliert werden. KI-Kompetenz (Art. 4) gilt für das Personal. Keine Praxis nach Art. 5, aber nutzen Sie Verknüpfung nicht, um verdeckte Profile oder Scoring von Einzelpersonen zu erstellen [2].
• DSGVO: Kunden- und Lieferantenstammdaten sind personenbezogene Daten. Es braucht eine Rechtsgrundlage, Zweckbindung (führen Sie keine Datensätze zusammen, die zu unvereinbaren Zwecken erhoben wurden), Datenminimierung, Richtigkeit (Art. 5 Abs. 1 Buchst. d), Betroffenenrechte über zusammengeführte Kopien hinweg, AVV mit Anbietern, keine personenbezogenen Daten an LLM-Endpunkte außerhalb der EU ohne Garantien. Die Anreicherung mit Daten Dritter braucht eine eigene Rechtsgrundlage [5].
• Geschäftliche Risiken: unberechtigte Zusammenführungen (gemeinsames Postfach, Familie, namensgleiche Personen), die Daten zwischen Konten offenlegen; das Löschen des „unterlegenen“ Datensatzes zerstört Prüfpfade (GoBD, Aufbewahrung). Gegenmaßnahme: Soft-Merge mit Querverweisen, Funktion zum Aufheben der Zusammenführung, Prüfprotokoll, Schwellenwerte nach Risikoklasse, Qualitätssicherung durch Stichproben.

Erste Schritte

1. Wählen Sie einen Bereich (Kunden oder Lieferanten), profilieren Sie ihn und kennzeichnen Sie ~500 Datensatzpaare als Treffer / Nichttreffer als Ausgangsbasis.
2. Vereinheitlichen Sie zuerst (Adressen, USt-IdNr., Rechtsformen): Allein das beseitigt viele Dubletten.
3. Lassen Sie Splink oder Zingg als Prototyp laufen; vergleichen Sie mit dem eingebauten Abgleich Ihres CRM auf demselben gekennzeichneten Satz.
4. Ergänzen Sie die LLM-Entscheidung nur für den mehrdeutigen Bereich; protokollieren Sie Erklärungen für die Data Stewards.
5. Legen Sie Survivorship-Regeln und einen Dateneigner fest und schreiben Sie dann Golden Records über einen geprüften, umkehrbaren Prozess zurück.

Quellen

1. European Commission / EUR-Lex — Regulation (EU) 2024/1689 (AI Act), Art. 10 data and data governance — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
2. AI Act Service Desk (European Commission) — https://ai-act-service-desk.ec.europa.eu/en
3. Narayan et al. — Can Foundation Models Wrangle Your Data? (VLDB 2022) — https://arxiv.org/abs/2205.09911
4. Splink documentation (UK Ministry of Justice) — https://moj-analytical-services.github.io/splink/
5. Regulation (EU) 2016/679 (GDPR) — https://eur-lex.europa.eu/eli/reg/2016/679/oj
6. Zingg entity resolution — https://github.com/zinggAI/zingg
7. OpenRefine — https://openrefine.org/
8. Li et al. — Deep Entity Matching with Pre-Trained Language Models (Ditto) — https://arxiv.org/abs/2004.00584
9. Semarchy xDM — https://semarchy.com/