Deepfake-Erkennung (Stimme/Video, CEO-Betrug)

Das Klonen einer Stimme braucht nur Sekunden an Audio, und Gesichtstausch in Echtzeit läuft auf einem Laptop; „Ich habe die Stimme erkannt“ ist daher kein Identitätsnachweis mehr. Die Deepfake-Erkennung bewertet Audio, Video und Bilder in Telefonaten, Videokonferenzen und beim Onboarding auf synthetische oder manipulierte Inhalte. Weil Detektoren probabilistisch arbeiten und Angreifer sich anpassen, wirkt sie nur als eine Schicht neben harten Prozesskontrollen (Rückruf, Vier-Augen-Prinzip, Zahlungslimits).

Problem & Nutzen

• Heute: Betrüger geben sich per Telefon und Video als Führungskräfte, Lieferanten oder Angehörige aus, um Zahlungen, Änderungen von Bankdaten, Passwort-Rücksetzungen oder die Herausgabe von Daten auszulösen. Der Referenzfall ist der Vorfall bei Arup 2024: Ein Mitarbeiter in Hongkong zahlte rund 25 Millionen USD nach einem Videoanruf, in dem der Finanzvorstand und Kollegen Deepfakes waren [1]. Contact-Center erleben geklonte Stimmen gegen Sprachauthentifizierung und Mitarbeitende; die Personalabteilung sieht falsche Bewerber in Online-Vorstellungsgesprächen.
• KI-Nutzen: eine automatisierte Zweitmeinung zu Medien, die Menschen nicht zuverlässig beurteilen können, im großen Maßstab und in Echtzeit angewendet, plus Belege für Untersuchungen.
• Ehrliche Einordnung des Nutzens: Genauigkeitsangaben der Anbieter sind selten unabhängig überprüft und hängen von Codec, Sprache und Generator ab. Eine unabhängige Auswertung unter realen Bedingungen ergab, dass offene Detektoren deutlich schlechter abschneiden als auf akademischen Benchmarks [5]. Der Wert entsteht aus der Kombination von Erkennung und Prozesskontrollen, nicht aus einem einzelnen Wert.

Varianten

• Abwehr von Führungskräfte-/CEO-Betrug (Finanzen, KMU und Großunternehmen): Prüfung von Meetings und Telefonaten für Zahlungsfreigebende, plus verbindliche Rückrufregeln.
• Sprachsicherheit im Contact-Center (Banken, Versicherungen, Telekommunikation): Bewertung synthetischer Sprache und von Liveness bei eingehenden Anrufen, kombiniert mit Signalen zu Anrufergerät und Netz.
• Remote-Onboarding / KYC: Erkennung von Injection-Angriffen und Gesichtstausch bei der Identifizierung per Selfie/Video (Überschneidung mit ANOM-014).
• Personalgewinnung: Erkennen von vorgetäuschten Bewerbern in Videointerviews.
• Medien/Redaktionen und öffentlicher Sektor: forensische Prüfung nutzergenerierter Inhalte (dateibasiert).
• Private Nutzung: Betrugsmaschen mit „Notruf“ aus der Familie; praktischer Schutz sind ein gemeinsames Codewort und Rückruf, nicht Software. Zur Sensibilisierung siehe SEC-024.

So funktioniert es

1. Medienquelle (Telefon/SIP, Meeting-Bot oder Plug-in, Upload, KYC-SDK)
2. Erfassung & Vorverarbeitung (Resampling, Codec-Normalisierung, Segmentierung von Gesicht/Stimme)
3. Detektoren: Audio-Anti-Spoofing | Gesichtsfälschung im Video | Prüfung auf Injection/virtuelle Kamera | Metadaten & Herkunft (C2PA)
4. Fusion mit Kontext (neues Anruferendgerät, ungewöhnliche Anfrage, Führungskraft genannt, Dringlichkeit)
5. Risikowert + Erklärung (welche Merkmale, welches Zeitfenster)
6. Richtlinienmaschine: erlauben | Nutzer warnen | Verifizierung über zweiten Kanal erzwingen | blockieren / ans SOC eskalieren
7. Falldatensatz, Aufbewahrung der Belege, Feedback-Labels

• Audio: Anti-Spoofing-Modelle (z. B. Graph-Attention-Netze im Stil von AASIST, SSL-Frontends wie wav2vec 2.0), trainiert auf Korpora wie ASVspoof [6]; die Leistung sinkt bei Telefon-Codecs und unbekannten Generatoren.
• Video/Bild: Detektoren für Artefakte und zeitliche Konsistenz, zunehmend auf Basis von VLMs bzw. Foundation-Modellen; dazu die Erkennung virtueller Kameras und von Stream-Injection, die bei KYC oft wichtiger ist als das Gesicht selbst.
• Herkunft: C2PA-Inhaltsnachweise und die von der KI-Verordnung (AI Act) vorgeschriebene maschinenlesbare Kennzeichnung helfen bei Dateien kooperierender Generatoren, fehlen aber in Live-Streams unter Kontrolle des Angreifers [3][4].
• Mensch-in-der-Schleife (Human-in-the-Loop): Ein hoher Wert beschuldigt nie automatisch eine Person; er löst eine Verifizierung aus. Die Zahlungsfreigabe bleibt bei Menschen unter Vier-Augen-Kontrolle.

Datenaufbereitung

Das System braucht Audio- und Videostreams, Anrufmetadaten und den geschäftlichen Kontext für die Risikobewertung. Audio stammt aus der Telefonanlage oder dem Contact-Center, Video aus Teams/Zoom/Webex und der Kontext aus dem ERP (Lieferantenstammdaten, Zahlungsanträge) und dem Verzeichnis der Führungskräfte.

Typische Lücken: Anrufe werden nicht oder nur mit schlechten Codecs aufgezeichnet, es gibt keine Liste, wer was freigeben darf, Stammdatenänderungen ohne dokumentierte Rückrufnummern, keine Referenz-Stimmproben und keine beschrifteten Beispiele echter oder gefälschter Anrufe. Aufzeichnungen sind personenbezogene Daten und unterliegen oft Einwilligungs- und Aufbewahrungsgrenzen.

Schritte der Aufbereitung: (1) erfassen, welche Kanäle es gibt und welche Aufzeichnungen rechtlich zulässig sind (PREP-025); (2) die Freigaberegeln für Zahlungen und Stammdaten sowie geprüfte Rückrufnummern im ERP bereinigen (PREP-005, PREP-012); (3) gemeinsam mit dem Sicherheitsteam einen Testsatz aus echten und synthetischen Proben aufbauen (PREP-018); (4) Rückmeldungen der Analysten zu Fehlalarmen als Labels erfassen (PREP-021); (5) Aufbewahrung festlegen und gespeicherte Belege pseudonymisieren (PREP-022).

Werkzeuge: die APIs der Telefonie- und Meeting-Plattformen, ein internes Wiki für das Verifizierungsverfahren. Grober Aufwandsanteil: etwa 20 bis 30 Prozent, vor allem Prozessbereinigung und Einwilligungsregeln statt technischer Datenaufbereitung.

Umsetzungswege

Welcher Weg für wen

• enterprise: B, weil die Erkennung in die eigene Telefonie, Meetings und KYC-Abläufe integriert und mit Regeln zur Zahlungsfreigabe kombiniert werden muss, was Standardwerkzeuge nur teilweise abdecken.
• smb: A, weil der realistische erste Schritt ein ausgereiftes Erkennungs-Add-on für Meetings oder ein Contact-Center-Produkt in Verbindung mit einfachen Regeln für Rückruf und Vier-Augen-Prinzip ist; eigene Detektoren zu bauen ist unrealistisch.
• developer: B, weil Detektor-APIs und offene Modelle (z. B. Forschungsmodelle für Anti-Spoofing) in Produkte und Onboarding-Abläufe eingebettet werden können.

Weg A — Kaufen (empfohlen)

• Multimodale Plattformen: Reality Defender (API, Integrationen für Meetings und Contact-Center), GetReal Security (Forensik), Sensity AI, Hive, Resemble AI Detect.
• Spezialisten für Stimme/Contact-Center: Pindrop (Bewertung synthetischer Sprache und von Liveness mit Geräte- und Netzsignalen), Daon, ID R&D / Mitek (Liveness bei Stimme und Gesicht), Produkte aus dem Umfeld von Nuance/Microsoft im Bankwesen.
• Anbieter aus der EU und in der EU hostbare Optionen: das niederländische DuckDuckGoose; von Idiap abgeleitete und andere europäische Identitätsanbieter wie Veridas (ES), IDnow (DE), Signicat (NO) und Onfido/Entrust für die Erkennung von Injection-Angriffen bei KYC. Prüfen Sie den Datenstandort in der EU und die Bedingungen zur Auftragsverarbeitung.
• A wählen, wenn: Ihnen ML-Personal fehlt und Sie Integrationen für Meetings/Telefonie brauchen. Pilotieren Sie mit Ihren eigenen aufgezeichneten Anrufen und Codecs; fragen Sie nach Testergebnissen Dritter (z. B. iBeta/ISO 30107-3 für Präsentationsangriffe) statt nach Marketing-Genauigkeit.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Für die Erkennung eignen sich allgemeine LLM-APIs schlecht (führende multimodale Modelle beurteilen Echtheit unzuverlässig); nutzen Sie sie nur für Erklärungs- und Triage-Texte.
• Praktischer Aufbau: Aufzeichnungs-Hooks für Telefonie/Meetings (SIP-Aufzeichnung, Compliance-Aufzeichnungs-APIs von Teams/Zoom) → Erkennungs-API eines Anbieters (z. B. Reality Defender, Resemble Detect) → Workflow-Engine (n8n, Power Automate) → Ticket-/Teams-Warnung. Herkunftsprüfungen mit dem quelloffenen C2PA-SDK [3].

Weg C — Selbst betreiben (Open Source)

• Audio: AASIST und verwandte ASVspoof-Baselines, SpeechBrain, Feintunings von wav2vec 2.0 / XLS-R [6].
• Video: Detektoren im Stil von FaceForensics++, die Modellsammlung von DeepfakeBench [7]; C2PA-Referenzwerkzeuge.
• Hardware: HW2 bewältigt die Echtzeitbewertung von Dutzenden Audiostreams; HW1 genügt für Audio im Batch.
• Der Betriebsaufwand ist hoch: Modelle verlieren an Güte, sobald neue Generatoren erscheinen, und müssen regelmäßig neu bewertet werden. Der Selbstbetrieb ist vor allem durch Anforderungen an die Datensouveränität gerechtfertigt (Anrufaufzeichnungen, biometrische Daten).

Weg D — Eigenes Training

Lohnt sich für große Contact-Center oder Banken mit eigenen Codecs, Sprachen (deutsche Dialekte, Türkisch, Polnisch) und Angriffstelemetrie. Es braucht Tausende echte Anrufe sowie synthetische Proben aus vielen aktuellen Generatoren (offene und kommerzielle TTS-/Stimmkonvertierungsverfahren), die unter rechtlichen und ethischen Kontrollen erzeugt werden; vierteljährlich aktualisieren.

Stand der Technik (2026)

• Generatoren erzeugen heute Stimmkonvertierung und Gesichtstausch in Echtzeit mit geringer Latenz; die Erkennung ist ein Wettlauf ohne stabilen Benchmark-Vorsprung. Akademische Benchmarks (ASVspoof 5, DeepfakeBench) überschätzen die Leistung in der Praxis; Auswertungen unter realen Bedingungen zeigen deutliche Einbrüche [5][6][7].
• Trend: Verschiebung von „Ist diese Datei gefälscht?“ hin zu Liveness und Kanalintegrität (Erkennung virtueller Kameras und von Injection, Geräteattestierung) und zu Herkunftsnachweisen (C2PA, Wasserzeichen) auf Seite der Generatoren.
• Trend: Erkennung, die in Meeting-Plattformen und Contact-Center-Suiten eingebettet ist statt eigenständig zu laufen.
• Grenzen: Fehlalarme bei schlechten Verbindungen, komprimiertem Audio, Akzenten und Hilfsmitteln der Barrierefreiheit (Stimmprothesen, Echtzeit-Übersetzung, Rauschfilter); Fehlerkennungen bei unbekannten Generatoren; gezielte Umgehung, sobald der Detektor bekannt ist. Werte sind kein Beleg für Schuld.

Gemeinsame Bausteine & Kombinationen

• Gemeinsame Fähigkeiten: Stacks für audio-classification und face-biometrics mit ANOM-014 (Ausweisdokument und Liveness) und CONV-002 (Sprachagenten, bei denen die Offenlegung Bot oder Mensch wichtig ist).
• Kombinierbar mit: SEC-002 Phishing (die E-Mail, die dem Anruf vorausgeht), SEC-005 UEBA (auffälliges Zahlungs- oder Anmeldeverhalten), ANOM-009 und ANOM-001 (Kontrollen gegen Zahlungsbetrug), SEC-001 (SOC-Triage der Alarme), SEC-021 (Identitätsmissbrauch außerhalb Ihres Perimeters), SEC-024 (simuliertes Vishing und Sensibilisierungsschulungen), ANOM-015 (Kennzeichnung und Herkunft KI-generierter Inhalte).

Aufwand, Kosten & Kennzahlen

• Weg A: Tage bis Wochen für den Pilot; die Preise gelten meist pro Minute/Arbeitsplatz/API-Aufruf und werden auf Anfrage genannt.
• Weg B: 1-3 Monate inkl. Telefonie-Integration.
• Weg C/D: 3-6+ Monate und laufende Modellpflege.
• Kennzahlen: Erkennungsrate und Fehlalarmquote auf Ihren eigenen Kanälen, Zeit bis zur Warnung, Anteil der hochwertigen Zahlungsanträge mit abgeschlossenem Rückruf, blockierte Versuche, Schäden durch Vorfälle, Arbeitslast der Prüfer.

Menschen & Veränderung

Die Geschäftsleitung und die Finanzleitung verantworten die Regeln zur Zahlungsfreigabe; die oder der Informationssicherheitsbeauftragte und die IT integrieren und betreiben die Erkennung; die oder der Datenschutzbeauftragte bewertet die Analyse von Stimme und Gesicht; Personalabteilung und Betriebsrat sind einzubeziehen, weil Anrufe von Beschäftigten analysiert werden. Informieren Sie Kunden und Lieferanten, wo ihre Stimmen geprüft werden.

Betriebsrat: ja. Die Analyse von Anrufen und Meetings der Beschäftigten ist ein System, das zur Überwachung von Verhalten geeignet ist, daher greift § 87 Abs. 1 Nr. 6 BetrVG; § 90 Abs. 1 Nr. 3 verlangt eine frühzeitige Unterrichtung. Vereinbaren Sie Umfang, Aufbewahrung und ein Verbot, die Werte für Leistungsbeurteilungen zu nutzen (GUIDE-004). Öffentlicher Dienst: Personalrat.

Datenschutz: Stimme und Gesicht sind bei einer Nutzung zur Identifizierung wahrscheinlich biometrische Daten, daher ist voraussichtlich eine DSFA (Art. 35 DSGVO) nötig, dazu ein AVV mit dem Anbieter (GUIDE-005). Prüfen Sie, ob der Fall unter die Transparenz- oder Biometrie-Regeln der KI-Verordnung (AI Act) fällt (GUIDE-014).

KI-Kompetenz: Art. 4 der KI-Verordnung (AI Act) verlangt, dass Arbeitgeber die KI-Kompetenz der Beschäftigten fördern; führen Sie kurze Sensibilisierungstermine mit einer Live-Demo eines Stimmklons für Finanzen, Assistenzen und das Contact-Center durch (GUIDE-006). Starten Sie den Pilot mit dem Finanzteam. Typische Sorgen: „Werde ich von einer Maschine beschuldigt?“ und Fehlalarme. Ein hoher Wert beschuldigt nie eine Person; er löst eine Verifizierung über einen zweiten Kanal aus, und Zahlungen bleiben unter Vier-Augen-Kontrolle (GUIDE-008).

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): Die Einstufung hängt von der Nutzung ab. Reine Betrugs-/Sicherheitserkennung hat in der Regel minimales oder begrenztes Risiko. Biometrische Fernverifizierung und -identifizierung kann Hochrisiko sein (Anhang III), und biometrische Kategorisierung oder das Ableiten von Emotionen ist eingeschränkt; die Verbote nach Art. 5 gelten für die Emotionserkennung am Arbeitsplatz und für bestimmte biometrische Nutzungen, erweitern Sie Detektoren daher nicht darauf, aus Stimme oder Gesicht Emotion, Ehrlichkeit oder Stress abzuleiten. Anbieter generativer Systeme müssen synthetische Ausgaben kennzeichnen, und Betreiber müssen Deepfakes offenlegen (Art. 50) [2].
• DSGVO: Stimm- und Gesichtsdaten, die zur Identifizierung oder Verifizierung von Personen analysiert werden, können biometrische Daten nach Art. 9 sein; Aufzeichnungen von Beschäftigten werfen Fragen des Betriebsrats sowie nach Art. 88 / nationalem Beschäftigtendatenschutz auf (in Deutschland Mitbestimmung nach BetrVG). Erforderlich sind eine Rechtsgrundlage, eine DSFA, Transparenz gegenüber den Teilnehmenden, Datenminimierung und kurze Aufbewahrung. Speichern Sie Stimmprofile nicht länger als nötig.
• Branchenregeln: Pflichten zum Risikomanagement nach NIS2 und DORA für den Finanzsektor; Hinweise von BaFin/EBA zum Remote-Onboarding; Europol und nationale Behörden veröffentlichen Bedrohungsanalysen zu Deepfakes [8].
• Risiken: zu starkes Vertrauen in Werte, falsche Beschuldigungen, Benachteiligung untypischer Stimmen, Abhängigkeit vom Anbieter (Vendor Lock-in), Umgehung der Detektoren. Gegenmaßnahmen: mehrschichtige Kontrollen, menschliche Prüfung, Tests auf Verzerrungen, regelmäßiges Red Teaming mit zulässigen synthetischen Proben, von der Erkennung unabhängige Verfahrensregeln.

Erste Schritte

1. Definieren Sie Anfragen mit hohem Risiko (Zahlungen über einem Schwellenwert, Änderungen von Bankdaten, Rücksetzen von Zugangsdaten) und verlangen Sie unabhängig von KI einen Rückruf über einen zweiten Kanal an eine bekannte Nummer sowie eine Freigabe nach dem Vier-Augen-Prinzip.
2. Führen Sie eine Planübung mit einem Deepfake-Finanzvorstand-Szenario durch; informieren Sie Finanzen, Assistenzen und den IT-Servicedesk.
3. Pilotieren Sie zwei Anbieter des Wegs A mit aufgezeichneten internen Proben und Ihren Telefonie-Codecs; fordern Sie Testberichte an.
4. Schließen Sie eine DSFA ab und binden Sie den Betriebsrat ein, bevor Sie Beschäftigte oder Meetings prüfen.
5. Legen Sie ein Eskalationsprotokoll fest und speisen Sie Alarme in die Triage von SEC-001 ein; prüfen Sie die Kennzahlen vierteljährlich.

Quellen

1. CNN — Arup revealed as victim of USD 25 million deepfake scam — https://edition.cnn.com/2024/05/16/tech/arup-deepfake-scam-loss-hong-kong-intl-hnk
2. Regulation (EU) 2024/1689 (AI Act), Art. 5 and Art. 50 — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
3. C2PA — Content Credentials specification and SDK — https://c2pa.org/
4. European Commission — Code of practice on marking and labelling AI-generated content — https://digital-strategy.ec.europa.eu/en/policies/code-practice-ai-generated-content
5. Chandra et al. — Deepfake-Eval-2024: in-the-wild deepfake benchmark — https://arxiv.org/abs/2503.02857
6. ASVspoof 5 paper and AASIST baseline — https://arxiv.org/abs/2502.08857 ; https://github.com/clovaai/aasist
7. DeepfakeBench — https://github.com/SCLBD/DeepfakeBench
8. Europol — Facing reality? Law enforcement and the challenge of deepfakes — https://www.europol.europa.eu/publications-events/publications/facing-reality-law-enforcement-and-challenge-of-deepfakes
9. Reality Defender — https://www.realitydefender.com/ ; Pindrop — https://www.pindrop.com/
10. BSI (Germany) — Künstliche Intelligenz (topic page) — https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Kuenstliche-Intelligenz/kuenstliche-intelligenz_node.html