Moderation von Bild- und Videoinhalten (Nacktheit, Gewalt, CSAM, terroristische Inhalte)

Jeder Dienst, der Nutzern das Hochladen von Bildern oder Videos erlaubt (soziale Netzwerke, Marktplätze, Dating, Spiele, Foren, Cloud-Speicher, Werbeplattformen), muss illegale und richtlinienwidrige Bildinhalte finden und darauf reagieren. Der Abgleich perzeptueller Hashes erfasst bekanntes Material, Bildklassifikatoren und VLMs erfassen neues Material, und geschulte menschliche Moderatoren entscheiden die schwierigen Fälle. In der EU wird der Ablauf durch den DSA, die Verordnung gegen terroristische Online-Inhalte und die CSAM-Vorschriften geprägt, daher sind Prüfpfade, Beschwerden und Berichte ebenso wichtig wie die Erkennungsgenauigkeit.

Problem & Nutzen

• Heute: Das Volumen übersteigt die manuelle Prüfung bei Weitem. Plattformen kombinieren Nutzermeldungen, Hash-Abgleich und ML-Klassifikatoren; Moderatoren (oft ausgelagert) sehen verstörendes Material mit dokumentierten Folgen für ihr Wohlbefinden.
• KI-Nutzen: Die automatische Vorfilterung entfernt den Großteil eindeutiger Verstöße und eindeutig unbedenklicher Inhalte, priorisiert die Warteschlange nach Schweregrad, verringert die Belastung der Moderatoren (Verpixeln, Graustufen, Ton aus, Zuschneiden) und verkürzt die Zeit bis zur Entfernung, was bei festen Fristen wie der Einstundenregel für terroristische Inhalte zählt.
• Rechtlicher Treiber: Der Digital Services Act (Verordnung 2022/2065) verlangt Melde- und Abhilfeverfahren, Begründungen, internes Beschwerdemanagement und, für große Plattformen, Risikobewertung und Transparenzberichte [1]. Die Verordnung (EU) 2021/784 verpflichtet Hostingdienste, terroristische Inhalte innerhalb einer Stunde nach einer Entfernungsanordnung einer zuständigen Behörde zu entfernen [2].
• Es gibt keine belegte allgemeingültige Genauigkeitszahl; Präzision und Trefferquote hängen stark von Kategorie, Richtliniendefinition und Inhaltsmix ab, messen Sie daher an Ihren eigenen Daten.

Varianten

• Soziale Netzwerke / UGC-Plattformen: Bilder, Kurzvideo, Livestream, Profilfotos, mit dem vollständigen DSA-Verfahren.
• Marktplätze und Kleinanzeigen: Fotos von Angeboten (Waffen, Nacktheit, Fälschungen, Hasssymbole); Überschneidung mit der Produktkonformität.
• Messaging und Cloud-Speicher: Hash-basierte Erkennung bekannter CSAM; Ende-zu-Ende-Verschlüsselung macht dies rechtlich und technisch umstritten.
• Dating, Spiele, Kinderdienste: strengere Richtlinien zu Nacktheit und Grooming-nahen Inhalten, kombiniert mit Altersverifikation (VIS-029).
• Werbenetzwerke und Verlage: Prüfung von Werbemitteln anhand der Werberichtlinien.
• Öffentlicher Sektor / Hotlines / Trusted Flagger: Vorsortierung von Bürgermeldungen, Werkzeuge für Hotline-Analysten (z. B. INHOPE-Netzwerk, eco, FSM in Deutschland), Meldestellen nach der TCO-Verordnung; die forensische Arbeit mit sichergestellten Medien ist getrennt (VIS-050).
• Livestream-Moderation: Abtasten einzelner Bilder plus Audio. Die Moderation von Live-Sprachchat gehört zu SPEECH-023; Text zu LANG-014.

So funktioniert es

1. upload / stream segment
2. normalise (decode, keyframes every n s, thumbnails, audio split)
3. known-material check: perceptual hashes (PhotoDNA, PDQ/TMK+PDQF, CSAI Match for video) vs. hash lists
4. classifiers/VLM: nudity, violence/gore, weapons, self-harm, hate symbols, extremist insignia, minors-risk signals
5. policy engine: category + confidence + context (account age, audience, geography)
6. action
7. auto-action only above high-confidence thresholds (block, blur, age-gate, limit reach)
8. human review queue (severity-ranked, wellbeing tooling, second reviewer on illegal-content categories)
9. statement of reasons, appeal, reporting to hotline/authority, transparency metrics
10. feedback: reviewer labels
11. threshold tuning, retraining, hash-list updates

• Hash-Abgleich findet erneute Uploads und nahezu identische Kopien bereits geprüften Materials mit sehr wenigen Fehlalarmen. Etwas Neues kann er nicht erkennen. Hash-Listen stammen von NCMEC, IWF, anderen Hotlines und Austauschprogrammen der Branche; Hashes terroristischer Inhalte über die gemeinsame Datenbank von GIFCT und die Meldungen der Terrorist Content Analytics Platform (TCAP) von Tech Against Terrorism.
• Klassifikatoren bewerten neues Material. Bei unbekannter CSAM priorisieren spezialisierte Klassifikatoren (Thorn Safer Predict, Google Content Safety API) Inhalte für die fachkundige menschliche Prüfung; sie treffen nie die abschließende rechtliche Feststellung.
• VLMs ergänzen Kontext („Ist das ein Nachrichtenbericht oder eine Verherrlichung?“) und behandeln neue Richtlinienregeln ohne Beispiele (Zero-Shot), sind aber langsamer und teurer und werden deshalb meist als zweite Stufe bei Grenzfällen eingesetzt.
• Mensch-in-der-Schleife (Human-in-the-Loop): zwingend bei Beschwerden, bei kontextabhängigen Kategorien (Nachrichten, Kunst, Bildung, Satire) und bei allen Meldungen mutmaßlicher CSAM. Prüfer brauchen Rotation, Belastungsgrenzen und psychologische Unterstützung.

Datenaufbereitung

Die Moderation braucht weniger klassische Datenaufbereitung als die meisten Anwendungsfälle, weil die Hauptquelle der Inhaltsstrom selbst ist: Nutzer-Uploads, Produktbilder im Shop, Chat-Anhänge, Kommentarbereiche. Die Inhalte liegen typischerweise in der Webplattform, im Shopsystem, im Cloud-Speicher oder in Social-Media-Konten. Die eigentliche Vorbereitung betrifft Regeln, nicht Dateien: Eine schriftliche Inhaltsrichtlinie (was ist verboten, was nur altersbeschränkt), Schweregrade und Eskalationswege fehlen meist oder sind nur stillschweigend vorhanden.

Schritte der Aufbereitung: Richtlinie und Kategorienschema festlegen, bevor ein Werkzeug konfiguriert wird (PREP-019). 100 bis 200 Grenzfälle aus früheren Meldungen und Entscheidungen als Testsatz zusammenstellen (PREP-018); diese mit strenger Zugriffskontrolle behandeln, da sie illegales Material enthalten können, und mutmaßliche CSAM niemals speichern, sondern über die gesetzlich vorgesehenen Kanäle melden. Frühere Moderationsentscheidungen als Labels gewinnen (PREP-020) und Beschwerden und Korrekturen erfassen (PREP-021). Festlegen, welche Daten an welchen Anbieter gehen dürfen (PREP-024), und die Rechtsgrundlage prüfen (PREP-025). Protokollierung für Prüfpfade einrichten.

Grober Aufwandsanteil: 10 bis 20 Prozent. Der größte Aufwand entfällt auf Richtlinie, Schwellenwert-Abstimmung und den Aufbau des Prüfablaufs statt auf Datenbereinigung.

Umsetzungswege

Welcher Weg für wen

• smb (A): Moderations-APIs und Plattformfunktionen sind ausgereift, günstig und werden gegen neue Missbrauchsmuster aktualisiert; ein Eigenbau bringt keinen Vorteil.
• enterprise (A): Moderation ist eine Standardfunktion; ein zertifizierter Anbieter mit Hash-Abgleich und Prüfprotokollen schlägt ein internes Modell.
• developer (B): Cloud-Moderations-APIs mit eigenen Richtlinienregeln und eigenen Prüfwerkzeugen kombinieren, damit die Community-Richtlinien des Produkts präzise durchgesetzt werden.
• public (B): In der EU gehostete Moderationsdienste mit dokumentierter Verarbeitung nutzen und eine eigene Eskalation an Meldestellen ergänzen; vollständig selbst gebaute Modelle sind für illegale Inhalte schwer zu rechtfertigen.

Weg A — Kaufen (für die meisten empfohlen)

• Moderations-APIs / Plattformen: Hive Moderation (visuelle Klassifikatoren, CSAM-Erkennung in Partnerschaft mit Thorn), Sightengine (Frankreich, EU), Checkstep (in der EU gegründet, Werkzeuge für Richtlinien und DSA-Abläufe), Unitary (UK), ActiveFence, ActiveFence (inkl. des übernommenen Spectrum Labs), Cinder (Trust-and-Safety-Werkzeuge), Besedo (EU, verwaltete Moderation), Amazon Rekognition Content Moderation (EU-Regionen), Azure AI Content Safety (Bild und Video, EU-Regionen), Google Cloud Vision SafeSearch / Video Intelligence zur Erkennung expliziter Inhalte.
• CSAM-spezifisch: Thorn Safer (Hashing, Abgleich und Predict-Klassifikator, für berechtigte Plattformen verfügbar), Microsoft PhotoDNA (Cloud-Dienst für berechtigte Organisationen), Google CSAI Match und Content Safety API (zugelassene Partner), Mitgliedschaft und Dienste der IWF-Hash-Liste. Der Zugang ist kontrolliert; Sie bewerben sich und werden überprüft. Versuchen Sie nicht, mit echter CSAM zu entwickeln oder zu testen.
• A wählen, wenn: Sie kein Trust-and-Safety-Team haben, schnell Nutzen brauchen oder rechtlich sensible Hash-Listen über ein geprüftes Programm beziehen müssen.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Moderations-Endpunkte (Azure AI Content Safety, AWS Rekognition, Google Vision) als erste Stufe plus ein führendes multimodales Modell (Claude, Gemini, GPT, Mistral der Pixtral-Klasse) als richtlinienbewusste zweite Stufe, die JSON-Urteile gegen Ihre schriftliche Richtlinie liefert.
• Mit Warteschlangen (Kafka/SQS), Schlüsselbild-Extraktion (FFmpeg), einem Regel-/Richtliniendienst und einer Prüfoberfläche (Checkstep, Cinder oder Eigenentwicklung) orchestrieren. EU-Regionen nutzen und prüfen, dass der Anbieter nicht mit Ihren Daten trainiert und die Verarbeitung sensibler Inhalte zulässt (die Nutzungsbedingungen zum Umgang mit CSAM unterscheiden sich; vor dem Senden mutmaßlich illegalen Materials an eine Allzweck-API prüfen).

Weg C — Selbst betreiben (Open Source)

• Hashing: das quelloffene PDQ (Bilder) und TMK+PDQF (Video) von Meta im ThreatExchange-Repository; Bibliotheken für perzeptuelle Hashes; Vektorsuche für nahezu identische Kopien.
• Klassifikatoren: offene NSFW-Bildklassifikatoren, auf CLIP/SigLIP beruhende Zero-Shot- und Linear-Probe-Köpfe, offene VLMs wie die Qwen-VL-Familie oder Llama Guard 4 (multimodaler Sicherheitsklassifikator), ShieldGemma 2 (Bildsicherheit) von Google, bereitgestellt über vLLM.
• Prüfwerkzeuge: quelloffene Optionen wie Trust-and-Safety-Frameworks im Stil von Osprey/Coop und Label Studio für Prüfwarteschlangen; ROOST (Initiative für quelloffene Sicherheitswerkzeuge) veröffentlicht Komponenten. Vor der Einführung die Reife prüfen.
• Hardware: HW2 bewältigt Bildklassifikation mit hohem Durchsatz und eine VLM-Zweitstufe (~7B) für einen Teil des Verkehrs; HW3 bei videolastigen Mengen.
• Selbst betreiben passt zu Souveränitätsanforderungen (öffentlicher Sektor, Hotlines) und hält sensible Bilder im Haus, doch der rechtmäßige Zugang zu CSAM-Hash-Listen läuft weiterhin über geprüfte Programme.

Weg D — Eigenes Training

Lohnt sich für plattformspezifische Kategorien (lokale Symbole, regionaler Slang in Memes, Ihre eigene Grenze zwischen Kunst und Nacktheit) und bei sehr großen Mengen aus Kostengründen. Es braucht tausende gelabelte Beispiele pro Klasse aus Ihren eigenen geprüften Entscheidungen; das Labeln illegalen Materials ist auf befugtes Personal und Hotlines beschränkt, daher werden für die Entwicklung synthetische oder öffentliche harmlose Ersatzdaten genutzt und echte Daten nur in kontrollierten Umgebungen.

Stand der Technik (2026)

• Geschichteter Aufbau: zuerst Hash-Abgleich, danach ein schneller Klassifikator, dann das VLM, zuletzt der Mensch. Dieses Muster ist bei großen Plattformen und in Anbieterprodukten Standard.
• Multimodale Sicherheitsmodelle (Llama Guard 4, ShieldGemma 2, Sicherheitsdienste von Azure/Google) erlauben Richtlinie-als-Prompt: Eine Regel ändern, ohne neu zu trainieren. Konsistenz und Robustheit gegen gezielte Angriffe sind schwächer als bei spezialisierten Klassifikatoren.
• Video und Live: Abtasten von Schlüsselbildern plus Audio-/ASR-Signale; Echtzeit-Latenz und Kosten bleiben die Grenze für die Analyse vollständiger Bilder.
• Generative KI-Inhalte: KI-erzeugte Nacktbilder und synthetische CSAM machen einen wachsenden Anteil der Fälle aus; Hash-Listen decken neues synthetisches Material nicht ab, daher zählen Klassifikatoren und Herkunftssignale (C2PA, Wasserzeichen, siehe SEC-011). Die EU bewegt sich zudem in Richtung einer Strafbarkeit KI-erzeugten Kindesmissbrauchsmaterials.
• Grenzen und Fehlerbilder: Fehlalarme bei Stillen, medizinischen Inhalten, Kunst, Nachrichten und Kriegsberichterstattung (bekannte Ursache für Übermoderation und Beschwerden); Abhängigkeit von Kultur und Kontext; gezielte Umgehung (Zuschneiden, Überlagerungen und Spiegeln überlisten schwache Hashes, daher robuste Hashes nutzen und erneut prüfen); Verzerrungen der Klassifikatoren bei Hauttönen und Körpertypen; Traumatisierung der Moderatoren.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack (vlm + image-classification + guardrails): VIS-030 Anonymisierung, VIS-025 Video-Tagging, VIS-022 visuelle Suche (Index für nahezu identische Kopien gemeinsam mit der Hash-Suche), VIS-029 Altersverifikation.
• Verwandte Modalitäten: LANG-014 Textmoderation, SPEECH-023 Sprachchat, SEC-011 Deepfake-Erkennung; eine Richtlinien-Engine und eine Prüfoberfläche sollten alle Modalitäten bedienen.
• Forensische Seite: VIS-050 für die Vorsortierung bei Strafverfolgung; Plattformen übergeben Meldungen, sie führen keine Ermittlungen.
• Compliance-Ablauf: gemeinsam mit der juristischen Fallverwaltung und dem DSA-Transparenzbericht.

Aufwand, Kosten & Kennzahlen

• Weg A: Wochen für die API-Integration; Preis pro Inhalt, dazu Prüferkosten, die meist überwiegen. Der Zugang zu CSAM-Werkzeugen erfordert Zeit für die Überprüfung.
• Weg B: 2-4 Monate inkl. Richtlinien-Engine, Prüfoberfläche und Beschwerdeablauf.
• Weg C/D: 4-9 Monate, ein Trust-and-Safety-Entwicklungsteam und laufende Modellpflege.
• Kennzahlen: Präzision und Trefferquote je Kategorie (an geprüften Stichproben), Prävalenz gesehener verstoßender Inhalte, mittlere Zeit bis zur Maßnahme (und Zeit bis zur Entfernung bei Anordnungen zu terroristischen Inhalten gegenüber der 1-Stunden-Grenze), Anteil automatisch ergriffener Maßnahmen, Beschwerde- und Aufhebungsquote (ein direktes Qualitätssignal), Belastungsstunden der Moderatoren und Wohlbefindens-Indikatoren, Anzahl der Meldungen an Behörden, Kosten pro 1.000 Inhalte.

Menschen & Veränderung

Geschäftsleitung und Recht bzw. Compliance legen die Inhaltsrichtlinie und die Haftungshaltung fest, einschließlich der Pflichten als Plattformbetreiber. Die Abteilungsleitung (Community, Kundenservice) verantwortet Schwellenwerte und Eskalation; Anwender, also die Moderatoren, testen die Warteschlange und geben Rückmeldung. Die IT integriert API und Protokollierung, und die Datenschutzbeauftragte bzw. der Datenschutzbeauftragte klärt Rechtsgrundlage, Aufbewahrung und den AVV mit dem Anbieter. Eine Datenschutz-Folgenabschätzung (DSFA) ist wahrscheinlich, wo Nutzerinhalte in großem Umfang verarbeitet werden.

Betriebsrat: kommt darauf an. Die Moderation von Kundeninhalten allein ist keine Mitarbeiterüberwachung, doch Moderatoren-Dashboards, die Entscheidungen, Tempo oder Fehlerquoten je Person erfassen, sind zur Leistungskontrolle geeignet und lösen §87 Abs. 1 Nr. 6 BetrVG aus. Moderatoren sind zudem psychisch belastet; es ist ratsam, den Betriebsrat und die Personalabteilung früh zu Rotation, Unterstützung und Belastungsgrenzen einzubeziehen. §90 Abs. 1 Nr. 3 verlangt die rechtzeitige Unterrichtung über KI-gestützt geplante Arbeitsverfahren.

KI-Kompetenz (Art. 4, unterstützende Maßnahmen): Schulen Sie Moderatoren zu typischen Fehlalarmen und übersehenen Fällen, zu Verzerrungen bei Hauttönen und Kulturen und dazu, wie man Entscheidungen übersteuert. Beginnen Sie mit einem Pilotbetrieb, in dem die KI nur die Warteschlange vorsortiert und Menschen jede Entfernung entscheiden; weiten Sie die Automatisierung erst auf eindeutige Kategorien aus, wenn die gemessene Präzision akzeptabel ist. Informieren Sie Nutzer transparent über automatisierte Prüfungen und bieten Sie einen Beschwerdeweg an. Typische Sorgen (zu Unrecht entfernte Inhalte, Zensur, Wohlbefinden der Moderatoren) begegnen Sie mit menschlicher Prüfung von Grenzfällen und sichtbaren Beschwerdewegen. Siehe GUIDE-005, GUIDE-008 und GUIDE-014.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): Inhaltsmoderation als solche ist keine Hochrisiko-Anwendung nach Anhang III, daher in der Regel minimales Risiko (KI-Kompetenz nach Art. 4). Den Kontext prüfen: Emotionserkennung oder biometrische Kategorisierung innerhalb von Moderationswerkzeugen kann unter die Verbote nach Art. 5 oder die Hochrisiko-Regeln fallen; leiten Sie keine sensiblen Merkmale aus Gesichtern ab. Die Kennzeichnungspflichten für synthetische Inhalte (Art. 50) betreffen Generatoren, nicht Moderatoren.
• DSA: Melde- und Abhilfeverfahren (Art. 16), Begründungen (Art. 17), interne Beschwerden (Art. 20), außergerichtliche Streitbeilegung, Meldung des Verdachts auf Straftaten mit Gefahr für Leben oder Sicherheit (Art. 18), Transparenzberichte; sehr große Online-Plattformen tragen zusätzlich Pflichten zu systemischen Risiken [1]. Art. 14 verlangt, die automatisierte Moderation in den Geschäftsbedingungen klar offenzulegen.
• TCO-Verordnung 2021/784: Entfernung binnen einer Stunde nach Anordnung, besondere Maßnahmen bei Betroffenheit von terroristischen Inhalten, Transparenzberichte [2].
• CSAM: Besitz und Umgang mit mutmaßlicher CSAM sind in den meisten Rechtsordnungen strafbar; nur befugtes Personal darf sie ansehen, und Meldungen gehen an NCMEC oder nationale Hotlines/Polizei. Die freiwillige Erkennung durch interpersonelle Kommunikationsdienste in der EU stützte sich auf die vorübergehende Ausnahme von der ePrivacy-Richtlinie (Verordnung 2021/1232, mehrfach verlängert), während die vorgeschlagene dauerhafte CSA-Verordnung politisch umstritten ist; prüfen Sie den aktuellen Rechtsstand, bevor Sie das Scannen privater Nachrichten einführen [3].
• DSGVO: Bilder von Personen sind personenbezogene Daten; besondere Kategorien können beiläufig auftreten. Nötig sind eine Rechtsgrundlage (Art. 6 Abs. 1 lit. c/f), eine DSFA, Sorgfalt nach Art. 22 bei ausschließlich automatisierten Entscheidungen mit erheblicher Wirkung (Kontosperrungen), Aufbewahrungsgrenzen und Auftragsverarbeitungsverträge. Hash-Datenbanken illegalen Materials haben eigene Rechtsrahmen.
• Grundrechte: Übermäßiges Sperren schadet der Meinungsfreiheit; Richtlinie dokumentieren, Stichproben prüfen, Kennzahlen veröffentlichen, Beschwerden ermöglichen.
• Gegenmaßnahmen: hohe Konfidenz-Schwellen für automatische Entfernung, menschliche Prüfung bei Kontext, Programm für das Wohlbefinden der Prüfer, Red-Team-Tests auf Umgehung, regionsbezogene Richtlinien.

Erste Schritte

1. Schreiben Sie die Richtlinien-Taxonomie (illegale vs. nur richtlinienwidrige Kategorien, Schweregrade) und ordnen Sie jeder Kategorie DSA-/TCO-Pflichten und Maßnahmen zu.
2. Beantragen Sie den Zugang zu Hash-Listen und CSAM-Werkzeugen (Mitgliedschaft bei NCMEC/IWF, Thorn Safer, PhotoDNA) und benennen Sie befugtes Personal und einen Meldeweg.
3. Testen Sie eine Moderations-API eines Anbieters an einer gelabelten Stichprobe Ihrer eigenen unbedenklichen und Grenzfall-Inhalte; messen Sie Präzision/Trefferquote je Kategorie.
4. Bauen Sie die Prüfwarteschlange mit Schweregrad-Rangfolge, Verpixelung als Standard, Beschwerden und Vorlagen für Begründungen.
5. Betreiben Sie das System im Schattenmodus, bevor automatische Maßnahmen greifen; prüfen Sie monatlich die Aufhebungsquoten bei Beschwerden und veröffentlichen Sie den Transparenzbericht.

Quellen

1. Regulation (EU) 2022/2065 Digital Services Act — https://eur-lex.europa.eu/eli/reg/2022/2065/oj
2. Regulation (EU) 2021/784 on addressing the dissemination of terrorist content online — https://eur-lex.europa.eu/eli/reg/2021/784/oj
3. Regulation (EU) 2021/1232 (temporary derogation from ePrivacy for CSAM detection) — https://eur-lex.europa.eu/eli/reg/2021/1232/oj
4. Meta ThreatExchange: PDQ and TMK+PDQF hashing — https://github.com/facebook/ThreatExchange
5. Thorn Safer — https://safer.io
6. Microsoft PhotoDNA — https://www.microsoft.com/en-us/photodna
7. Azure AI Content Safety — https://learn.microsoft.com/azure/ai-services/content-safety/overview
8. Amazon Rekognition content moderation — https://docs.aws.amazon.com/rekognition/latest/dg/moderation.html
9. Google ShieldGemma 2 — https://ai.google.dev/gemma/docs/shieldgemma
10. Tech Against Terrorism — Terrorist Content Analytics Platform — https://terrorismanalytics.org
11. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj