Textmoderation & Erkennung toxischer Inhalte

Jeder Dienst, auf dem Menschen Texte veröffentlichen können, von der Kommentarspalte einer Regionalzeitung über einen Marktplatz und Spiele-Chats bis zum Bürgerbeteiligungsportal, muss illegale und beleidigende Inhalte fernhalten. Nach dem Digital Services Act der EU muss er außerdem Meldungen bearbeiten, jede Entscheidung begründen und Widersprüche ermöglichen. Moderne Moderations-Stacks kombinieren schnelle Klassifikatoren mit richtlinienfolgenden LLMs, die die eigenen schriftlichen Regeln der Plattform lesen. Sie erledigen die eindeutigen Fälle automatisch und leiten die mehrdeutigen mit einer Begründung an einen Menschen weiter. Der übliche Nutzen: Moderatoren verbringen ihre Zeit mit schwierigen Fällen statt mit der Masse. Hinzu kommen schnellere Reaktionszeiten und eine dokumentierte, prüfbare Entscheidungsspur.

Problem & Nutzen

• Heute: kleine und mittlere Betreiber setzen auf Schlagwort-Sperrlisten, Nachmoderation durch Redaktion oder Community-Manager und Nutzermeldungen. Sperrlisten übersehen Umschreibungen, Schreibfehler und Szenesprache. Sie blockieren außerdem zu viel bei zurückgeeigneten oder zitierten Begriffen. Größere Plattformen betreiben ausgelagerte Moderationsteams zu hohen Kosten und mit dokumentierter psychischer Belastung der Beschäftigten.
• Umfang der Pflicht: Die EU-DSA-Transparenzdatenbank zeigte für die vorangegangenen 180 Tage rund 4,7 Milliarden Begründungen, übermittelt von 389 aktiven Plattformen; 42 % davon sind als vollautomatisierte Entscheidungen gekennzeichnet (Statistikseite, Nov. 2026) [1]. Automatisierte Moderation ist der Normalfall, und sie muss erklärt werden.
• KI-Nutzen: konsistente Ersteinstufung von 100 % der eingehenden Texte, Ausblenden eindeutiger Verstöße nahezu in Echtzeit, priorisierte Warteschlangen für menschliche Moderatoren, mehrsprachige Abdeckung ohne Personal je Sprache und maschinell erzeugte Begründungen.
• Marktveränderung 2026: Die kostenlose Perspective API von Google/Jigsaw, lange der Standard-Toxizitätsbewerter für Nachrichtenseiten, nimmt seit Februar 2026 keine neuen Nutzungsanfragen mehr an und wird am 31. Dezember 2026 abgeschaltet, ohne Migrationsunterstützung [2]. Viele Verlage und NGOs wechseln jetzt.

Varianten

• Nachrichtenverlage & Foren: Vor- oder Nachmoderation von Leserkommentaren; die Hauptrisiken sind Hassrede, Beleidigungen, illegale Inhalte (in DE z. B. §§130, 185 ff. StGB) und Spam.
• Gaming & Social-Apps: Echtzeit-Chatfilterung mit Latenzbudgets deutlich unter einer Sekunde; Benutzernamen und Clannamen. Sprach-Chat ist ein eigener Anwendungsfall → SPEECH-023.
• Marktplätze & E-Commerce: Anzeigen, Verkäufernachrichten und Bewertungen (verbotene Artikel, Betrug, Aufforderung zur Zahlung außerhalb der Plattform). Gefälschte Bewertungen → ANOM-010; Kontenmissbrauch → ANOM-004.
• GenAI-Produkte: Prüfung von Nutzer-Prompts und Modellausgaben. Der Klassifikator-Stack ist derselbe, doch Guardrails für LLM-Anwendungen (Jailbreaks, Prompt Injection) gehören zu SEC-010. Kampagnen zur Mitgestaltung durch Verbraucher (GEN-001) nutzen dies für die Moderation von Ein- und Ausgaben.
• Öffentlicher Sektor: Bürgerbeteiligungsportale, kommunale Social-Media-Kanäle und Konsultationsplattformen; die Moderation muss Meinungsfreiheit und Gleichbehandlung achten.
• Unternehmensintern: Intranet-/Teams-Communities und Werkzeuge für Mitarbeitendenfeedback (getrennt halten von Verhaltensüberwachung → LANG-032, für die andere rechtliche Grenzen gelten).
• Privat / Kreative: Kommentarfilterung auf eigenen Social-Media-Kanälen (z. B. das Social-Media-Produkt von Bodyguard). Schutz von Minderjährigen auf Familienebene → PERS-019.

So funktioniert es

1. Eingang (Beitrag / Nachricht / Inserat / Nutzermeldung)
2. Normalisierung (Unicode-/Leetspeak-Bereinigung, Spracherkennung, Duplikate per Embeddings / Near-Duplicate-Hashing)
3. Stufe 1: schneller Klassifikator (Encoder oder kleines Guard-Modell, < 50 ms) + Sperrlisten/Regex
4. eindeutig unbedenklich
5. veröffentlichen | eindeutig schwerer Verstoß
6. ausblenden/zurückhalten
7. Stufe 2: richtlinienbasiert urteilendes LLM für die Grauzone (Richtlinientext im Prompt, Thread-Kontext)
8. Label + Schweregrad + Begründung mit Verweis auf die Richtlinienklausel
9. Regelwerk (Schwellenwerte je Kategorie, Nutzerhistorie, Ratenbegrenzungen, Rechtsraum)
10. Warteschlange für menschliche Prüfung (Priorität nach Schweregrad & Reichweite) — Moderator entscheidet
11. Maßnahme + DSA-Begründung (Art. 17)
12. Transparenzdatenbank
13. Widersprüche (Art. 20, menschliche Prüfung)
14. Labels fließen in Evaluierung & Tuning zurück

• Stufe 1 bewältigt das Volumen. Feingetunte Klassifikatoren der Klasse XLM-R/DeBERTa, kleine Guard-LLMs (Qwen3Guard 0.6B/4B) oder eine Anbieter-API liefern Scores je Kategorie.
• Stufe 2 ist der Bereich, in dem sich 2025–2026 der Wandel vollzogen hat. Modelle wie das Open-Weight-Modell gpt-oss-safeguard von OpenAI nehmen die eigene schriftliche Richtlinie des Betreibers zur Inferenzzeit entgegen und prüfen begründet, ob ein Inhalt sie verletzt. Richtlinienänderungen erfordern daher kein erneutes Training [3].
• Mensch-in-der-Schleife (Human-in-the-Loop): Grenzfälle, Sanktionen auf Kontoebene und alle Widersprüche gehen an Menschen. Der DSA verlangt, dass Beschwerdeentscheidungen nicht allein mit automatisierten Mitteln getroffen werden (Art. 20 Abs. 6) und dass die Begründungen den Einsatz automatisierter Mittel offenlegen [4]. Funktionen für das Wohlbefinden der Moderatoren (Unkenntlichmachen, Rotation, Begrenzung der Belastung) sind Teil des Designs.

Datenaufbereitung

Benötigte Daten: nutzergenerierte Texte (Kommentare, Chats, Bewertungen, Anzeigen, Profile), die schriftlichen Hausregeln oder Community-Richtlinien sowie frühere Moderationsentscheidungen mit Begründungen. Im KMU liegen diese im CMS, Shop, Forum oder in den Admin-Werkzeugen der sozialen Medien, im Support-Postfach und manchmal nur in den Köpfen der Moderatoren.

Typische Lücken: zu vage Hausregeln, die sich nicht konsistent anwenden lassen; frühere Entscheidungen ohne Dokumentation oder Begründungscodes; wenige gelabelte Beispiele für Grenzfälle; gemischte Sprachen, Slang und Emojis; personenbezogene Daten in den Texten; Identitäten von Meldenden und Moderatoren vermischt mit Inhalten.

Aufbereitungsschritte: 1. Die Hausregeln in ein klares Kategorienschema mit Beispielen überführen (PREP-019, PREP-016). 2. Frühere Entscheidungen exportieren und als Labels nutzbar machen (PREP-020); zwei Moderatoren labeln 200-300 Grenzfälle als Testmenge (PREP-018). 3. Benutzernamen und Kontaktdaten aus den Texten entfernen, die zum Testen dienen (PREP-022). 4. Jede spätere Korrektur durch Moderatoren als Feedback protokollieren (PREP-021).

Werkzeuge: CMS- oder Plattform-Exporte, Excel oder ein Labeling-Werkzeug wie Label Studio, n8n für Webhooks in die Prüfwarteschlange.

Aufwandsanteil: etwa 30 % des Projekts; die schriftliche Richtlinie und gelabelte Grenzfälle zählen mehr als die Modellwahl.

Umsetzungswege

Welcher Weg für wen

• KMU — A: Moderationswerkzeuge sowie Forum- oder Shop-Plattformen mit eingebauten Filtern sind ausgereift, und die Regeln (Hass, Spam, Beleidigungen) sind Standard.
• Enterprise — B: Moderationsregeln, Sprachen und Widerspruchs-Workflows sind plattformspezifisch und müssen sich in eigene Fall- und DSA-Berichtssysteme einfügen.
• Entwickler — B: Moderations- und LLM-APIs plus eigene Richtlinien-Prompts und Prüfwarteschlangen sind der schnellste Weg; Selbstbetrieb nur bei sensiblen Inhalten.
• Öffentlicher Sektor — C: Bürgerkommentare und Vergaberegeln sprechen für souveränes Hosting mit offenen Klassifikatoren und einer menschlichen Prüfwarteschlange.

Weg A — Kaufen (für die meisten KMU empfohlen)

• Moderations-SaaS mit Dashboards & Warteschlangen: Bodyguard (Frankreich, 46 Sprachen, Social-Media- und API-Produkte) [5], Utopia Analytics (Helsinki, Finnland; „sprachunabhängige" Modelle, trainiert auf den früheren Entscheidungen des Kunden) [6], Tremau (Paris; Trust-and-Safety- und Compliance-Plattform für den DSA) (EU), außerdem Checkstep, Hive, ActiveFence und Besedo (Schweden, EU, Moderationsdienste aus Mensch und KI).
• Eingebaute Optionen: Kommentarsysteme und Community-Plattformen (Discourse, Disqus, Coral) und native Filter der sozialen Medien für eigene Kanäle.
• Prüfen: EU-Hosting und AVV, Qualität auf Deutsch an Ihren Daten, eigene Richtlinienkategorien, Widerspruchs-Workflow, Export der Begründungen an die API der DSA-Transparenzdatenbank und ein Audit-Log.
• A wählen, wenn Moderation nicht Ihr Kerngeschäft ist und das Volumen unter einigen Millionen Elementen pro Monat liegt.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Eigene Moderations-Endpunkte: Mistral Moderation (EU-Anbieter; mistral-moderation-2603, 11 Kategorien u. a. Hass, Gewalt, Selbstverletzung, PII, Jailbreaking; Endpunkte für Rohtext und Konversationen. Das ältere Modell -2411 wurde am 31. März 2026 abgekündigt und am 30. Juni 2026 außer Betrieb genommen) [7]. Azure AI Content Safety (EU-Regionen; Hass/Sexuelles/Gewalt/Selbstverletzung mit Schweregraden, Sperrlisten, eigene Kategorien; trainiert auf 8 Sprachen inkl. Deutsch) [8]. OpenAI omni-moderation-latest (kostenlos, 13 Kategorien, Text + Bild) [9]. Amazon Comprehend DetectToxicContent (nur Englisch, max. 10 × 1-KB-Segmente pro Aufruf) [10].
• Richtlinie-als-Prompt mit einem allgemeinen LLM: Inhalt + Ihren Richtlinientext an ein in der EU gehostetes Spitzenmodell senden (Mistral, Claude über Bedrock/Vertex EU, Gemini EU, GPT über Azure EU Data Boundary). Nutzen Sie strukturierte Ausgaben für Label/Schweregrad/Begründung und setzen Sie es wegen Kosten und Latenz nur für die Grauzone ein.
• Orchestrierung: Warteschlange (Kafka/SQS) → Klassifikator → Regeln → Prüfoberfläche. Die Open-Source-Regel-Engine Osprey und die Prüfkonsole Coop von ROOST lassen sich mit Cloud-APIs kombinieren [11].
• B wählen, wenn Sie ein eigenes Produkt mit individuellen Richtlinien betreiben, aber keine On-Premises-Vorgabe besteht.

Weg C — Selbst betreiben (Open Source)

• Richtlinien-begründende Guard-Modelle: gpt-oss-safeguard-20b (21B MoE, 3,6B aktiv, passt in 16 GB VRAM; Variante -120b; Apache 2.0) [3]. Qwen3Guard (0.6B/4B/8B, 119 Sprachen, Stufen sicher/umstritten/unsicher, eine Stream-Variante für Echtzeitprüfung auf Token-Ebene; Apache 2.0) [12]. Llama Guard 4 12B (14 MLCommons-Gefahrenkategorien, Text + Bild; Llama 4 Community License) [13]. IBM Granite Guardian 3.3 8B (Apache 2.0, eigene Kriterien, nur Englisch) [14]. ShieldGemma 2B/9B/27B (4 Schadensarten, Gemma-Lizenz) [15].
• Schnelle Encoder: Detoxify (BERT/RoBERTa/XLM-R; das mehrsprachige Modell deckt 7 Sprachen ab, nicht Deutsch) [16], oder Ihr eigener feingetunter XLM-R/mDeBERTa (Weg D).
• Betrieb & Werkzeuge: vLLM oder SGLang für Guard-LLMs, ONNX Runtime/Triton für Encoder, Osprey + Coop für Regeln und Prüfung [11], Label Studio oder Argilla zum Labeln, Langfuse fürs Tracing.
• Hardware: HW2 (eine GPU mit 24–32 GB) betreibt gpt-oss-safeguard-20b oder Qwen3Guard-8B für Grauzonen-Volumen plus einen Encoder für die Masse. Reine Encoder-Setups laufen auf HW1 (CPU). Nutzen Sie HW3 für gpt-oss-safeguard-120b oder hohen Durchsatz.

Weg D — Eigenes Training

Lohnt sich, wenn Sie Zehntausende frühere Moderationsentscheidungen haben (Redaktionen, große Foren, Spiele). Es ist auch sinnvoll, wenn die Community eigenen Slang oder Dialekt hat oder wenn die Kosten pro Element bei sehr hohem Volumen minimal sein müssen. Typisches Vorgehen: einen XLM-R/mDeBERTa-Encoder oder ein kleines Guard-LLM auf Ihrer eigenen Entscheidungshistorie feintunen und ein richtlinien-begründendes LLM zum Vorlabeln und zum Erzeugen schwieriger Negativbeispiele nutzen (Zitate, Gegenrede, zurückeignete Begriffe). Prüfen Sie die Labels zuerst auf Annotatoren-Verzerrung. Trainieren Sie neu oder kalibrieren Sie neu, sobald sich die Richtlinie ändert; der Ansatz Richtlinie-als-Prompt (Stufe 2) vermeidet dies bei sich schnell ändernden Regeln.

Stand der Technik (2026)

• Von festen Taxonomien zu richtlinienfolgenden Modellen. gpt-oss-safeguard (veröffentlicht mit der ROOST-Modell-Community) sowie die Modi mit eigenen Kriterien bei Granite Guardian und die „Custom Categories" von Azure erlauben Betreibern, ihre Regeln durchzusetzen statt die Taxonomie eines Anbieters [3][8][14].
• Mehrsprachige kleine Guards: Qwen3Guard deckt 119 Sprachen ab und ergänzt eine Stufe „umstritten", die sich natürlich auf „an Menschen weiterleiten" abbilden lässt [12]. Streaming-Klassifikatoren ermöglichen Moderation während der Generierung und im Live-Chat.
• Offene Trust-and-Safety-Infrastruktur: ROOST (unterstützt u. a. von Google, OpenAI, Discord, Roblox) veröffentlicht produktionsreife offene Werkzeuge; nach eigenen Angaben nutzen Bluesky, Discord und Matrix Osprey [11].
• Benchmarks: HateCheck/Multilingual HateCheck (funktionale Tests inkl. Deutsch), ToxicChat, OpenAI-Moderationsdatensatz sowie Guard-Benchmarks aus Modellkarten (z. B. gibt Granite Guardian 3.3 8B einen aggregierten Schaden-F1 von 0,81 an, herstellerseitig berichtet) [14]. Ergebnisse auf öffentlichen Benchmarks lassen sich schlecht auf eine konkrete Community übertragen; bewerten Sie daher immer an Ihrer eigenen gelabelten Stichprobe.
• Grenzen & Fehlerbilder: Überkennzeichnung von Identitätsbegriffen, Dialekten und zurückeigneten Schimpfwörtern (Verzerrung gegen genau die Gruppen, die die Moderation schützen soll, eine bekannte Einschränkung von Detoxify [16]); übersehener Sarkasmus, Szenesprache und Kontext über einen Thread hinweg; gezielte Verschleierung; deutsche Komposita sowie schweizerische/österreichische Varianten; LLM-Begründungen, die plausibel klingen, aber die falsche Klausel zitieren. Die Rechtmäßigkeit (z. B. strafbare Beleidigung) kann ein Modell nicht allein entscheiden.

Gemeinsame Bausteine & Kombinationen

• Gleicher Guard-Modell-Server (HW2/HW3, vLLM): SEC-010 LLM-Guardrails, CONV-001 Chatbots (Ein-/Ausgabefilterung), GEN-001 Mitgestaltung durch Verbraucher, CODE-018 Evaluierung/Tracing. Ein Qwen3Guard- oder gpt-oss-safeguard-Deployment kann alle bedienen.
• Gleicher Textklassifikator-Stack (feingetunte Encoder + Labeling): LANG-012 Routing, LANG-013 Stimmungsanalyse, LANG-018 Social Listening, LANG-024 Prüfung von Werbeaussagen auf Konformität.
• Multimodale Trust-and-Safety-Pipeline: VIS-027 Bild-/Videomoderation und SPEECH-023 Sprachmoderation teilen sich die Prüfkonsole (Coop), die Regel-Engine (Osprey), die Begründungen und die Anbindung an die Transparenzdatenbank. ANOM-004 (gefälschte Konten/Bots) und ANOM-010 (gefälschte Bewertungen) liefern Signale auf Kontoebene. ANOM-015 ergänzt die Herkunft KI-generierter Inhalte.
• Angrenzend: LANG-021 Erkennung von Desinformation, PERS-019 Kinderschutz auf dem Gerät, SEC-014 Red-Teaming der Moderationsmodelle selbst.

Aufwand, Kosten & Kennzahlen

• Weg A: Tage bis wenige Wochen; SaaS wird pro Element/Monat oder pro Lizenz abgerechnet.
• Weg B: 4–8 Wochen für API-Integration, Regeln, Prüfoberfläche und DSA-Berichte; eigene Moderations-Endpunkte sind günstig oder kostenlos, während LLM-Aufrufe in der Grauzone der Hauptkostentreiber sind.
• Weg C: 2–3 Monate inkl. Bewertungsmenge, Betrieb und Bereitschaft; ein GPU-Server.
• Weg D: +1–3 Monate, hauptsächlich Labeling und Prüfung auf Verzerrung.
• Kennzahlen: Precision/Recall je Kategorie an einer gelabelten Holdout-Menge (Deutsch und weitere wichtige Sprachen), Anteil automatisch entschiedener vs. von Menschen geprüfter Fälle, Zeit bis zur Maßnahme bei schweren Inhalten, Widerspruchsquote und Quote revidierter Entscheidungen nach Widerspruch, Beschwerden über Falsch-Positive, Moderatorenstunden pro 1.000 Elemente, Belastung der Moderatoren durch schwere Inhalte.

Menschen & Veränderung

Wer und wann: Die Geschäftsführung entscheidet, wie streng die Plattform ist; die Fachabteilungsleitung (Community oder Redaktion) verantwortet die Richtlinie; Recht/Compliance prüft die DSA-Pflichten (Begründungen, Widersprüche); die IT bindet die Warteschlange an; die/der Datenschutzbeauftragte wird vor dem Start einbezogen. Moderatoren sind die wichtigsten Endnutzer und sollten von Anfang an die Richtlinienbeispiele mitschreiben.

Betriebsrat: in der Praxis ja. Moderationswerkzeuge protokollieren Entscheidungen, Geschwindigkeit und Fehlerquote jedes Moderators und sind damit objektiv zur Leistungsüberwachung geeignet (§87 Abs. 1 Nr. 6 BetrVG, BAG). Schließen Sie eine kurze Betriebsvereinbarung, die individuelle Leistungsbewertung ausschließt; informieren Sie nach §90 Abs. 1 Nr. 3 und ziehen Sie einen Sachverständigen nach §80 Abs. 3 in Betracht. In Behörden ist der Personalrat zuständig.

Datenschutz: AVV mit dem Anbieter (Art. 28 DSGVO); eine DSFA ist wahrscheinlich, wenn eine umfangreiche Bewertung des Nutzerverhaltens oder sensible Kategorien vorkommen (GUIDE-005).

KI-Kompetenz und Kommunikation: KI-Kompetenz der Beschäftigten nach Art. 4 KI-Verordnung (AI Act) fördern, besonders zu Falsch-Positiven und Verzerrung gegenüber Dialekten (GUIDE-006). Pilot in einer Kommentarspalte, in der die KI nur vorschlägt und Moderatoren entscheiden.

Typische Bedenken: Angst, ersetzt zu werden, oder vor psychischer Belastung – die KI filtert die schlimmsten Inhalte vor, Menschen entscheiden über Grenzfälle und jede Entfernung mit Widerspruchsmöglichkeit (GUIDE-008).

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): Inhaltsmoderation ist keine Hochrisiko-Kategorie nach Anhang III; ein typischer Einsatz hat daher minimales Risiko (KI-Kompetenz, Art. 4). Die Transparenzpflicht nach Art. 50 gilt nur, wenn ein Chatbot mit Nutzern spricht. Moderation darf nicht in verbotene Praktiken abgleiten: Die Ableitung von Emotionen bei Beschäftigten (Art. 5 Abs. 1 Buchst. f) oder die biometrische Kategorisierung sind hier ausgeschlossen. Guard-LLMs sind GPAI-Modelle, deren Anbieter die GPAI-Pflichten tragen [17].
• DSA (VO 2022/2065): Melde- und Abhilfeverfahren (Art. 16), Begründung inkl. Einsatz automatisierter Mittel (Art. 17), internes Beschwerdemanagement nicht ausschließlich automatisiert (Art. 20), außergerichtliche Streitbeilegung (Art. 21), vertrauenswürdige Hinweisgeber (Art. 22), Transparenzberichte inkl. Beschreibung, Genauigkeit und Fehlerquoten der automatisierten Moderation (Art. 15, 24). Sehr große Online-Plattformen (VLOPs) unterliegen zusätzlich Systemrisikobewertung und Audits (Art. 34–37). In Deutschland ist die Bundesnetzagentur der Koordinator für digitale Dienste (DDG), und der DSA hat das NetzDG weitgehend ersetzt [4][18].
• Weiteres Recht: TCO-Verordnung 2021/784 (terroristische Inhalte, Entfernungsanordnung binnen einer Stunde), nationales Strafrecht zu Hassrede und Beleidigung, die Richtlinie über audiovisuelle Mediendienste für Video-Sharing-Plattformen sowie JMStV/KJM (Jugendmedienschutz in DE).
• DSGVO: Beiträge und Nutzerhistorien sind personenbezogene Daten, und die Moderation kann besondere Kategorien offenlegen (Religion, sexuelle Orientierung, Art. 9). Rechtsgrundlage ist meist Art. 6 Abs. 1 Buchst. c/f. Kontosperrungen, die allein auf automatisierter Verarbeitung beruhen, können Art. 22 berühren; halten Sie daher Menschen in der Schleife. Minimieren Sie die Speicherdauer und nutzen Sie in der EU gehostete Auftragsverarbeiter mit AVV.
• Grundrechte & Verzerrung: Zu viel Löschung schreckt rechtmäßige Äußerungen ab, besonders von Minderheiten und in Dialekten. Prüfen Sie die Falsch-Positiv-Raten je Gruppe und Sprache und veröffentlichen Sie klare Richtlinien.
• Gegenmaßnahmen: ein zweistufiges Design mit zurückhaltenden automatischen Maßnahmen, menschliche Prüfung der Grauzonen und aller Widersprüche, eine versionierte Richtlinie, eine protokollierte Begründung je Entscheidung, eine vierteljährliche Bewertung von Verzerrung und Genauigkeit sowie Maßnahmen zum Wohlbefinden der Moderatoren.

Erste Schritte

1. Eine konkrete Inhaltsrichtlinie mit Beispielen je Kategorie schreiben (oder aktualisieren). Sie ist zugleich Moderationsleitfaden und LLM-Prompt.
2. Eine gelabelte Bewertungsmenge aus 500–2.000 eigenen Elementen aufbauen, inkl. schwieriger Fälle, deutscher Dialekte, Zitate und Gegenrede.
3. 2–3 Optionen daran vergleichen, z. B. ein SaaS (Bodyguard/Utopia), Mistral Moderation und ein selbst betriebenes Qwen3Guard oder gpt-oss-safeguard. Falls Sie noch die Perspective API nutzen, migrieren Sie vor dem 31. Dez. 2026.
4. Schwellen je Kategorie für automatisch zulassen / automatisch zurückhalten / menschliche Prüfung festlegen; eine Prüfwarteschlange und den Export der DSA-Begründungen integrieren.
5. Widerspruchsrevisionen und Falsch-Positive monatlich überwachen; korrigierte Labels in die Bewertungsmenge und die Richtlinie zurückführen.

Quellen

1. European Commission — DSA Transparency Database (statistics page, accessed 2026-11) — https://transparency.dsa.ec.europa.eu/
2. Jigsaw — Perspective API (sunset notice) — https://perspectiveapi.com/
3. OpenAI — gpt-oss-safeguard-20b model card — https://huggingface.co/openai/gpt-oss-safeguard-20b
4. Regulation (EU) 2022/2065 (Digital Services Act) — https://eur-lex.europa.eu/eli/reg/2022/2065/oj
5. Bodyguard — contextual moderation platform — https://www.bodyguard.ai/
6. Utopia Analytics — Utopia AI Moderator — https://utopiaanalytics.com/
7. Mistral AI — Moderation & guardrailing docs — https://docs.mistral.ai/capabilities/guardrailing/
8. Microsoft — Azure AI Content Safety overview — https://learn.microsoft.com/en-us/azure/ai-services/content-safety/overview
9. OpenAI — Moderation guide — https://developers.openai.com/api/docs/guides/moderation
10. AWS — Amazon Comprehend trust and safety (toxicity detection) — https://docs.aws.amazon.com/comprehend/latest/dg/trust-safety.html
11. ROOST — Robust Open Online Safety Tools (Osprey, Coop, model community) — https://roost.tools/
12. Qwen — Qwen3Guard-Gen-8B model card — https://huggingface.co/Qwen/Qwen3Guard-Gen-8B
13. Meta — Llama Guard 4 12B model card — https://huggingface.co/meta-llama/Llama-Guard-4-12B
14. IBM — Granite Guardian 3.3 8B model card — https://huggingface.co/ibm-granite/granite-guardian-3.3-8b
15. Google — ShieldGemma model card — https://huggingface.co/google/shieldgemma-2b
16. Unitary — Detoxify / toxic-bert model card — https://huggingface.co/unitary/toxic-bert
17. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
18. European Commission — The Digital Services Act — https://digital-strategy.ec.europa.eu/en/policies/digital-services-act