Online-Sicherheit für Kinder & Unterstützung für Eltern (Schutz auf dem Gerät)

Kinder stoßen in Chats, sozialen Medien und Spielen auf ungewollte Nacktbilder, Grooming-Versuche, Mobbing und Inhalte zur Selbstverletzung, meist dort, wo Eltern nicht mitlesen können. Klassifikatoren auf dem Gerät erkennen solche Inhalte, bevor sie angesehen werden, warnen das Kind mit altersgerechter Hilfe und benachrichtigen je nach Alter und Familieneinstellungen die Eltern mit einer Zusammenfassung statt mit dem vollständigen Verlauf. Die Gestaltungsfrage lautet weniger "Können wir es erkennen" als "Wie viel sollen Eltern sehen" – die Privatsphäre und die Rechte des Kindes sind Teil des Produkts und kein nachträglicher Gedanke.

Problem & Nutzen

• Heute: Eltern verlassen sich auf pauschale Filter, Bildschirmzeitbegrenzungen und Gespräche. Plattformen moderieren zentral (siehe LANG-014, VIS-027, ANOM-004), doch private Nachrichten, Ende-zu-Ende-verschlüsselte Chats und App-übergreifende Kontakte bleiben ihnen weitgehend verborgen. Eltern von Jugendlichen können oft nicht alles lesen und sollten es auch nicht.
• KI-Nutzen: kontextbewusste Erkennung (keine Schlüsselwortlisten) von Nacktheit, sexueller Anmache, Mobbing und Sprache zur Selbstverletzung in vielen Sprachen; die Erkennung erfolgt lokal, sodass Inhalte das Gerät nie verlassen; das Kind erhält die Chance innezuhalten und um Hilfe zu bitten.
• Belege für den Nutzen: Anbieter veröffentlichen Nutzungszahlen, aber unabhängige, begutachtete Effektstärken für KI-Überwachung bei der Schadensminderung sind dünn. Verlassen Sie sich nicht auf Marketingaussagen; bewerten Sie nach dem Bedarf der eigenen Familie. Die Forschung zur elterlichen Mediation findet im Allgemeinen, dass offene Kommunikation und "befähigende" Mediation besser wirken als verdeckte Einschränkung (allgemeiner Befund; hier nicht an eine einzelne Quelle gebunden).
• Regulatorischer Treiber: Art. 28 des Gesetzes über digitale Dienste (DSA) verpflichtet Online-Plattformen, die für Minderjährige zugänglich sind, zu einem hohen Maß an Privatsphäre, Sicherheit und Schutz; die Leitlinien der Kommission zum Schutz Minderjähriger (2025) beschreiben Maßnahmen wie datenschutzfreundliche Voreinstellungen und Altersprüfung [1].

Varianten

• Nacktheitswarnung auf Betriebssystemebene: Unkenntlichmachen und Warnen bei Bildern in Messengern, AirDrop, Videoanrufen und geteilten Alben, verarbeitet auf dem Gerät (Kinderkonten in einer Familiengruppe).
• Filterung von Inhalten und Kontakten: Kategorien für Web und Apps, sichere Suche, Freigabe von Kontakten, Zeitlimits.
• Warnungen vor Nachrichtenrisiken: Klassifikatoren für Grooming-Muster, Mobbing, Selbstverletzung oder suizidale Sprache mit Benachrichtigung der Eltern (im Stil von Bark, Qustodio).
• Schutz auf Tastaturebene: eine Tastatur, die Texte und Bilder beim Tippen oder Senden prüft (im Stil von SafeToNet HarmBlock) und das Kind vor dem Senden anstößt.
• Gesprächshilfe für Eltern: ein LLM-Assistent, der Apps und Trends erklärt und zeigt, wie man mit einem Kind über einen Vorfall spricht, ohne Zugriff auf die Daten des Kindes.
• Einsatz in Schule/Verein: Geräteverwaltung mit Filterung – Überwachung in der Schule ist ein anderes, stärker reguliertes Umfeld (zu Entsprechungen am Arbeitsplatz siehe LANG-032).

So funktioniert es

1. content arrives / is composed on child device
2. on-device sensitive-content classifier (image/video: nudity; text: bullying, grooming, self-harm)
3. age band + family policy decide action (allow | blur+warn | block | warn before sending)
4. child-facing screen: explanation, "do not send / not your fault", help lines (e.g. 116 111)
5. optional escalation: category-level alert or weekly digest to parent (no full content by default)
6. parent dashboard: settings, digest, conversation guide; severe risk -> advice to seek professional help

• Bildmodelle: kompakte Klassifikatoren oder kleine Vision-Language-Modelle, die über Core ML / NNAPI / LiteRT laufen; die Inhalte bleiben auf dem Gerät.
• Textmodelle: kleine Encoder-Klassifikatoren oder kleine LLMs (≤ 8 Mrd. Parameter oder destilliert) für Absicht, Tonfall und Kontext; die Abdeckung von Sprachen und Jugendsprache ist der wichtigste Qualitätstreiber.
• Mensch-in-der-Schleife (Human-in-the-Loop): Das Kind entscheidet bei einem unkenntlich gemachten Bild (ansehen oder nicht); die Eltern erhalten eine Zusammenfassung und entscheiden über das weitere Vorgehen; Warnungen zu Selbstverletzung sollen zu menschlicher Hilfe führen, nie zu automatisierter Bestrafung. Krisenabläufe müssen von Fachleuten des Kinderschutzes geprüft werden.

Datenaufbereitung

Die Daten entstehen auf dem Gerät des Kindes: Nachrichten, Bilder, Surfverhalten, App-Nutzung und Chat-Inhalte. Sie liegen in Messenger-Apps, in der Fotobibliothek und im Familienkonto der Plattform; nichts liegt in einem ERP oder DMS. Typische Lücken: Ende-zu-Ende-verschlüsselte Chats, die sich nicht lesen lassen, von den Klassifikatoren nicht abgedeckte Jugendsprache und Emojis, gemischte Sprachen, fehlende Angaben zu Alter oder Einwilligung sowie Bildklassifikatoren, die durch Hautton oder Kontext verzerrt sind. Schritte der Aufbereitung: (1) mit der Familie den Umfang festlegen, welche Inhalte geprüft werden und wer was sieht (PREP-024); (2) vor jeder Klassifikation Altersprofile und Kategorien festlegen (PREP-019); (3) die Klassifikation auf dem Gerät ausführen, damit Bilder es nie verlassen; (4) nur Labels, Zeitstempel und ein unkenntlich gemachtes Vorschaubild speichern, nicht den Inhalt (PREP-022); (5) Entwickler bauen mit Fachleuten des Kinderschutzes eine Testmenge aus synthetischen und lizenzierten Beispielen, niemals mit echtem Missbrauchsmaterial (PREP-018); (6) Rückmeldungen von Eltern und Kindern zu Fehlalarmen sammeln (PREP-021). Grober Anteil am Aufwand: etwa 15 Prozent, da Anbieter trainierte Modelle liefern; die eigentliche Arbeit liegt in Regeln und Einwilligung. Zur allgemeinen Reife siehe GUIDE-003.

Umsetzungswege

Welcher Weg für wen

• Privat: Weg A. Ausgereifte, in der EU verfügbare Kindersicherungsprodukte und Plattformfunktionen (Familienfunktionen des Betriebssystems) funktionieren sofort, und Familien haben selten die Kenntnisse oder die Zeit, einen eigenen Stack zu betreiben.
• Entwickler: Weg B. Teams, die ein Kinderschutzprodukt bauen, beginnen mit Moderations- und Vision-Schnittstellen in EU-Regionen und gehen für die Bilder des Kindes auf das Gerät, sobald das Design stabil ist.

Weg A — Kaufen (empfohlen für Familien)

• In Plattformen integriert (kostenlos): Apple Communication Safety (Nacktheitserkennung auf dem Gerät für Kinderkonten in der Familienfreigabe, über das Framework Sensitive Content Analysis auf weitere Apps ausgeweitet [2]), Google Family Link und Warnungen vor sensiblen Inhalten in Google Messages [3], Microsoft Family Safety.
• Kommerzielle Kindersicherungspakete: Bark, Qustodio, Norton Family, Net Nanny, Kaspersky Safe Kids; europäische Optionen sind unter anderem JusProg (DE, Filter nach Altersfreigabe) und Salfeld Kindersicherung (DE); SafeToNet (UK) für den Schutz auf Tastaturebene. Prüfen: Speicherort der Daten, ob Nachrichteninhalte das Gerät verlassen, nach Alter gestufte Transparenz, Löschung auf Anfrage.
• A wählen, wenn: eine Familie binnen Stunden einen funktionierenden Schutz ohne technischen Aufbau möchte.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Für App-Entwickler, die ihrem Dienst Kinderschutz hinzufügen: Moderations-Schnittstellen (OpenAI Moderation, Azure AI Content Safety, Google Cloud Vision SafeSearch, Amazon Rekognition Content Moderation), Mistral-Moderation (EU), Hive. Serverseitiges Scannen privater Nachrichten wirft Fragen zu Vertraulichkeit und ePrivacy auf — bevorzugen Sie Inferenz auf dem Gerät und einen Server-Rückfall nur für Meldungen.
• Altersprüfung: EU-Blaupause bzw. App zur Altersverifikation, datenschutzfreundliche Alterstoken, auf Wallets beruhende Nachweise [1], statt Ausweiskopien zu erheben.
• B wählen, wenn: Sie einen Messenger, ein Spiel oder eine kinderfreundliche App bauen und gestaffelte Verteidigung brauchen.

Weg C — Selbst betreiben (Open Source)

• Modelle: offene NSFW-Bildklassifikatoren (z. B. Falconsai nsfw_image_detection auf Hugging Face, OpenNSFW2), Llama Guard / ShieldGemma / Qwen3Guard für Sicherheitsklassen bei Text und Bild, kleine mehrsprachige Toxizitätsklassifikatoren (Detoxify, auf XLM-R basierend), kleine VLMs für den Kontext.
• Laufzeitumgebungen: ONNX Runtime Mobile, Core ML, TensorFlow Lite / LiteRT, llama.cpp unter Android.
• Heim-Gateway: Filterung auf DNS-Ebene (Pi-hole, AdGuard Home, Kategorielisten im Stil von OpenDNS) auf einem Raspberry Pi (HW1) für netzwerkweite Filterung; keine Inhaltsanalyse verschlüsselten Datenverkehrs.
• C wählen, wenn: datenschutzbewusste Familien, Schulen oder Vereine mit technischen Kenntnissen. Offene Klassifikatoren decken Jugendsprache, Sprachen und Randfälle schwächer ab als kommerzielle.

Weg D — Eigenes Training

Feintuning eines Klassifikators für eine bestimmte Sprache, Altersgruppe oder Plattformkultur (zum Beispiel deutsche Jugendsprache bei Mobbing). Erfordert beschriftete Daten, die schwer und ethisch heikel zu beschaffen sind; nutzen Sie synthetische und mit Einwilligung erhobene Datensätze, beziehen Sie Kinderschutzorganisationen ein und erstellen oder besitzen Sie niemals illegales Bildmaterial. Bei bekanntem illegalem Material nutzen Plattformen den Hash-Abgleich über befugte Stellen, nicht Familienwerkzeuge (siehe VIS-027, VIS-050).

Stand der Technik (2026)

• Erkennung sensibler Inhalte auf dem Gerät ist in den großen Betriebssystemen Standard: Bilder werden lokal analysiert, und Entwickler können die Funktion des Betriebssystems über Systemframeworks wiederverwenden [2].
• Kleine Schutzmodelle (Llama Guard, ShieldGemma und ähnliche) bringen mehrsprachige Schadensklassifikation an den Rand des Netzes (Edge); Kontextverständnis (Ist das ein Scherz, ein Erwachsener oder Gleichaltrige?) verbessert sich, ist aber nicht gelöst.
• Altersprüfung bewegt sich hin zu datenschutzfreundlichen Nachweisen (EU-App zur Altersverifikation, Wallets) und Altersschätzung auf dem Gerät; Grenzen bei Genauigkeit und Verzerrung bleiben, und die Leitlinien der Kommission fordern Verhältnismäßigkeit [1].
• Grenzen und Fehlerbilder: Falschalarme (Medizin, Kunst, Familienfotos) beschämen und untergraben das Vertrauen; übersehene Fälle geben falsche Sicherheit; Ende-zu-Ende-verschlüsselte Apps sind ohne Zugriff auf dem Gerät womöglich nicht lesbar; Jugendliche umgehen Kontrollen mit VPNs, Zweitkonten oder neuen Apps; Szenesprache und Emojis ändern sich schnell; KI-generierte Nacktbilder von Gleichaltrigen sind ein wachsender Schaden (Klassifikatoren müssen auch synthetische Inhalte behandeln). Die Erkennung darf nie der alleinige Schutz sein.

Gemeinsame Bausteine & Kombinationen

• Gleicher Technologie-Stack (vlm, image-classification, guardrails, edge-runtime): VIS-027 Bild-/Videomoderation und LANG-014 Textmoderation nutzen serverseitig dieselben Modellfamilien; PERS-005 privater lokaler Assistent und PERS-009 Familienorganisation teilen sich den Heimserver und das Familienkonto.
• Verwandt: ANOM-004 Missbrauch auf Plattformen, PERS-007 unterstützende KI (Einstellungen zur Barrierefreiheit für dieselben Geräte), VIS-050 forensische Triage (Strafverfolgung, hier nicht Gegenstand; nie ein Familienwerkzeug).
• Hardware: NPU des Kindergeräts für die Inferenz (HW1); optional ein Heim-Gateway für die DNS-Filterung.

Aufwand, Kosten & Kennzahlen

• Weg A: Stunden für die Einrichtung; von kostenlosen integrierten Funktionen bis zu einem moderaten Jahresabonnement je Familie.
• Weg B: 1–3 Monate für eine App-Integration einschließlich Altersprüfung und Meldeabläufen.
• Weg C: Wochen für die DNS-Filterung; Monate für eine gepflegte Pipeline auf dem Gerät.
• Kennzahlen: Anteil abgefangener schädlicher Kontakte mit Inhalten (Red-Team-Testmengen), Falschalarmrate laut Kindern und Eltern, Hilfesuche des Kindes nach einer Warnung, Rate der Gespräche zwischen Eltern und Kind, Zeit bis zur Entfernung von Inhalten nach Meldungen, Abmelde-/Umgehungsrate.

Menschen & Veränderung

Die Beteiligten sind die Familie und, bei Entwicklern oder Schulen, die rechtliche und datenschutzrechtliche Seite. Sprechen Sie zuerst mit dem Kind: Erklären Sie, was geprüft wird, vereinbaren Sie Regeln altersgerecht und bevorzugen Sie Warnungen an das Kind vor jeder Meldung an die Eltern; heimliche Überwachung beschädigt das Vertrauen und kann bei älteren Jugendlichen rechtswidrig sein. Betriebsrat: nein bei privater Nutzung; setzen eine Schule, eine Jugendorganisation oder ein Arbeitgeber es auf Geräten von Beschäftigten oder Schülern ein, kann die Mitbestimmung (§ 87 Abs. 1 Nr. 6 BetrVG) oder der Personalrat zuständig sein (GUIDE-004). Datenschutz: Daten von Kindern verlangen besondere Sorgfalt, daher sollte die/der Datenschutzbeauftragte für jedes Produkt, das anderen angeboten wird, eine Datenschutz-Folgenabschätzung (DSFA) bewerten (Art. 35 DSGVO), mit Auftragsverarbeitungsverträgen (AVV) und einer klaren Rechtsgrundlage (GUIDE-005). KI-Kompetenz: Art. 4 der KI-Verordnung (AI Act) verlangt von Anbietern, die KI-Kompetenz der Beschäftigten zu fördern, und Eltern profitieren von einer kurzen Anleitung, was die Warnungen bedeuten und was sie übersehen (GUIDE-006). Pilotieren Sie mit einigen freiwilligen Familien. Typische Sorgen sind Privatsphäre und Fehlalarme: Zeigen Sie, wie Warnungen erklärt werden, ermöglichen Sie Widerspruch und halten Sie den Menschen in der Kontrolle, denn ein Elternteil entscheidet und niemals das System allein. Verweisen Sie bei ernsten Fällen auf Beratungsstellen.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): in der Regel begrenztes/minimales Risiko. Zu vermeidende Verbote nach Art. 5: Emotionserkennung im Bildungsbereich, ausbeuterische KI, die Schwächen von Kindern ausnutzt, und manipulative Techniken; leiten Sie bei der Überwachung von Kindern in Schulen keine Emotionen aus Gesicht oder Stimme ab. Die biometrische Altersschätzung ist nicht verboten, darf aber nicht zur biometrischen Kategorisierung nach sensiblen Merkmalen führen. Chatbots für Kinder brauchen die Transparenz nach Art. 50 [4].
• DSGVO: Daten von Kindern sind Daten schutzbedürftiger Personen; Art. 8 (Einwilligungsalter 13–16 je nach Mitgliedstaat), Datenminimierung, Zweckbindung, eine DSFA ist wahrscheinlich; die Rechte des Kindes gelten auch dann, wenn die Eltern einwilligen. Die Allgemeine Bemerkung Nr. 25 zum UN-Kinderrechtsübereinkommen verlangt, Schutz mit Privatsphäre und Teilhabe abzuwägen.
• ePrivacy / Kommunikationsgeheimnis: Wenn Eltern die Nachrichten ihres Kindes überwachen, ist das in den meisten Staaten eine Familienangelegenheit, bei Anbietern, die Inhalte in der Cloud verarbeiten, jedoch nicht; in Deutschland legen JuSchG und JMStV Jugendschutzpflichten fest, die Kommission für Jugendmedienschutz (KJM) übt die Aufsicht aus.
• CSAM-Regulierung: Der EU-Vorschlag zur "Chatkontrolle" war umstritten; Familienwerkzeuge sollten nicht nach illegalem Material suchen oder es weiterleiten; erhält ein Kind solches Material, raten Sie zur Meldung an Hotlines (INHOPE-Netzwerk, z. B. eco, jugendschutz.net) und an die Polizei, ohne Kopien aufzubewahren.
• Risiken: Überwachung, die das Vertrauen schädigt, unfreiwilliges Outing von LGBTQ+-Kindern, Missbrauch der Überwachung in gewalttätigen Haushalten, Datenpannen beim Anbieter. Gegenmaßnahmen: nach Alter gestufte Transparenz, für das Kind sichtbare Überwachung, Benachrichtigungen auf Kategorieebene, Verarbeitung auf dem Gerät, Löschrechte, keine verdeckte Spionagesoftware.

Erste Schritte

1. Sprechen Sie zuerst mit dem Kind: Vereinbaren Sie, was überwacht wird und warum, und passen Sie es mit dem Alter an.
2. Aktivieren Sie die in die Plattformen integrierten Funktionen (Communication Safety, Family Link, Family Safety) und prüfen Sie die Voreinstellungen.
3. Ergänzen Sie einen Filter auf DNS- oder App-Ebene nur dort, wo Lücken bleiben; lesen Sie die Bedingungen des Anbieters zur Datenverarbeitung.
4. Testen Sie mit harmlosen, synthetischen Beispielen; prüfen Sie Falschalarme und was die Eltern tatsächlich sehen.
5. Überprüfen Sie vierteljährlich; lockern Sie die Kontrollen, wenn das Kind wächst; speichern Sie Hilfetelefone und Meldestellen als Lesezeichen.

Quellen

1. European Commission — Guidelines on protection of minors online under the DSA — https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-protection-minors
2. Apple — Sensitive Content Analysis framework — https://developer.apple.com/documentation/sensitivecontentanalysis
3. Google — Sensitive Content Warnings in Google Messages — https://safety.google/intl/en_us/families/
4. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
5. UN Committee on the Rights of the Child — General comment No. 25 on children's rights in relation to the digital environment — https://www.ohchr.org/en/documents/general-comments-and-recommendations/general-comment-no-25-2021-childrens-rights-relation
6. Regulation (EU) 2022/2065 (Digital Services Act) — https://eur-lex.europa.eu/eli/reg/2022/2065/oj
7. Llama Guard (Meta) — https://github.com/meta-llama/PurpleLlama
8. Bark — https://www.bark.us