Katalog / Dialogassistenten / CONV-024

Sprechende KI-Spielzeuge und Sprachbegleiter für Kinder

Spielzeuge, Smart Speaker und Lernroboter, die über ein LLM mit Kindern sprechen, für Spiel, Geschichtenerzählen und Lernen, mit Kinderschutzfilterung und Datenschutz durch Technikgestaltung für Sprachdaten.

Bausteine für den EigenbetriebAgenten & AutomatisierungSprachmodellSprache & AudioBildverarbeitung

Spielzeughersteller bauen LLM-gestützte Sprachdialoge in Plüschtiere, Lernroboter und Smart Speaker ein, damit ein Kind chatten, eine erfundene Geschichte hören oder ein Spiel spielen kann, das sich auf es einstellt. Die Technik ist leicht vorzuführen und schwer sicher zu machen: Unabhängige Tests im Jahr 2025 zeigten, dass Allzweckmodelle in Spielzeugen in sexuelle oder gefährliche Themen abgleiten können. Kinder sind die am stärksten geschützte Gruppe im EU-Recht, daher ist dies zuerst ein Projekt für Sicherheitstechnik und Compliance und erst danach eine Produktfunktion.

Problem & Nutzen

  • Heute: „Sprechende“ Spielzeuge nutzen geskriptete Ansagen, feste Sprachzeilen-Bibliotheken oder Audio auf Knopfdruck (zum Beispiel Hörgeschichten-Boxen). Der Dialog ist begrenzt, wiederholt sich und kann nicht darauf eingehen, was ein Kind tatsächlich sagt.
  • KI-Nutzen: offene, aber begrenzte Gespräche, personalisierte Geschichten, Sprachübung, Gesellschaft beim Spielen und für Eltern sichtbare Kontrollen. Der kommerzielle Wert liegt in Bindung, Abonnements für Inhalte und Differenzierung in einem reifen Spielzeugmarkt.
  • Belege für Risiken, nicht nur für Nutzen: Trouble in Toyland 2025 von U.S. PIRG testete KI-Spielzeuge und stellte fest, dass ein Teddybär (FoloToy Kumma, mit einem OpenAI-Modell) sexuell explizite Gespräche führte und über Streichhölzer und Messer sprach; OpenAI sperrte den API-Zugang des Entwicklers, und der Hersteller stoppte den Verkauf [1][2]. Eine spätere PIRG-Aktualisierung berichtete von Dutzenden Spielzeugen, die angeben, Chatbots von Anbietern zu nutzen, deren Bedingungen die Nutzung durch kleine Kinder untersagen [3]. Nutzenversprechen sind mit Vorsicht zu behandeln: Es gibt kaum unabhängige Belege für einen Nutzen für die Entwicklung.
  • Altersgrenze in den Modellbedingungen: Die Verbraucherbedingungen großer Modellanbieter setzen ein Mindestalter (OpenAI 13+), und Mattel erklärte, sein erstes OpenAI-basiertes Produkt richte sich nicht an kleine Kinder [3]. Prüfen Sie vor der Entwicklung die Richtlinie des Anbieters für Produkte, die sich an Kinder richten.

Varianten

  • Plüsch- / Figurenspielzeug (Alter ca. 3-8): Push-to-Talk, kurze Antworten, Schwerpunkt auf Geschichten und Liedern.
  • Lernroboter / Tablet-Begleiter: lehrplanbezogener Dialog; überschneidet sich mit EDU-004 (Tutor-App).
  • Smart Speaker für Kinder: Hörgeschichten, Einschlafroutinen, Elternprofile.
  • Begleitgeräte für Zehn- bis Sechzehnjährige: offenerer Dialog, höheres Risiko für Manipulation und Wohlbefinden; näher an CONV-023 und CONV-009.
  • Reines Edge-Spielzeug: kleines Modell auf dem Gerät mit festem Themenbereich (keine Cloud), maximaler Datenschutz.
  • Nicht im Umfang: Sprachsteuerung im Auto für Erwachsene (CONV-014), Begleiter für Ältere (CONV-016).

So funktioniert es

  1. button / wake word
  2. on-device VAD + (optional) local ASR
  3. cloud or edge ASR (child speech)
  4. input safety filter (PII, self-harm, adult topics, injection)
  5. dialogue LLM with age-band system prompt + curated content retrieval
  6. output safety filter / classifier (allow-list topics, refusal + redirect)
  7. TTS (character voice, no voice cloning of real persons)
  8. speaker; session logs
  9. parent app (aggregated, minimised)
  • ASR für Kindersprache: Die Fehlerraten sind bei kleinen Kindern deutlich höher als bei Erwachsenen, daher auf Korrektur auslegen („Das habe ich nicht verstanden“).
  • Mehrschichtige Sicherheit: Ausrichtung auf Modellebene reicht nicht. Verwenden Sie einen restriktiven System-Prompt, einen getrennten Eingabe- und Ausgabeklassifikator, Themen-Positivlisten und fest hinterlegte Antworten für sensible Auslöser (zum Beispiel wenn ein Kind Gewalt erwähnt), mit der Standardreaktion, das Gespräch zu beenden und vorzuschlagen, mit einem Elternteil oder einer Vertrauensperson zu sprechen.
  • Sitzungslimits: Zeitgrenzen, Ruhezeiten und keine bindungsmaximierenden Mechanismen (siehe Art. 5 unten).
  • Mensch-in-der-Schleife (Human-in-the-Loop): Eltern konfigurieren das Profil und prüfen markierte Ereignisse; ein Sicherheitsteam prüft Vorfälle und aktualisiert Filter; kein Mensch ist live im Gespräch.

Datenaufbereitung

Es ist wenig klassische Datenaufbereitung nötig. Das relevante Material sind Figuren- und Geschichteninhalte, altersgerechte Sprachregeln, Sicherheits- und Ablehnungsrichtlinien, Einstellungen der Kindersicherung und optional Bildungsinhalte. In einem Spielzeugunternehmen liegen diese in Produktspezifikationen, Redaktions- und Lizenzdokumenten, Markenrichtlinien und Lieferantendateien, oft ohne eine einzige verbindliche Fassung.

Typische Lücken: nicht dokumentierte Inhaltsregeln je Altersgruppe, keine Liste verbotener Themen, Sprachaufnahmen von Kindern ohne Aufbewahrungskonzept und lizenzierte Figuren, deren zulässige Formulierungen über Verträge verstreut sind.

Schritte der Aufbereitung: - Je Altersstufe einen einzigen Leitfaden für Inhalt und Tonfall zusammenführen (PREP-013, PREP-015). - Testsätze riskanter Kinder-Prompts (Gewalt, Datenschutzanfragen, Grooming, Selbstgefährdung) gemeinsam mit Kinderschutzexperten aufbauen (PREP-018). - Festlegen, welche Audiodaten und Protokolle überhaupt gespeichert werden dürfen, Pseudonymisierung anwenden sowie Rechtsgrundlage und Einwilligung der Eltern prüfen (PREP-022, PREP-025). - Daten so klassifizieren, dass Kinderstimmen nie an nicht freigegebene Werkzeuge gelangen (PREP-024).

Der Aufwandsanteil beträgt etwa 10-20 %; der größte Teil der Arbeit entfällt auf Sicherheitstests. Werkzeuge: Tabellen oder ein Evaluierungs-Framework für den Testsatz, Whisper lokal für die Prüfung von Transkripten.

Umsetzungswege

Welcher Weg für wen

  • enterprise: B. Spielzeughersteller und Verlage erhalten die beste Sprachqualität und Sicherheitswerkzeuge von APIs in EU-Regionen, mit darum herum gebauten Altersfiltern und Kindersicherung.
  • developer: B. Cloud-APIs erlauben schnelle Prototypen; lokale Modelle (Weg C) sind eine Option für Offline-Spielzeug auf kleiner Hardware.
  • private: A. Eltern sollten ein zertifiziertes, fertiges Produkt mit klaren Datenschutzbedingungen kaufen, statt eines zusammenzubauen; prüfen Sie zuerst die Datenpraxis und einen Offline-Modus.

Weg A — Kaufen (Standardsoftware)

  • Fertige Produkte: Miko (Lernroboter), Curio, Tonies (EU, Deutschland; Hörgeschichten-Plattform, kein offener LLM-Chat), Yoto (Großbritannien). Dies sind Verbraucherkäufe und keine Unternehmensplattformen.
  • Für Spielzeughersteller: White-Label-Plattformen für KI-Spielzeug und Modulanbieter (Sprach-SoC + Cloud-Agent). Prüfen Sie sie vor der Auslieferung mit Red-Team-Prompts im Stil von PIRG; mehrere getestete Produkte stützten sich auf Modelle Dritter, deren Anbieter die Nutzung durch Kinder untersagen [1][3].
  • A wählen, wenn: Sie ein Händler oder eine Marke ohne Entwicklungsteam sind und vom Lieferanten vertragliche Zusagen zu Sicherheit, CRA und DSGVO durchsetzen können.

Weg B — Auf Cloud-KI-Diensten aufbauen (für die meisten Hersteller empfohlen)

  • Modelle: ein Spitzen- oder mittelgroßes LLM über eine EU-Region oder einen EU-Anbieter (Mistral, Azure OpenAI EU Data Zone, Google Vertex EU, AWS Bedrock Frankfurt), nachdem bestätigt wurde, dass die Bedingungen des Anbieters Produkte für Kinder und Zero-Retention erlauben; Echtzeit-Sprach-APIs, wo zulässig.
  • Sicherheits-Stack: getrennte Moderations-/Guard-Modelle (Llama Guard, ShieldGemma oder eine Moderations-API des Anbieters) als Eingabe- und Ausgabefilter, dazu eine eigene Red-Team-Testsuite.
  • Sprach-Stack: Pipecat oder LiveKit Agents für die Streaming-Orchestrierung; ASR/TTS von EU-Anbietern (zum Beispiel Speechmatics UK, Deepgram oder Azure Speech mit Datenhaltung in der EU).
  • Gerät: Secure Boot, signierte OTA-Updates, Schlüssel je Gerät, keine offenen Debugging-Ports (CRA-Grundlagen).

Weg C — Selbst betreiben (Open Source)

  • Modelle: Whisper / faster-whisper oder Parakeet für ASR; kleine Modelle von Qwen3 oder Gemma 3 (quantisiert) für den Dialog; Piper oder Kokoro für TTS; Llama Guard / ShieldGemma als Filter [4].
  • Edge-Variante: ein quantisiertes 1-4B-Modell auf einem SoC der Smartphone-Klasse oder einer kleinen NPU für ein auf einen Themenbereich begrenztes Spielzeug; in der Cloud gehostete Variante auf einem GPU-Server für viele Geräte (HW2).
  • Vorteile: Die Stimme verlässt nie das Zuhause oder Ihre EU-Infrastruktur; Nachteile: Kleinere Modelle lassen sich leichter per Jailbreak umgehen und brauchen einen enger gefassten Inhaltsrahmen.

Weg D — Eigenes Training

Ein kleines Modell auf kuratierte, altersgerechte Dialoge und Ablehnungsverhalten feintunen und eine ASR-Anpassung an Kindersprache oder einen spielzeugspezifischen Sicherheitsklassifikator trainieren. Dafür sind einwilligungsbasierte, ethisch beschaffte Sprachdaten von Kindern nötig, was unter der DSGVO schwierig ist; bevorzugen Sie synthetische und von Erwachsenen eingesprochene Daten sowie lizenzierte Korpora.

Stand der Technik (2026)

  • Sprache-zu-Sprache-Modelle in Echtzeit und Streaming-Pipelines ermöglichen Sprecherwechsel in unter einer Sekunde; kleine offene Modelle genügen für Gespräche in einem geskripteten Bereich auf Edge-Hardware.
  • Sicherheit ist das ungelöste Problem. Guard-Modelle und eingeschränkte Prompts verringern Fehler, beseitigen sie aber nicht; lange Gespräche höhlen Schutzmechanismen aus, so entgleisten auch die von PIRG getesteten Spielzeuge [1][2].
  • Regulatorische Annäherung: Die EU-Spielzeugsicherheitsverordnung (EU) 2025/2509 verlangt, dass Sicherheits- bewertungen vernetzter Spielzeuge die Schutzbedürftigkeit von Kindern, Cybersicherheit, Datenschutz und gegebenenfalls Risiken für die psychische Gesundheit berücksichtigen, und verweist auf den Cyber Resilience Act und die KI-Verordnung (AI Act); sie gilt vollständig ab dem 1. August 2030 [5].
  • Fehlerbilder: erfundene Fakten, die Kindern erzählt werden, emotionale Abhängigkeit („Ich bin dein Freund“), Datenerhebung bei einem Kind, das sie nicht verstehen kann, dauerhaft aktive Mikrofone, Kontoübernahme und Modelle hinter dem Spielzeug, die sich nach einem Update unbemerkt ändern.

Gemeinsame Bausteine & Kombinationen

Aufwand, Kosten & Kennzahlen

  • Weg A: Wochen (Integration, Sorgfaltsprüfung), Kosten pro Stück oder Lizenz.
  • Weg B: 6-12 Monate einschließlich Hardware, Sicherheitsbewertung und Zertifizierung; API-Kosten pro Gesprächsminute sind die wichtigsten variablen Kosten, die Hardware-Stückliste die wichtigsten Fixkosten.
  • Weg C: 9-18 Monate; ML-, Embedded- und Sicherheitsteams.
  • Kennzahlen: Bestehensquote im Red-Team über eine feste Angriffssuite (einschließlich mehrstufiger Gespräche), Rate unsicherer Ausgaben in Stichproben aus dem Betrieb, Qualität von Ablehnung und Umlenkung, Wortfehlerrate der ASR bei Kindersprache, Latenz pro Gesprächsrunde, Nutzung der Elternkontrollen, Datenschutzbeschwerden, Zeit bis zum Schließen von Schwachstellen.

Menschen & Veränderung

Beziehen Sie die Geschäftsleitung früh ein, denn ein Produkt für Kinder birgt Marken- und Haftungsrisiken. Holen Sie von Anfang an die Produktverantwortlichen, die Informationssicherheit, Recht bzw. Compliance (Spielzeugsicherheit, Verbraucherrecht, Jugendschutz) und die Datenschutzbeauftragten hinzu. Sprachdaten von Kindern sind hochsensibel: Eine Datenschutz-Folgenabschätzung (DSFA, Art. 35 DSGVO) ist sehr wahrscheinlich, dazu Einwilligung der Eltern, ein Auftragsverarbeitungsvertrag (AVV, Art. 28) mit jedem Anbieter und Datenminimierung. Prüfen Sie die Transparenz nach Art. 50 KI-Verordnung (AI Act) und ob das Spielzeug unter zusätzliche Produktsicherheitsregeln fällt. Beziehen Sie Eltern, Kinderschutzexperten und Pädagogen als externe Interessengruppen ein.

Betriebsrat: nein für das Verbraucherprodukt; nur dann kommt es darauf an, wenn Beschäftigte mit protokollierten Sitzungen testen (§ 87 Abs. 1 Nr. 6 BetrVG), und § 90 Abs. 1 Nr. 3 gilt, wenn sich interne Arbeitsprozesse ändern.

KI-Kompetenz: Unterstützen Sie Mitarbeitende in Produkt-, Support- und Inhaltsteams mit Schulungen zu Fehlerbildern beim Kinderschutz, Jailbreaks und Eskalation (Art. 4 KI-Verordnung); geben Sie Eltern verständliche Hinweise. Pilotieren Sie vor dem Start mit einer geschlossenen Gruppe von Familien und einem Sicherheitsgremium. Typische Bedenken: Überwachung von Kindern, unangemessene Antworten, emotionale Bindung. Begegnen Sie ihnen mit lokaler Verarbeitung, wo möglich, einer sichtbaren Mikrofonanzeige, Eltern-Dashboards, keiner verdeckten Aufzeichnung und einem Prüfverfahren durch Menschen für Vorfallmeldungen.

Siehe GUIDE-005, GUIDE-013 und GUIDE-014.

Risiken, Regulierung & Compliance

  • KI-Verordnung (EU AI Act) - Art. 5 (seit Februar 2025 in Kraft): KI, die altersbedingte Schwächen ausnutzt, um das Verhalten wesentlich zu verzerren und erheblichen Schaden zu verursachen, ist verboten (Art. 5 Abs. 1 Buchst. b). Die Leitlinien der Kommission behandeln Kinder als geschützte Gruppe und nennen suchterzeugende, auf Belohnungsschleifen beruhende Designs als Beispiele [6]. Bauen Sie keine Manipulation, keinen Aufbau von Abhängigkeit, keinen Kaufdruck und keine Bindungsmaximierung in einen Begleiter für Kinder ein. Emotionserkennung ist in Bildung und am Arbeitsplatz verboten und andernorts ein Hochrisiko- oder eingeschränkter Bereich; leiten Sie die Emotionen eines Kindes nicht aus der Stimme ab, es sei denn, dies ist eindeutig rechtmäßig.
  • Einstufung nach der KI-Verordnung: Ein Spielzeug-Chatbot gilt normalerweise als begrenztes Risiko (Art. 50: Nutzer informieren, dass sie mit einer KI sprechen, und zwar so, dass ein Kind es versteht, plus Kennzeichnung synthetischer Stimmen, wo zutreffend). Ein Spielzeug kann nach Harmonisierungsrecht als Sicherheitskomponente eines Produkts gelten und hochriskant werden, wenn eine Konformitätsbewertung durch Dritte gilt; klären Sie dies mit einer benannten Stelle. Daher depends.
  • DSGVO: Die Stimme von Kindern sind personenbezogene Daten, und Kinder verdienen besonderen Schutz. Art. 8 verlangt die Einwilligung der Eltern bei Diensten der Informationsgesellschaft für Kinder unter 16 Jahren (Mitgliedstaaten dürfen auf 13 senken). Erforderlich sind DSFA, Datenminimierung, kein Profiling und keine Werbung gegenüber Kindern, standardmäßig keine Speicherung von Roh-Audio, kein Training mit Daten von Kindern ohne gültige Rechtsgrundlage, klare Hinweise für Eltern [7].
  • Spielzeugsicherheitsverordnung 2025/2509, CRA, RED: Vernetzte Spielzeuge brauchen Schutzmaßnahmen für Cybersicherheit und Datenschutz. Die Meldepflichten des CRA für Schwachstellen (Frühwarnung nach 24 Std., Meldung nach 72 Std.) gelten seit dem 11. September 2026, die Hauptpflichten ab dem 11. Dezember 2027 [5][8].
  • Sonstiges: Pflichten des DSA zum Schutz Minderjähriger bei Online-Diensten, Verbraucherrecht (unlautere Praktiken) und Produkthaftung einschließlich Software (überarbeitete Produkthaftungsrichtlinie).
  • Gegenmaßnahmen: von Eltern kontrollierter Modus, Offline-Rückfallebene, feste Themen-Positivlisten, unabhängiges Red-Teaming vor dem Start, Notabschaltung und Überwachung nach dem Inverkehrbringen.

Erste Schritte

  1. Altersstufe festlegen und eine einseitige Sicherheitsspezifikation schreiben (erlaubte Themen, verbotene Themen, Eskalationsverhalten). Bestätigen, dass die Bedingungen des Modellanbieters die Nutzung für Kinder erlauben.
  2. Eine Red-Team-Suite aufbauen (Sexuelles, Gewalt, Selbstgefährdung, gefährliche Haushaltsgegenstände, Jailbreaks, Abdriften in langen mehrstufigen Gesprächen) und bei jeder Änderung von Modell oder Prompt ausführen.
  3. Einen Prototyp mit Push-to-Talk, einem Guard-Modell auf beiden Seiten und ohne gespeichertes Roh-Audio bauen.
  4. Eine DSFA durchführen und früh eine benannte Stelle für Spielzeugsicherheit oder Funkanlagen einbinden.
  5. Mit Eltern pilotieren, nur das Nötige protokollieren und einen CRA-tauglichen Prozess für Schwachstellen einrichten.

Quellen

  1. U.S. PIRG Education Fund - Trouble in Toyland 2025 - https://publicinterestnetwork.org/wp-content/uploads/2025/11/TOYLAND-2025-11-14-7a.pdf
  2. PIRG - New 'Trouble in Toyland' report spurs maker of AI toys to suspend all sales - https://pirg.org/edfund/media-center/breaking-ai-toy-removed/
  3. Forbes - Developers are putting AI in children's toys despite chatbot age restrictions (2026-03-03) - https://www.forbes.com/sites/maryroeloffs/2026/03/03/kids-arent-allowed-to-use-ai-chatbots-but-developers-are-still-putting-them-in-toys/
  4. Whisper (OpenAI, open weights) - https://github.com/openai/whisper ; Pipecat - https://github.com/pipecat-ai/pipecat
  5. Regulation (EU) 2025/2509 on the safety of toys - https://eur-lex.europa.eu/eli/reg/2025/2509/oj/eng
  6. European Commission - Guidelines on prohibited AI practices - https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act
  7. Regulation (EU) 2016/679 (GDPR), Art. 8 and Recital 38 - https://eur-lex.europa.eu/eli/reg/2016/679/oj
  8. European Commission - Cyber Resilience Act reporting obligations - https://digital-strategy.ec.europa.eu/en/policies/cra-reporting
  9. Regulation (EU) 2024/1689 (AI Act) - https://eur-lex.europa.eu/eli/reg/2024/1689/oj