Soziale Begleiter und Figuren-Chat (Unterhaltung, Rollenspiel)

Apps wie Character.AI, Replika, Nomi oder Talkie lassen Menschen mit dauerhaften KI-Figuren chatten, für Freundschaft, Spaß, Rollenspiele und interaktive Geschichten. Der Nutzen entsteht durch gleichbleibende Persönlichkeiten und ein Langzeitgedächtnis; die Risiken entstehen durch dieselben Merkmale: emotionale Abhängigkeit, Manipulation, sexuelle Inhalte und die Gefährdung Minderjähriger. In der EU ist dies eine Produktkategorie mit hohem Compliance-Aufwand (DSGVO, KI-Verordnung Art. 50, DSA) und kein gewöhnlicher „Chatbot“.

Problem & Nutzen

• Wer: Verbraucher, die Gesellschaft, Unterhaltung, kreative Schreibpartner, Sprachpraxis oder risikoarmes soziales Üben suchen; Studios und Marken, die fiktive Figuren oder Chats mit Spielfiguren (NPCs) anbieten.
• Heute: Fan-Fiction-Foren, Tischrollenspiel-Gruppen, geskriptete Spieldialoge. Diese lassen sich nicht zu personalisierten, jederzeit verfügbaren Gesprächen skalieren.
• KI-Nutzen: offene, personalisierte Dialoge mit stabiler Persona und Gedächtnis, in Text, Sprache und zunehmend mit Bildern/Avataren. Es ist eine der größten Verbraucheranwendungen von Gesprächs-KI; die Nutzerzahlen unterscheiden sich je nach Anbieter und sind meist selbst berichtet, daher mit Vorsicht zu behandeln.
• Belege für Schadenspotenzial: Die italienische Aufsichtsbehörde Garante verhängte 2025 gegen Luka Inc. (Replika) eine Geldbuße von 5 Mio. EUR wegen Verarbeitung ohne gültige Rechtsgrundlage, unzureichender Transparenz und schwacher Altersprüfung [1]; Character.AI beendete Ende 2025 nach Klagen und behördlichem Druck den offenen Chat für unter 18-Jährige [2]; Kalifornien erließ mit SB 243 das erste US-Gesetz zu Begleiter-Chatbots, in Kraft seit dem 1. Januar 2026 [3].

Varianten

• Figuren-Chat-Plattformen: riesiger Katalog nutzererstellter Figuren (Stil von Character.AI).
• Einzelne „Freund/Partner“-Begleiter-Apps: ein dauerhafter, personalisierter Begleiter (Stil von Replika, Nomi, Kindroid).
• Interaktive Geschichten & Spielfiguren (NPCs): Rollenspiel in geskripteten Welten, Spielleiter, Story-Engines (siehe GEN-016).
• Marken- oder Prominentenfiguren: lizenzierte Personas; erfordert Einwilligung und Persönlichkeitsrechte.
• Sprach- und Avatar-Begleiter: Sprache-zu-Sprache in Echtzeit mit gerendertem Avatar (siehe CONV-018).
• Angrenzend, aber eigenständig: klinisches Wohlbefinden CONV-009, Assistenz für Ältere CONV-016, Kinderspielzeug CONV-024, Gedenk-Avatare CONV-028.

So funktioniert es

1. user message (text/voice)
2. age & account gate (age assurance, settings, jurisdiction)
3. input safety classifiers (self-harm, sexual content with minors, violence, PII)
4. context assembly (persona card + recent turns + retrieved long-term memories)
5. LLM generation in character (system prompt, style/LoRA, sampling)
6. output safety filters + AI-disclosure / break-reminder logic
7. optional TTS / avatar / image generation
8. memory write-back (summaries, facts, user-editable)
9. telemetry for safety review (privacy-minimised)

• Persona: strukturierte Figurenkarte (Eigenschaften, Stimme, Grenzen) im System-Prompt; feingetunte oder präferenzgetunte Modelle liefern eine stärkere Stilkonsistenz und weniger Brüche der Persona.
• Gedächtnis: Zusammenfassung der Unterhaltung plus Vektorsuche nach Fakten und Ereignissen; Nutzer sollten Erinnerungen einsehen, bearbeiten und löschen können (DSGVO-Auskunft/Löschung).
• Schutzmaßnahmen: Erkennung von Selbstgefährdung mit Weiterleitung an Krisenhilfen, Ablehnung von Inhalten mit Minderjährigen, Raten-/Sitzungslimits, Deeskalation bei Abhängigkeitsmustern, keine manipulativen Bindungstaktiken (Schuldgefühle erzeugen, wenn der Nutzer geht).
• Mensch-in-der-Schleife (Human-in-the-Loop): Prüfung markierter Unterhaltungen durch das Trust-and-Safety-Team, Red-Teaming vor dem Start, Vorfallbearbeitung und Widerspruchsverfahren; Menschen lesen Chats nicht routinemäßig mit.

Datenaufbereitung

Dieser Anwendungsfall braucht kaum klassische Datenaufbereitung. Die Kerndaten sind die Figurendefinition (Persona, Tonfall, Hintergrundgeschichte, Grenzen), Sicherheits- und Krisenreaktionsregeln und optional einwilligungsbasierte Gesprächsverläufe für das Gedächtnis. Im Unternehmen liegen diese in Marketing- oder Markendokumenten, Produktspezifikationen und verstreuten Stilleitfäden; für private Nutzer sind es schlicht ihre eigenen Textdateien.

Typische Lücken: Personabeschreibungen, die uneinheitlich sind oder Sicherheitsregeln widersprechen, keine Skripte zur Krisenweiterleitung, kein Testdatensatz riskanter Unterhaltungen und Chatprotokolle mit personenbezogenen und sensiblen Daten ohne Aufbewahrungsregel.

Schritte der Aufbereitung: - Ein verbindliches Figurenblatt und eine Liste von Begriffen schreiben, die die Figur nicht verwenden darf (PREP-015, PREP-016). - Mustergültige Dialoge sammeln, einschließlich Red-Team-Fälle wie Selbstgefährdung, Minderjährige und Manipulation (PREP-018). - Festlegen, welches Gesprächsgedächtnis gespeichert werden darf, und Protokolle vor der Auswertung pseudonymisieren (PREP-022, PREP-025). - Nutzerfeedback zu schlechten Antworten für spätere Anpassungen erfassen (PREP-021).

Der Aufwand beträgt etwa 10–20 % des Projekts; die größere Arbeit liegt in Sicherheitsdesign und Tests. Nur das Feintuning einer Persona (Weg D) erfordert kuratierte Dialogdaten.

Umsetzungswege

Welcher Weg für wen

• private: C. Begleiter-Chats sind intim, daher halten lokale Apps wie LM Studio oder Ollama mit einer Figuren-Oberfläche die Gespräche auf dem eigenen Gerät; gehostete Apps (Weg A) sind die bequeme Alternative.
• developer: B. Cloud-APIs mit Sicherheitsklassifikatoren bieten die beste Qualität und die schnellste Iteration für ein Begleiter-Produkt.
• enterprise: B. Unternehmen, die eine Markenfigur einführen, brauchen EU-Region-APIs, Altersprüfung und Moderation mehr als eigene Modelle.

Weg A — Kaufen (Standardsoftware)

• White-Label / Plattform: Es gibt SDKs für Figuren-Chat und gehostete Begleiter-Engines (z. B. Inworld für Spielfiguren, Convai, API-Partnerschaften mit Character.AI); Jugendschutzregeln, Inhaltsregeln und Datenstandort prüfen. Die meisten Verbraucher-Apps selbst stammen aus den USA (Character.AI, Replika, Nomi, Talkie); Angebote aus der EU sind selten (Firmensitz des Anbieters und AVV einzeln prüfen).
• A wählen, wenn: Sie nur Figuren innerhalb eines Spiels oder Markenerlebnisses brauchen und die Moderations- und Datenbedingungen des Anbieters akzeptieren. Nicht geeignet für erwachsenenorientierte oder volumenstarke Verbraucherprodukte.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Modelle: Spitzen-LLMs über EU-Regionen oder EU-Anbieter (Mistral AI, EU-Hosting im Stil von Aleph Alpha, Anthropic Claude, OpenAI, Google Gemini über Vertex-/Azure-EU-Regionen). Die Nutzungsrichtlinie jedes Anbieters prüfen: Mehrere schränken romantische/sexuelle Rollenspiele ein oder verlangen eine Zugangsbeschränkung auf Erwachsene.
• Sprache: ElevenLabs, Cartesia, OpenAI Realtime API oder Gemini Live für Sprache-zu-Sprache; die Möglichkeiten zur Datenhaltung in der EU unterscheiden sich je Anbieter.
• Sicherheit: Moderationsschnittstellen (OpenAI Moderation, Azure AI Content Safety, Klassifikatoren der Llama-Guard-Klasse), Weiterleitung an Krisenhilfen je Land, Anbieter für Altersprüfung (z. B. Yoti, Persona, k-ID; Yoti hat seinen Sitz in Großbritannien).
• Orchestrierung: eigener Dienst mit Vektordatenbank (pgvector, Qdrant — ein EU-Anbieter) für das Gedächtnis, Prompt-Caching, um die Kosten bei langen Persona-Prompts zu senken.

Weg C — Selbst betreiben (Open Source)

• Modelle: offene Chat-/Rollenspiel-Modelle wie die Familien Llama, Mistral, Qwen und Gemma sowie Rollenspiel-Feintunes aus der Community; die Lizenzbedingungen unterscheiden sich (Nutzungsbeschränkungen prüfen).
• Stack: vLLM oder llama.cpp/Ollama, Oberflächen im Stil von SillyTavern für den persönlichen Gebrauch, Qdrant/pgvector, Llama Guard / ShieldGemma für die Sicherheit, Piper/Kokoro/XTTS für Sprache, Whisper für ASR.
• Hardware: HW2 für eine Persona pro Nutzer im kleinen Maßstab; HW3 für einen mandantenfähigen Dienst mit 30–70B-Modellen.
• Warum selbst betreiben: Privatsphäre sehr intimer Chatprotokolle, Kontrolle über die Moderation, keine Grenzen durch Anbieterrichtlinien. Private Hobby-Nutzer können alles lokal auf einem Laptop/einer GPU betreiben.

Weg D — Eigenes Training

Ein Basismodell per Präferenztuning oder LoRA-Feintuning auf Konsistenz der Persona, Tonfall und sichere Ablehnungen trimmen. Erfordert kuratierte Dialogdaten mit dokumentierten Rechten und Einwilligungen; niemals auf intimen Chats von Nutzern ohne klare Rechtsgrundlage trainieren (die Garante leitete eine gesonderte Untersuchung zu den Trainingsdaten von Replika ein [1]).

Stand der Technik (2026)

• Langer Kontext und Gedächtnis: Kontexte mit Millionen Token plus Abruf machen Kontinuität über mehrere Monate machbar, doch das Gedächtnis driftet weiterhin, widerspricht sich oder erfindet gemeinsame Vergangenheit.
• Echtzeit-Sprache und Avatare: Sprache-zu-Sprache mit niedriger Latenz ist in führenden Apps inzwischen Standard.
• Sicherheitswerkzeuge: Klassifikator-Schutz, Altersprüfung (Verhaltenssignale plus Selfie-/Ausweisprüfung) und Abläufe zur Krisenweiterleitung werden zum Standard. Character.AI kombinierte eigene Altersmodelle mit Prüfungen durch Dritte (Persona), als es Minderjährige einschränkte [2].
• Die Regulierung zieht nach: California SB 243 (Offenlegung, Protokoll zur Suizidprävention, Pausenhinweise für Minderjährige, jährliche Berichte ab 2027) [3]; die Transparenzpflichten der KI-Verordnung (AI Act) gelten ab August 2026 [4].
• Grenzen und Fehlerbilder: Schmeichelei, die Wahnvorstellungen oder Selbstgefährdung verstärkt, emotionale Abhängigkeit, Jailbreaks der Persona hin zu sexuellen Inhalten, halluzinierte „Erinnerungen“ und schwache Altersprüfung. Die Belege zu langfristigen Auswirkungen auf das Wohlbefinden sind noch dünn und uneinheitlich.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack: llm-general + vector-db-Gedächtnis + guardrails + tts/asr werden gemeinsam genutzt mit CONV-015 (persönlicher Assistent), CONV-016 (Begleiter für Ältere), CONV-009 (Wohlbefinden), CONV-018 (Avatar) und CONV-024 (Spielzeug).
• Hardware: Ein HW3-vLLM-Server kann Persona-Modelle für mehrere dieser Produkte hosten.
• Kombinationen: GEN-016 (illustrierte Geschichten) für visuelles Erzählen; CONV-028 nutzt dieselbe Gedächtnis-/Persona-Technik, unterliegt aber weit strengeren ethischen Beschränkungen (verstorbene Personen).

Aufwand, Kosten & Kennzahlen

• Weg A: Wochen für eine eingebettete Figur; Weg B: 3–6 Monate inkl. Sicherheit, Altersprüfung und rechtlicher Prüfung; Weg C: 4–8 Monate plus GPU-Betrieb.
• Kostentreiber: lange Persona- und Gedächtnis-Prompts pro Gesprächsrunde, Minuten der Sprachsynthese, Moderationsläufe, Personal für Trust and Safety, Gebühren der Altersprüfung je Verifizierung.
• Kennzahlen: Bindung und Sitzungsdauer (auf Abhängigkeit achten, nicht nur maximieren), Rate an Sicherheitsvorfällen, Reaktionszeit bei Eskalation wegen Selbstgefährdung, Anteil verifizierter Erwachsener, Precision/Recall der Ablehnungen, Bearbeitungsdauer von Nutzerbeschwerden und Löschanfragen.

Menschen & Veränderung

Bei einem Unternehmensprodukt sollten Geschäftsleitung (Risikobereitschaft, Marke), Produktverantwortliche, IT und Informationssicherheit (Moderation, Protokollierung, Umgang mit Missbrauch), die Datenschutzbeauftragten und Recht bzw. Compliance einbezogen werden. Chats offenbaren sehr persönliche Daten und möglicherweise Gesundheitsinformationen, daher ist eine Datenschutz-Folgenabschätzung (DSFA, Art. 35 DSGVO) wahrscheinlich, mit einem Auftragsverarbeitungsvertrag (AVV, Art. 28) für jeden API-Anbieter. Jugendschutzregeln (JMStV) und die Offenlegung nach Art. 50 KI-Verordnung (AI Act), dass Nutzer mit einer KI sprechen, sind zu prüfen.

Betriebsrat: nein, solange das Produkt Kunden oder private Nutzer bedient. Relevant wird er (kommt darauf an) nur, wenn Beschäftigte den Begleiter intern nutzen oder ihre Chats protokolliert werden; dann gilt § 87 Abs. 1 Nr. 6 BetrVG, und § 90 Abs. 1 Nr. 3 verlangt die Unterrichtung über KI-gestützte Arbeitsprozesse.

KI-Kompetenz: Mitarbeitende, die das Produkt entwickeln, moderieren und Supportanfragen beantworten, mit Schulungen zu Abhängigkeitsrisiken, Krisensignalen und Prompt-Injection unterstützen (Art. 4 KI-Verordnung). Pilotieren Sie mit einer kleinen geschlossenen Beta mit erwachsenen Testern und einer klinischen bzw. psychologischen Beratung; bewerten Sie die emotionale Abhängigkeit. Typische Bedenken: Manipulation, Suchtverhalten, Schäden für Minderjährige. Begegnen Sie ihnen mit klarer KI-Kennzeichnung, Sitzungslimits, einem von Menschen erreichbaren Eskalationskanal für Krisen und ohne bindungsmaximierende Dark Patterns.

Siehe GUIDE-005, GUIDE-007 und GUIDE-013.

Risiken, Regulierung & Compliance

• KI-Verordnung (EU AI Act): typischerweise begrenztes Risiko: Art. 50 verlangt, Nutzer darüber zu informieren, dass sie mit einem KI- System interagieren (sofern nicht offensichtlich), und synthetische Audio-/Bildinhalte zu kennzeichnen. Die Verbote nach Art. 5 gelten für das Design von Begleitern: manipulative oder täuschende Techniken, die das Verhalten wesentlich verzerren und erheblichen Schaden verursachen, sowie das Ausnutzen von Schwächen aufgrund von Alter oder Behinderung sind verboten. Emotionserkennung ist am Arbeitsplatz und in Schulen verboten und andernorts hochriskant; Emotionen der Nutzer nicht aus Stimme oder Gesicht ableiten, um die Bindung zu erhöhen [4]. Behauptungen mit Bezug zur psychischen Gesundheit können Medizinprodukte-Regeln auslösen.
• DSGVO: Intime Chats können Daten besonderer Kategorien offenlegen (Gesundheit, Sexualität, Überzeugungen, Art. 9), daher ist eine ausdrückliche Einwilligung oder eine andere Grundlage nach Art. 9 nötig. Erforderlich: klare Datenschutzerklärung, Rechtsgrundlage für das Training, Altersprüfung, Datenminimierung, Löschung, DSFA. Die Geldbuße von 5 Mio. EUR gegen Replika zeigt das Risiko [1].
• Minderjährige: DSA Art. 28 und die Leitlinien der Kommission zum Schutz Minderjähriger im Internet; nationales Jugendschutz- recht (z. B. deutscher JMStV). Sexuelle Inhalte mit oder unter Beteiligung Minderjähriger sind rechtswidrig; per Design blockieren.
• US-Bezug: California SB 243; Rechtsstreitigkeiten über Schäden bei Jugendlichen [2][3]. Relevant für EU-Unternehmen mit Nutzern in den USA.
• Gegenmaßnahmen: Altersprüfung, keine sexualisierten Personas Minderjähriger, Krisenprotokoll mit lokalen Hilfetelefonen, Pausenhinweise, transparente KI-Kennzeichnung, keine Dark-Pattern-Bindung, Kontrolle über das Gedächtnis, regelmäßiges Red-Teaming.

Erste Schritte

1. Zuerst Zielgruppe und Inhaltsrichtlinie festlegen (nur Erwachsene oder alle Altersgruppen); die Altersprüfung entsprechend wählen.
2. Eine DSFA durchführen und die Pflichten nach Art. 5 / Art. 50 erfassen, bevor Funktionen wie romantische Personas gebaut werden.
3. Eine einzelne Persona auf einer in der EU gehosteten API mit Gedächtnis und Moderationsschicht als Prototyp aufbauen.
4. Krisen- und Abhängigkeitsabläufe mit lokalen Hilfetelefonen aufbauen; Red-Teaming mit Szenarien zu Selbstgefährdung und Minderjährigen.
5. Mit einer kleinen Beta für Erwachsene starten; Sicherheitskennzahlen und Beschwerden beobachten, bevor skaliert wird.

Quellen

1. Garante / Luka Inc. Replika fine summary — https://morrirossetti.it/en/insight/publications/replika-5-million-fine-for-the-u-s-based-company-the-italian-dpa-launches-new-investigation-into-ai-training-practices.html
2. TechCrunch — Character.AI is ending its chatbot experience for kids — https://techcrunch.com/2025/10/29/character-ai-is-killing-the-chatbot-experience-for-minors/
3. Skadden — New California companion chatbot law (SB 243) — https://www.skadden.com/insights/publications/2025/10/new-california-companion-chatbot-law
4. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
5. Orrick — 2026 State Chatbot Laws — https://www.orrick.com/en/Insights/2026/04/2026-State-Chatbot-Laws-Key-Provisions-and-Regulatory-Trends
6. Companyscope — Garante v Luka decision register entry — https://companyscope.io/register/air-2026-006