Begleiter für psychische Gesundheit und Wohlbefinden

Die Wartezeiten für eine Psychotherapie sind lang, und viele Menschen suchen nie Hilfe. Chat- und Sprachbegleiter bieten niedrigschwellige, jederzeit verfügbare Unterstützung: Psychoedukation, Übungen im Stil der kognitiven Verhaltenstherapie (CBT), Stimmungsverfolgung und einen Weg zu Menschen, sobald ein Risiko erkennbar wird. Die Evidenz wächst, ist aber noch dünn, und die regulatorische Grenze zwischen „Wohlbefinden“ und „Medizinprodukt“ entscheidet fast alles darüber, wie ein solches Produkt gebaut und verkauft werden darf.

Problem & Nutzen

• Heute: Die Nachfrage übersteigt das Angebot an Therapeutinnen und Therapeuten; Patientinnen und Patienten warten Wochen bis Monate und haben zwischen den Sitzungen keine Unterstützung. Arbeitgeber und Krankenversicherer suchen skalierbare Angebote für Prävention und gestufte Versorgung.
• Nutzen der KI: Verfügbarkeit rund um die Uhr, keine Stigmatisierung, gleichbleibende Anwendung evidenzbasierter Techniken, strukturierte Daten (Fragebogenwerte) für Behandelnde und eine Vorauswahl, wer einen Menschen braucht.
• Evidenz: Die erste randomisierte Studie zu einem vollständig generativen Therapie-Chatbot (Therabot, 210 Erwachsene mit Depression, Angst oder Risiko für Essstörungen, 4 Wochen gegenüber Warteliste) berichtete nach 4 und 8 Wochen deutlich stärkere Symptomrückgänge [1]. Kritiker verweisen auf die Wartelisten-Kontrollgruppe und die fehlende unabhängige Bewertung; die Autoren räumen ein, dass eine aufmerksamkeitsgleiche Kontrollgruppe aussagekräftiger wäre. Die Ergebnisse sind als vielversprechend, nicht als gesichert zu betrachten.
• Warnendes Beispiel: Die italienische Datenschutzbehörde verhängte gegen die Betreiberin von Replika, Luka Inc., eine Geldbuße von 5 Mio. EUR (2025) wegen Verarbeitung ohne Rechtsgrundlage, mangelnder Transparenz und fehlender Alterskontrollen [2].

Varianten

• Selbsthilfe-App für Verbraucher (privat): Stimmungstagebuch, CBT-Übungen, Atem- und Schlafcoaching.
• Ergänzung für Behandelnde / digitale Therapeutika: Unterstützung zwischen den Sitzungen, Fragebögen, Hausaufgaben; häufig ein regulatorisch zugelassenes Medizinprodukt (z. B. der deutsche DiGA-Weg).
• Eingangsstufe der gestuften Versorgung: Aufnahme- und Einschätzungs-Chatbot für einen Therapiedienst (Beispiel aus Großbritannien: Limbic Access für NHS Talking Therapies, UKCA Klasse IIa [3]); zur allgemeinen Ersteinschätzung siehe CONV-010.
• Wohlbefindensprogramm von Arbeitgebern / Hochschulen: anonyme, ausschließlich aggregierte Berichte; keine Einzelberichte an den Arbeitgeber.
• Ergänzung der Peer-Unterstützung: Die KI entwirft Antworten für menschliche Helfende (Zuhörende, Ehrenamtliche am Hilfetelefon) oder coacht sie.
• Hier nicht abgedeckt: Unterhaltungsbegleiter (CONV-023), Begleitung älterer Menschen (CONV-016), Produkte für Kinder (CONV-024), Trauer-Avatare (CONV-028).

So funktioniert es

1. Nutzernachricht (Text/Sprache)
2. Eingabe-Sicherheitsschicht (Krisen-/Selbstverletzungs-Klassifikator, Umgang mit personenbezogenen Daten, Altershinweis)
3. Regelwerk-Router: Wohlbefindens-Chat | strukturierte Übung | Fragebogen | Krisenprotokoll
4. LLM mit klinisch erstellten Inhalten (RAG über freigegebene Übungen) + Persona-/Systemvorgaben
5. Ausgabe-Leitplanke (keine Diagnose, keine Medikamentenberatung, keine schädlichen Inhalte, Tonprüfung)
6. Antwort + Sitzungsgedächtnis (mit Einwilligung, minimal)
7. Eskalation: Hinweis auf Hilfetelefon / Übergabe an Menschen / Warnung an Behandelnde (mit Einwilligung)
8. Protokollierung, klinische Sicherheitsüberwachung, regelmäßige menschliche Prüfung

• Verankerung in Inhalten: Die Generierung ist auf freigegebene Protokolle beschränkt (CBT, Verhaltensaktivierung, ACT, motivierende Gesprächsführung); freies Improvisieren ist der wichtigste Risikotreiber.
• Krisenerkennung: ein eigener Klassifikator plus LLM-Bewertung in jedem Gesprächsschritt, nicht nur über Schlüsselwörter; deterministische, vorgegebene Antwort mit lokalen Hilfetelefonnummern und der Notrufnummer 112.
• Mensch-in-der-Schleife (Human-in-the-Loop): Ein klinisches Governance-Gremium genehmigt Inhalte und Eskalationsregeln; eine benannte Beauftragte oder ein Beauftragter für klinische Sicherheit; Übergabewege zu Therapeutinnen und Therapeuten; stichprobenartige Prüfung von Gesprächsverläufen (mit Datenschutzvorkehrungen).
• Sprache: ASR + TTS oder Speech-to-Speech-Modelle; die Prosodie darf in Arbeits- oder Schulumgebungen nicht zur Ableitung von Emotionen genutzt werden (KI-Verordnung Art. 5 Abs. 1 Buchst. f).

Datenaufbereitung

Die Kerndaten sind eine kuratierte klinische Inhaltsbibliothek (Texte zur Psychoedukation, CBT-Übungen, Listen von Hilfetelefonen), validierte Fragebögen (PHQ-9, GAD-7) und, für Anbieter, anonymisierte Gesprächsverläufe. In einer Klinik oder bei einer Krankenkasse liegen diese typischerweise im Praxissystem, im DMS, auf den Dateiablagen des Therapieteams und in verstreuten PDFs oder Foliensätzen. Typische Lücken: Inhalte, die nie auf ihre Eignung für die Suche (Retrieval) geprüft wurden, veraltete Telefonnummern von Hilfsangeboten, doppelte Handouts, keine gekennzeichneten Beispiele für Risikosprache und unklare Zugriffsrechte auf patientenbezogene Notizen.

Aufbereitungsschritte: (1) die Quellen erfassen und von Klinikerinnen und Klinikern einen maßgeblichen Inhaltssatz freigeben lassen (PREP-013); (2) mit klinischen Fachleuten einen Testsatz aus riskanten und harmlosen Gesprächen aufbauen (PREP-018); (3) alle Gesprächsverläufe pseudonymisieren, bevor sie das klinische System verlassen (PREP-022); (4) eine Regel zur Datenklassifizierung festlegen, welche Daten in welches Werkzeug dürfen (PREP-024), und die Rechtsgrundlage für die Weiterverwendung von Behandlungsdaten prüfen (PREP-025). Werkzeuge: Presidio zur Pseudonymisierung, ein versioniertes Git- oder Wiki-Repository für Inhalte und Tabellenkalkulationen für den Evaluationssatz. Etwa 30-40 % des Aufwands entfallen auf Inhaltspflege, Evaluationssätze und den Umgang mit Einwilligungen, deutlich mehr als auf das Modell selbst. Siehe auch GUIDE-003.

Umsetzungswege

Welcher Weg für wen

• Privat: Weg A, weil eine zertifizierte oder zumindest klinisch gesteuerte App mit eingebauter Krisenbehandlung sicherer ist als ein selbst zusammengebauter Chatbot.
• Unternehmen: Weg C, weil Gespräche über psychische Gesundheit Daten besonderer Kategorien sind und Kliniken, Versicherer und Arbeitgeber sie auf eigener Infrastruktur oder in einer privaten EU-Cloud halten sollten.
• Entwicklung: Weg B, weil Modell-APIs in EU-Regionen es einem Produktteam erlauben, den Sicherheitsunterbau zu bauen und zu testen, bevor es sich auf Hardware festlegt.

Weg A — Kaufen (Standardsoftware) (für Organisationen empfohlen)

• Wohlbefindens-Apps für Verbraucher / B2B2C: Wysa (KI-Coach mit Stufen unter Einbindung von Therapeutinnen und Therapeuten; FDA-Breakthrough-Einstufung für eine Indikation Schmerz/Depression), Headspace (Ebb), Calm, Earkick, Youper.
• Klinische Eingangsstufe: Limbic (Großbritannien); CE-/UKCA-Status je Land prüfen.
• Optionen für EU / DACH: im DiGA-Verzeichnis gelistete Apps (z. B. Selfapy, HelloBetter); im DiGA-Verzeichnis des BfArM erstattungsfähige Produkte prüfen.
• A wählen, wenn: Sie Leistungserbringer, Versicherer oder Arbeitgeber sind und ein validiertes Produkt mit vorhandener regulatorischer Dokumentation wünschen. Verlangen Sie: MDR-/CE-Status oder einen ausdrücklich nichtmedizinischen Verwendungszweck, Hosting in der EU, Unterstützung bei der DSFA, Audit des Krisenprotokolls.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Modelle: Claude, GPT, Gemini, Mistral (EU-Anbieter) über EU-Regionen (Azure OpenAI EU Data Zone, Vertex EU, Bedrock Frankfurt, Mistral La Plateforme). Konditionen ohne Datenspeicherung (Zero Retention) und einen AVV nutzen.
• Sicherheitsunterbau: Krisen-Klassifikator (feinabgestimmter Encoder) + LLM-Bewertung, Moderation im Stil von Llama Guard / ShieldGemma, NeMo Guardrails oder Guardrails AI, siehe SEC-010.
• Orchestrierung: LangGraph oder ein ähnlicher Zustandsautomat, damit das Krisenprotokoll deterministisch ist und nicht nur auf dem Prompt beruht.
• B wählen, wenn: Sie ein Healthtech-Unternehmen mit angestellten Klinikerinnen und Klinikern sind, die den klinischen Sicherheitsnachweis verantworten. Ist der Verwendungszweck therapeutisch, ist das fertige Produkt regulierte Software, und Sie tragen die Herstellerpflichten.

Weg C — Selbst betreiben (Open Source)

• Modelle: Mistral Small/Large mit offenen Gewichten, Llama 3.x, Qwen3, Gemma 3 in vLLM; Whisper / faster-whisper für ASR; offene TTS (Piper, Kokoro). Sensible Gesprächsverläufe zur psychischen Gesundheit sind ein starkes Argument für On-Premises oder eine private EU-Cloud.
• Hardware: HW3 für ein Modell der 70B-Klasse mit gleichzeitigen Nutzenden; HW2 genügt für quantisierte Modelle bis 30B und kleine Piloten.
• Hinweis: Offene Modelle erfordern mehr Sicherheitsarbeit; prüfen Sie das Ablehnungs- und Krisenverhalten selbst.

Weg D — Eigenes Training

Feintuning mit von Klinikerinnen und Klinikern verfassten Dialogen und von Fachleuten bewerteten Antworten (wie bei Therabot, das mit kuratierten Therapiedialogen trainiert wurde [1]) kann die Protokolltreue verbessern. Es erfordert Tausende von durch Fachleute geprüften Gesprächsschritten, ein Ethikvotum für jegliche Daten realer Nutzender und ein Studiendesign. Lohnt sich nur für ein klinisches Produkt mit Evidenzplan.

Stand der Technik (2026)

• Hybride Entwürfe dominieren: ein skriptbasiertes, klinisches Rückgrat für sicherheitskritische Momente, das LLM für den natürlichen Dialog.
• Erste RCT-Evidenz für generative Chatbots liegt vor [1]; die meisten kommerziellen Produkte stützen sich weiterhin auf regelbasierte Evidenz aus früheren Studien.
• Die Regulierung bewegt sich schnell: Illinois verbietet KI-gestützte Therapie und deren Bewerbung, sofern sie nicht von approbierten Fachleuten erbracht wird (in Kraft seit 2025) [4]; die Leitlinien der EU-Kommission zu Art. 5 nennen einen therapeutischen Chatbot, der Verletzlichkeit ausnutzt, als Beispiel für eine verbotene Praxis [5].
• Grenzen und Fehlerbilder: Gefälligkeit (Bestätigung schädlicher Überzeugungen), übersehene oder falsch behandelte Krisenmitteilungen, halluzinierte klinische Ratschläge, emotionale Abhängigkeit, Abdriften des Sicherheitsverhaltens in langen Gesprächen, Verzerrungen über Sprachen und Kulturen hinweg und schwache Leistung bei schweren Erkrankungen (Psychose, Essstörungen, Suizidalität).

Gemeinsame Bausteine & Kombinationen

• Leitplanken- und Moderationsunterbau gemeinsam mit SEC-010 und CONV-023/CONV-024; Gedächtnisentwurf des Begleiters gemeinsam mit CONV-015/CONV-016.
• Lässt sich kombinieren mit PERS-002 (Schlaf-/Aktivitätssignale von Wearables), CONV-010 (Aufnahme und Ersteinschätzung), HLTH-019 (Stimm-Biomarker — Hochrisikobereich, getrennt halten).
• Ein selbst betriebener LLM- und ASR/TTS-Server (HW3) kann mehrere Begleiter- und Service-Bots bedienen.

Aufwand, Kosten & Kennzahlen

• Weg A: Einführung in Wochen; Preis je Nutzer oder je Mitglied.
• Weg B: 4–9 Monate einschließlich klinischem Sicherheitsnachweis, Red-Teaming und DSFA; die Hauptkosten liegen in klinischer Governance und Evaluation, nicht in Tokens.
• Weg C: 6–12 Monate; GPU-Server plus MLOps und Sicherheitsteam.
• Kennzahlen: Bindung und Nutzung, Symptomveränderung (PHQ-9/GAD-7), Trefferquote der Krisenerkennung und Fehlalarmrate (auf Red-Team-Sätzen), Übergabezeit, Quote schädlicher Antworten in Audits, von Nutzenden berichtete Sicherheit, Abbruchquote.

Menschen & Veränderung

Beziehen Sie zuerst die Geschäftsführung und die klinische oder Produktverantwortung ein, denn der Verwendungszweck (Wohlbefinden oder Medizinprodukt) entscheidet über das gesamte Projekt. Holen Sie die oder den Datenschutzbeauftragte(n), Recht/Compliance und die IT-Sicherheit vor dem Pilot ins Boot: Eine DSFA nach Art. 35 DSGVO ist bei Daten besonderer Kategorien praktisch unvermeidlich, und jeder Cloud-Anbieter braucht einen AVV nach Art. 28 DSGVO. Betriebsrat: abhängig. Wird der Begleiter Beschäftigten angeboten, etwa als Leistung der Mitarbeiterberatung, und kann das System die individuelle Nutzung protokollieren, ist es zur Überwachung des Verhaltens geeignet und löst die Mitbestimmung nach §87 Abs. 1 Nr. 6 BetrVG aus; außerdem muss der Betriebsrat nach §90 Abs. 1 Nr. 3 unterrichtet werden, wenn sich Arbeitsverfahren ändern, und er kann nach §80 Abs. 3 eine KI-Sachverständige oder einen KI-Sachverständigen hinzuziehen. Stellen Sie sicher, dass die Nutzung freiwillig ist und dass Arbeitgeber niemals einzelne Gespräche sehen. In öffentlichen Stellen ist der Personalrat der Ansprechpartner.

KI-Kompetenz: Nach Art. 4 der KI-Verordnung müssen Betreiber Maßnahmen zur Förderung der KI-Kompetenz ihres Personals ergreifen; schulen Sie daher Klinikerinnen, Kliniker und Moderierende zu Grenzen, Halluzinationen und Krisenprotokollen. Beginnen Sie mit einer kleinen Pilotgruppe aus Therapeutinnen, Therapeuten oder Coaches, kommunizieren Sie offen, dass das Werkzeug die menschliche Versorgung nicht ersetzt, und begegnen Sie Ängsten vor schädlichen Antworten mit Red-Team-Ergebnissen, sichtbaren Eskalationswegen und der Prüfung markierter Fälle durch Klinikerinnen und Kliniker. Menschen behalten die Kontrolle über jede Risikoeskalation. Siehe GUIDE-004, GUIDE-005 und GUIDE-008.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): hängt vom Verwendungszweck ab. Ein Wohlbefindens-Chatbot ist mindestens begrenztes Risiko (Art. 50: KI offenlegen, synthetische Stimme/Inhalte kennzeichnen). Hat er einen medizinischen Zweck (Diagnose, Behandlung, Überwachung), ist er ein Medizinprodukt nach MDR (Verordnung 2017/745, Regel 11 zur Klassifizierung von Software, typischerweise IIa oder höher) und damit Hochrisiko nach Art. 6 Abs. 1 der KI-Verordnung [6][7]. MDCG 2025-6 / AIB 2025-1 behandelt das Zusammenspiel von MDR und KI-Verordnung.
• Verbote nach Art. 5 (Warnhinweis): manipulative oder täuschende Techniken und das Ausnutzen von Schwächen (Alter, Behinderung, soziale oder wirtschaftliche Lage) mit erheblichem Schaden (Art. 5 Abs. 1 Buchst. a und b); Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen (Art. 5 Abs. 1 Buchst. f) — leiten Sie bei Programmen von Arbeitgebern oder Schulen keine Emotionen aus Stimme oder Gesicht ab. Auf Bindung getrimmte Dark Patterns bei einem Begleiter für einsame oder depressive Nutzende laufen Gefahr, hierunter zu fallen.
• DSGVO: Daten zur psychischen Gesundheit sind Daten besonderer Kategorien (Art. 9) — ausdrückliche Einwilligung oder eine andere Grundlage nach Art. 9, DSFA zwingend, Datenminimierung, keine Nutzung von Gesprächen für das Modelltraining ohne gesonderte Einwilligung, Altersprüfung bei Minderjährigen (Art. 8), Löschung auf Verlangen. Die Replika-Entscheidung zeigt die Durchsetzung [2].
• Sonstiges: berufsrechtliche Zulassungsregeln (z. B. Illinois [4]), Digital Services Act für Plattformen, Verbraucherrecht zu Werbeaussagen, DiGA-Anforderungen (DiGAV) in Deutschland, ePrivacy für Analyse-SDKs.
• Gegenmaßnahmen: klare Offenlegung der KI, eng gefasster Verwendungszweck und kein Marketing als „Therapeut“, deterministisches Krisenprotokoll, Beauftragte(r) für klinische Sicherheit, Red-Teaming, Meldung von Vorfällen, Übergabe an Menschen, ausschließlich aggregierte Berichte an Arbeitgeber.

Erste Schritte

1. Legen Sie den Verwendungszweck schriftlich fest (Wohlbefinden oder medizinisch) und holen Sie vor dem Bau eine regulatorische Einschätzung ein.
2. Benennen Sie eine klinische Leitung; definieren Sie Inhaltsumfang, Ausschlüsse (keine Diagnose, keine Medikamentenberatung) und das Krisenprotokoll mit lokalen Hilfetelefonen.
3. Führen Sie eine DSFA durch und wählen Sie Hosting in der EU; entscheiden Sie, was wie lange gespeichert wird.
4. Bauen Sie einen Red-Team-Satz (Krisenmitteilungen, Gefälligkeit, Minderjährige, Abhängigkeit) auf und machen Sie jede Freigabe davon abhängig.
5. Starten Sie mit einer kleinen betreuten Gruppe als Pilot; messen Sie die Veränderung von PHQ-9/GAD-7 und Sicherheitsvorfälle, bevor Sie skalieren.

Quellen

1. Heinz et al., Randomized Trial of a Generative AI Chatbot for Mental Health Treatment, NEJM AI 2025 — https://ai.nejm.org/doi/full/10.1056/AIoa2400802
2. Garante v Luka Inc. (Replika) EUR 5M fine summary — https://companyscope.io/register/air-2026-006
3. Limbic, UKCA Class IIa medical device status (overview) — https://intuitionlabs.ai/articles/ai-chatbots-healthcare
4. Illinois ban on AI therapy (WOPR Act), analysis — https://www.aei.org/technology-and-innovation/illinois-bans-ai-therapy-questions-about-enforcement-remain/
5. AI therapy under the EU AI Act (Art. 5 guidelines example) — https://artificialintelligenceact.eu/ai-therapy-under-the-eu-ai-act/
6. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
7. Regulation (EU) 2017/745 (MDR) — https://eur-lex.europa.eu/eli/reg/2017/745/oj
8. Dorda, Regulatory boundaries in the age of health AI — https://www.dorda.at/en/news/regulatory-boundaries-age-health-ai