Aussprache- & Sprachtherapie-Coaching

Sprachlernende erhalten selten genug individuelles Feedback zum Sprechen, und die Sprachtherapie ist durch die Kapazität der Therapeuten und die kurze Zeit in den Sitzungen begrenzt. KI-Coaching hört jede Äußerung, vergleicht sie auf Phonemebene mit einem Ziel, sagt den Lernenden, was falsch lief, und erzeugt die nächste Übung. Lehrkräfte und Therapeuten behalten Diagnose und Plan; die KI liefert zwischen den Sitzungen viele Übungswiederholungen und Messungen.

Problem & Nutzen

• Heute: Aussprachetraining im Unterricht besteht meist aus Wiederholung in der ganzen Gruppe mit spärlicher Einzelkorrektur. Sprachtherapie (z. B. bei Artikulationsstörungen, Stottern, Aphasie/Dysarthrie nach Schlaganfall) beruht auf wöchentlichen Terminen plus Heimübungen, die selten kontrolliert werden, und die Wartelisten sind in vielen EU-Ländern lang.
• KI-Nutzen: sofortiges, privates, jederzeit verfügbares Feedback (Lernende sind oft weniger ängstlich, wenn sie mit einer Maschine sprechen); objektive, wiederholbare Bewertung; mehr Übungswiederholungen; Sitzungsdaten, mit denen Fachleute Termine auf das konzentrieren können, was nicht funktioniert.
• Evidenz: Herstellerangaben zu Lerngewinnen sind verbreitet, aber meist ungeprüft. Microsoft gibt an, dass seine Aussprachebewertungen von der ASR-Genauigkeit und der Übereinstimmung mit menschlichen Bewertern abhängen, und rät Kunden, mit eigenen Daten zu testen und die Schwellenwerte je Zielgruppe anzupassen [1][2]. Behandeln Sie jede Nutzenzahl als in Ihrem eigenen Pilot zu überprüfen.

Varianten

• Aussprache in der Zweitsprache (Verbraucher und Schule): Apps und Unterrichtswerkzeuge, die Vorlesen und freie Rede bewerten (Englisch, Deutsch als Zweitsprache usw.).
• Prüfungsvorbereitung und Bewertung: Sprechübungen für GER-orientierte Tests; Bewertungen für folgenreiche Entscheidungen gehören in eine andere Regulierungsklasse (siehe Risiken).
• Akzent- und Verständlichkeitstraining für Unternehmen / Callcenter: Coaching, keine Umwandlung (Live-Stimmkonvertierung ist SPEECH-019).
• Unterstützung der Sprachtherapie: Artikulations-, Flüssigkeits- und Stimmübungen, die ein Therapeut verordnet, mit Heimübung und Protokollierung; umfasst Kinder (z. B. Spiele zur Lautbildung) und Erwachsene nach einem Schlaganfall.
• Leseflüssigkeit bei Kindern: Vorlese-Tutoren, die Dekodierung und Tempo prüfen (angrenzend an EDU-004).
• Private Nutzung: Selbstlern-Apps für Reisen oder Integrationssprachkurse.

So funktioniert es

1. microphone capture (app / browser / classroom device)
2. voice activity detection + noise check
3. forced alignment / phoneme recognition against reference text (or ASR for free speech)
4. scoring: phoneme, word, sentence level (accuracy, fluency, completeness, prosody)
5. error analysis (substitution, omission, insertion; L1-specific patterns)
6. feedback generation (LLM text + TTS model audio, visual articulation hints)
7. exercise selection (adaptive, therapist-defined targets)
8. progress store
9. teacher / therapist dashboard (human review)

• Bewertung: entweder ein Aussprachebewertungsdienst auf Basis von ASR oder offene Phonemerkennungsmodelle (wav2vec 2.0/HuBERT/WavLM, mit CTC feingetunt), die zur Erkennung und Diagnose von Fehlaussprachen gegenüber einer kanonischen Phonemfolge dienen [3]. ASR der Whisper-Klasse transkribiert gut, neigt aber dazu, Fehlaussprachen "automatisch zu korrigieren", und eignet sich daher schlecht als alleinige Bewertung.
• Feedback: Ein LLM macht aus Bewertungen kurze, altersgerechte Hinweise; TTS spielt den Ziellaut oder -satz ab (SPEECH-006). Erklärungen an den erkannten Fehlern ausrichten, um erfundene Ratschläge zu vermeiden.
• Mensch-in-der-Schleife (Human-in-the-Loop): In der Therapie legt die Therapeutin oder der Therapeut die Ziele fest, prüft vom System markierte Aufnahmen und entscheidet über das Weiterkommen. KI-Bewertungen sind eine Messhilfe, keine Diagnose.

Datenaufbereitung

Benötigte Daten: Referenztexte und Übungsmaterial, Aufnahmen der Lernenden oder Patienten, muttersprachliche Referenzaudios und für die Anpassung beschriftete Sprache mit Bewertungen auf Phonemebene durch geschulte Bewerter. In einem KMU (Sprachschule, Therapiepraxis) liegt Übungsmaterial in Lehrbüchern, Arbeitsblättern, PDFs und auf Dateiablagen; der Lernfortschritt steht in Papiernotizen, Tabellen oder Übungssoftware.

Typische Lücken: Material nur auf Papier, kein einheitliches Stufenschema, wenige beschriftete Aufnahmen von Kindern oder akzentuierter Sprache, keine Einwilligungen für Aufnahmen und Therapienotizen, die mit Verwaltungsdaten vermischt sind.

Vorbereitungsschritte: 1. Arbeitsblätter und Wortlisten digitalisieren (PREP-006) und in strukturierte Übungstabellen überführen (PREP-011). 2. Stufen und Fehlerkategorien vor der Bewertung festlegen (PREP-019). 3. Bewertete Beispielaufnahmen mit Einwilligung als Testdatensatz sammeln (PREP-018, PREP-016). 4. Aufnahmen und Fortschrittsdaten pseudonymisieren (PREP-022); Zweck und Einwilligung prüfen, besonders bei Minderjährigen (PREP-025). 5. Korrekturen der Bewertungen durch Lehrkräfte oder Therapeuten erfassen (PREP-021).

Aufwandsanteil: etwa 30 Prozent bei einem produktbasierten Aufbau, höher, wenn ein eigenes Bewertungsmodell bewertete Sprachdaten braucht. Gesundheitsbezogene Daten müssen streng von allgemeinen Lerndaten getrennt werden.

Umsetzungswege

Welcher Weg für wen

• smb: Weg A, weil für Standardsprachen ausgereifte Lern- und Bewertungsprodukte existieren und eine Sprachschule oder Praxis ein Produkt braucht, keine Plattform.
• enterprise: Weg B, weil betriebliche Sprachschulungen oder Werkzeuge mit eigener Marke über Bewertungs-APIs in LMS und HR-Systeme integriert werden müssen.
• developer: Weg C, weil offene Phonemerkenner (wav2vec 2.0, WavLM) die Bewertung auf dem Gerät und die Abstimmung für bestimmte Sprachen oder Altersgruppen erlauben.
• private: Weg A, weil Verbraucher-Apps sofort funktionieren; wählen Sie Apps, die möglichst auf dem Gerät verarbeiten.
• public: Weg C, weil Audio von Kindern und Patienten hochsensibel ist und Schulen und Kliniken von Verarbeitung vor Ort (On-Premises) oder souveräner Verarbeitung profitieren.

Weg A — Kaufen (Standardsoftware)

• Sprachenlernen: Verbraucher-Apps (z. B. ELSA Speak, Duolingo, Babbel, Speechling) und EU-Plattformen; Schul-/Unternehmenswerkzeuge mit Lehrkraft-Dashboards. Datenstandort, Einwilligung bei Minderjährigen und die Frage prüfen, ob Aufnahmen zum Training von Modellen genutzt werden.
• Bewertungs-Engines als SDK/SaaS: Speechace, Engines vom Typ Pearson/Versant, SpeechSuper; Azure AI Speech Aussprachebewertung (siehe Weg B).
• Sprachtherapie: regulierte digitale Therapeutika und Klinikwerkzeuge sind meist nationale Produkte (in Deutschland nach EU-/DiGA-gelisteten Angeboten suchen, z. B. für Aphasietraining); vor dem klinischen Einsatz den MDR-Status prüfen.
• A wählen, wenn: Sie ein Produkt für Lernende oder Patienten brauchen, keine Plattform; die Nutzung ist Standard (Englisch, große Sprachen).

Weg B — Auf Cloud-KI-Diensten aufbauen

• Aussprachebewertung: Azure AI Speech liefert Bewertungen für Genauigkeit, Flüssigkeit, Vollständigkeit und Prosodie mit Phonem- und Wortdetails zu einem Referenztext, mit EU-Regionen und einem kontinuierlichen Modus für Audio über 30 Sekunden [1][2].
• ASR für freie Rede und Transkripte: Azure, Google Cloud Speech-to-Text (EU-Standort), Deepgram, AssemblyAI oder EU-Anbieter wie Speechmatics (UK) und Voxtral von Mistral.
• Erzeugung von Feedback und Übungen: jedes führende LLM mit Datenhaltung in der EU; TTS von Azure, ElevenLabs oder Google.
• Orchestrierung: Web-App mit WebRTC/WebAudio-Aufnahme, einer Regelschicht für die Übungsabfolge und einem Fortschrittsspeicher pro Nutzer in einer EU-Region.
• B wählen, wenn: Sie ein Produkt oder Schulwerkzeug mit eigener Marke bauen und die Cloud-Verarbeitung von Audio auf Grundlage eines AVV akzeptieren können.

Weg C — Selbst betreiben (Open Source)

• Modelle: Phonemerkenner auf Basis von wav2vec 2.0 / WavLM / HuBERT (feingetunt), Whisper oder faster-whisper für Transkripte, NVIDIA NeMo/Parakeet und Canary, Montreal Forced Aligner oder WhisperX für die Alignierung, Piper oder offene TTS im Stil von Coqui für Modellaudio.
• Warum: Audio von Kindern und Patienten bleibt vor Ort oder auf dem Gerät; Offline-Einsatz im Klassenzimmer oder in der Klinik.
• Hardware: HW1 für die Bewertung kurzer Äußerungen auf dem Gerät; HW2 (eine GPU mit 16-24 GB) für einen Mehrbenutzer-Server in Schule oder Klinik.
• Betriebsaufwand: mäßig; schwierig ist die Kalibrierung der Bewertungen je Sprache und Altersgruppe.

Weg D — Eigenes Training

Lohnt sich für unterversorgte Sprachen, Kindersprache, akzentuierte L2-Sprache oder gestörte Sprache, bei denen generische Modelle versagen. Benötigt Hunderte Stunden beschriftete Sprache mit Annotationen auf Phonemebene durch geschulte Bewerter sowie eine Erhebung auf Einwilligungsbasis. Offene Korpora wie L2-ARCTIC und speechocean762 helfen für Englisch; bei gestörter Sprache sind klinische Daten knapp und hochsensibel.

Stand der Technik (2026)

• Selbstüberwachte Sprachmodelle (wav2vec-2.0-Familie), für Phonemerkennung feingetunt, sind der Standard zur Erkennung von Fehlaussprachen; multimodale Ende-zu-Ende-LLMs, die Audio hören, werden zunehmend für Erklärungen eingesetzt, doch ihre numerische Bewertung ist weniger zuverlässig und weniger reproduzierbar als die spezialisierter Bewerter.
• Bewertung von Prosodie und Flüssigkeit wird besser, doch die Übereinstimmung mit menschlichen Bewertern schwankt je nach Sprache, Alter und Akzent der Sprecher.
• Grenzen und Fehlerbilder: Kinder-, Alters- oder gestörte Sprache ist in den Trainingsdaten unterrepräsentiert und führt zu hohen Fehlerraten; ASR "verzeiht" Fehler; Verzerrung zugunsten muttersprachlicher Akzente bestraft legitime regionale Variation; laute Räume und billige Mikrofone verfälschen Bewertungen; Bewertungen können Nutzer verleiten, einer Zahl zu sehr zu vertrauen. Microsofts eigener Hinweis zu den Einschränkungen betont, mit Ihrer Zielgruppe zu testen und die Schwellenwerte entsprechend zu wählen [2].
• Therapie: Die Evidenz für vollautomatische Therapie ist begrenzt; das glaubwürdige Modell ist eine von Therapeuten geleitete Therapie mit KI-gestützter Heimübung und Messung.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack (asr + tts + llm-general): SPEECH-001 (Transkription), SPEECH-006 (TTS), SPEECH-004 (Live-Untertitel); ein selbst betriebener Whisper/NeMo-Server auf HW2 kann mehrere bedienen.
• Nahe Verwandte: EDU-011 (Gesprächspartner zum Sprachenlernen), EDU-004 (KI-Tutor), EDU-005 (adaptive Lernpfade), EDU-003 (formatives Feedback).
• Assistive Sprache: SPEECH-018 (ASR für atypische Sprache, AAC) teilt Daten und Modelle für gestörte Sprache; Datensätze nicht ohne klare Einwilligung vermischen.

Aufwand, Kosten & Kennzahlen

• Weg A: Tage bis Wochen; Lizenzen pro Nutzer oder Arbeitsplatz.
• Weg B: 2-4 Monate für ein Produkt mit Oberfläche, Fortschrittsspeicher und Datenschutzarbeit; die API-Kosten wachsen mit den Audiominuten.
• Weg C/D: 4-9 Monate inkl. Datenerhebung und Kalibrierung der Bewerter; GPU-Server plus ML-Wartung.
• Kennzahlen: Übereinstimmung der KI-Bewertungen mit menschlichen Bewertern (Korrelation/Kappa je Teilgruppe), Übungsminuten pro Lernendem und Woche, Bindung, gemessene Verbesserung bei unabhängigen, von Menschen bewerteten Tests, eingesparte Zeit der Therapeuten, Anteil markierter Aufnahmen, die Menschen revidieren.

Menschen & Veränderung

Beziehen Sie zuerst Geschäftsleitung und Fachabteilungsleitung (Schulleitung, Therapiepraxis) ein, um festzulegen, was das Werkzeug leistet und was nicht: Übungsunterstützung, keine Diagnose. Lehrkräfte und Therapeuten als Endanwender sollten Übungen mitgestalten und die Bewertungen testen. Die oder der Datenschutzbeauftragte ist zentral: Die Stimme von Therapiepatienten sind Gesundheitsdaten (Art. 9 DSGVO), und Kinder brauchen die Einwilligung der Eltern, daher ist eine DSFA ratsam, dazu ein AVV mit jedem Anbieter. Recht/Compliance prüft den MDR-Status, wenn ein therapeutischer Anspruch erhoben wird. Die IT betreut Geräte und Konten.

Betriebsrat: im typischen Fall nein, weil die Lernenden oder Patienten die Nutzer sind, nicht überwachte Beschäftigte. Er wird relevant, wenn Beschäftigte bewertet werden (betriebliche Sprachschulung mit Berichten an die Personalabteilung): Dann gilt §87 Abs. 1 Nr. 6 BetrVG, da das System die Leistung überwachen könnte. Öffentliche Schulen: Personalrat, soweit Beschäftigte betroffen sind.

Kommunizieren Sie Lernenden und Eltern offen, was aufgezeichnet wird, wie lange und wer es sieht. Pilot mit einer kleinen Klasse oder Patientengruppe, die eingewilligt hat, und Lehrkräfte vergleichen die KI-Bewertungen mit ihren eigenen. Typische Bedenken sind Verzerrungen bei Akzenten und Kindern sowie Angst vor Bewertung; begegnen Sie ihnen mit transparenten Erklärungen der Bewertung und alternativer menschlicher Beurteilung. Die Lehrkraft oder der Therapeut entscheidet stets über Fortschritt und Behandlung. Unterstützen Sie die KI-Kompetenz der Mitarbeitenden gemäß Art. 4 KI-Verordnung.

Siehe GUIDE-005, GUIDE-006 und GUIDE-008.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): Die Einstufung hängt von der Nutzung ab. Reine Selbstlernübung ist minimales Risiko. KI, die Lernergebnisse bewertet oder Zulassung/Einstufung in der Bildung steuert, ist Hochrisiko (Anhang III, Nr. 3); dazu gehören Sprechtests, die über Zugang oder Fortkommen entscheiden. Art. 5 Abs. 1 Buchst. f verbietet Emotionserkennung in Bildung und am Arbeitsplatz: Leiten Sie keine Emotionen, kein Stress- oder Selbstvertrauensniveau der Lernenden aus der Stimme ab, außer aus medizinischen oder Sicherheitsgründen. Art. 4 KI-Kompetenz gilt für das Personal [4].
• Medizinprodukte: Software, die eine Sprechstörung diagnostiziert oder behandelt, kann ein Medizinprodukt nach der MDR (Verordnung 2017/745) sein und erfordert CE-Kennzeichnung und klinische Evidenz; allgemeines Aussprachetraining für Lernende nicht. Die Zweckbestimmung sorgfältig formulieren.
• DSGVO: Sprachaufnahmen sind personenbezogene Daten; Sprechmuster von Therapiepatienten sind Gesundheitsdaten (Art. 9) und erfordern eine ausdrückliche Einwilligung oder eine andere Grundlage nach Art. 9; eine DSFA ist ratsam. Kinder: Einwilligung der Eltern, minimale Aufbewahrung, keine Zweitnutzung von Aufnahmen für das Modelltraining ohne gesonderte Einwilligung. Die Erstellung von Stimmabdrücken vermeiden, da sie in den Bereich biometrischer Daten fällt (SPEECH-010) [5].
• Fairness: Verzerrungen bei Akzent, Alter und Behinderung; menschliche Prüfung und alternative Beurteilung anbieten.
• Gegenmaßnahmen: Verarbeitung auf dem Gerät oder in der EU, kurze Aufbewahrung, transparente Erklärung der Bewertungen, Aufsicht durch Therapeuten, Tests nach Teilgruppen vor dem Rollout.

Erste Schritte

1. Den Zweck festlegen: Übungshilfe, formale Bewertung oder Therapieunterstützung; das bestimmt die Regulierungsklasse.
2. 100-200 Äußerungen Ihrer tatsächlichen Zielgruppe aufnehmen (mit Einwilligung), von zwei Menschen bewertet.
3. 2-3 Bewerter (Azure-Aussprachebewertung, ein feingetuntes wav2vec-2.0-Modell, ein Hersteller-SDK) je Teilgruppe mit den menschlichen Bewertungen vergleichen.
4. Pilot mit einer Klasse oder Klinik über 6-8 Wochen; keine Emotionsableitung, keine automatischen Noten.
5. Aufbewahrung, Einwilligung und DSFA vor der Skalierung festlegen; Kennzahlen monatlich prüfen.

Quellen

1. Microsoft Learn: Use pronunciation assessment (Azure AI Speech) — https://learn.microsoft.com/azure/ai-services/speech-service/how-to-pronunciation-assessment
2. Microsoft Learn: Characteristics and limitations of Pronunciation Assessment — https://learn.microsoft.com/en-us/legal/cognitive-services/speech-service/pronunciation-assessment/characteristics-and-limitations-pronunciation-assessment
3. Baevski et al., wav2vec 2.0 (arXiv 2006.11477) — https://arxiv.org/abs/2006.11477
4. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
5. Regulation (EU) 2016/679 (GDPR) — https://eur-lex.europa.eu/eli/reg/2016/679/oj
6. Regulation (EU) 2017/745 (MDR) — https://eur-lex.europa.eu/eli/reg/2017/745/oj
7. OpenAI Whisper — https://github.com/openai/whisper