Gebärdensprach-Übersetzung (Text/Sprache zu Gebärdenavatar, Gebärdenerkennung)

Viele gehörlose Menschen nutzen eine Gebärdensprache (in Deutschland die DGS) als Erstsprache und lesen geschriebenes Deutsch nur mit Mühe, doch die meisten digitalen Informationen liegen nur als Text oder Audio vor. KI-Pipelines übersetzen kurze, standardisierte Inhalte in Gebärdensprache und stellen sie mit einem 3D-Avatar oder einem erzeugten Video dar; eine zweite Richtung erkennt Gebärden und gibt Text aus. Die Technik ist heute für eng begrenzte, sich wiederholende Inhalte nützlich (Reisedurchsagen, Website-Einleitungen, Merkblätter). Sie ersetzt keine menschlichen Dolmetscherinnen und Dolmetscher in komplexen, folgenreichen oder dialogischen Situationen.

Problem & Nutzen

• Wer: gehörlose und schwerhörige Gebärdensprachnutzer; Behörden, Verkehrsbetriebe, Hochschulen, Pharma- und Konsumgüterunternehmen, die barrierefreie Informationen anbieten müssen oder wollen.
• Heute: Informationen entstehen als vorab aufgezeichnete Videos mit menschlichen Gebärdenden (langsam, teuer in der Aktualisierung), als gebuchte Dolmetscher – oder gar nicht. Live-Durchsagen (Gleisänderungen, Verspätungen) sind normalerweise nicht zugänglich.
• KI-Nutzen: schnellere Aktualisierungen, Verfügbarkeit rund um die Uhr und geringere Grenzkosten je zusätzlicher Meldung. Die Anbieter nennen Mengen statt Ergebnisse: Signapse gibt an, im Vereinigten Königreich „über 5.000 BSL-Zugdurchsagen täglich“ zu erzeugen [3] – eine Durchsatzangabe, keine Messung von Qualität oder Verständlichkeit; keine der von mir geprüften Anbieterseiten veröffentlichte Kennzahlen zu Verständlichkeit oder Zufriedenheit.
• Rechtliche Treiber (Deutschland): BITV 2.0 §4 verlangt von Websites öffentlicher Stellen Erläuterungen in DGS und Leichter Sprache auf der Startseite [6]; §9 BGG gibt das Recht, die DGS in Verwaltungsverfahren auf Kosten der Behörde zu nutzen [7]; das Barrierefreiheitsstärkungsgesetz (BFSG) setzt den European Accessibility Act für Produkte und Dienstleistungen um [8].

Varianten

• Text → Gebärde (Produktion): Website-Inhalte, Formulare, Durchsagen im öffentlichen Nahverkehr und an Bahnhöfen, digitale Packungsbeilagen (SignTime SiMAX setzt seinen Avatar für digitale Beipackzettel ein [4]), E-Learning.
• Sprache → Gebärde (live): ASR + maschinelle Übersetzung + Avatar für Veranstaltungen oder Durchsagen; Latenz und Fehlerfortpflanzung sind die begrenzenden Faktoren.
• Gebärde → Text (Erkennung): Video einer gebärdenden Person zu Text/Gloss. Forschung an mobilen Apps wie das Horizon-2020-Projekt SignON zielte auf irische, britische, niederländische, flämische und spanische Gebärdensprache mit einem Avatar namens EVA [2]. Kontinuierliche Erkennung mit offenem Wortschatz bleibt ein Forschungsproblem.
• Private Nutzung: Apps für gehörlose Menschen zur Verständigung mit hörenden Kontakten; Lernwerkzeuge für hörende Angehörige (mit Qualitätsvorbehalten).
• Gebärdenlexikon / Wörterbuchsuche: Abruf einzelner Gebärden, ein risikoarmer, ausgereifter Baustein.

So funktioniert es

1. Text / Sprache (ASR)
2. Normalisierung & Vereinfachung (im Stil von LANG-010)
3. Gebärdensprach-MT (Text
4. Gloss/Notation oder direkt
5. Posensequenz)
6. Bewegungssynthese (Lexikon + erzeugte Übergänge, Gesichts-/Mund-/nichtmanuelle Marker)
7. Avatar-Rendering (3D-Engine / neuronales Video)
8. veröffentlichtes Video oder Livestream
9. menschliche Prüfung durch gehörlose Muttersprachler vor der Veröffentlichung (HITL) Erkennung: Video
10. Pose-/Hand-/Gesichts-Landmarken
11. Gebärdenerkennungs-/Übersetzungsmodell
12. Text

• Warum es schwierig ist: Gebärdensprachen sind vollwertige Sprachen mit eigener Grammatik; Bedeutung wird gleichzeitig durch Hände, Gesicht, Mund, Kopf und Körper sowie durch die Nutzung des Raums getragen. Glossen sind verlustbehaftet, und es gibt keine standardisierte Schriftform; Datensätze sind klein und eng gefasst, und Ergebnisse auf Benchmarks wie RWTH-PHOENIX-Weather-2014T (DGS, Wetternachrichten) lassen sich nicht auf offene Themenfelder übertragen [1].
• Ansätze: klassische Gloss-Pipelines; glossfreie Ende-zu-Ende-Modelle (z. B. GFSLT-VLP, SignLLM); selbstüberwachtes Vortraining auf Video (SSVP-SLT); posenbasierte Modelle [1]. Produktive Avatare von DGS-/ÖGS-Anbietern stützen sich bei kurzen, schablonenartigen Inhalten auf kuratierte Gebärdenlexika plus Regeln statt auf freie Generierung.
• HITL: Eine gehörlose Prüfperson gibt jede Vorlage, jeden Glossareintrag und jedes Merkblatt frei; Live-Inhalte sind auf einen validierten Satzvorrat beschränkt.

Datenaufbereitung

Die Daten sind meist klein, aber sprachlich heikel: die Quelltexte (Website, Merkblätter, Durchsagevorlagen, oft in einem CMS, als Word-Dateien auf Dateiablagen oder als PDFs), ein Referenzglossar mit Begriffen und freigegebenen Gebärden sowie für die Erkennung Videos von Gebärdenden plus Gebärdensprachkorpora. Typische Lücken sind uneinheitliche Formulierungen, lange und komplexe Sätze, fehlende Versionen in einfacher Sprache, kein freigegebenes Gebärdenlexikon für Firmenbegriffe sowie Videoaufnahmen ohne Einwilligung oder Annotation. Die Zugriffsrechte auf personenbezogene Videodaten sind oft ungeklärt.

Konkrete Schritte: - Quelltext auf kurze, standardisierte Module in einfacher Sprache reduzieren und als freigegebene Vorlagen einfrieren (PREP-014, PREP-016). - Mit gehörlosen Prüfpersonen ein Glossar der Firmen- und Fachbegriffe aufbauen (PREP-015, PREP-013). - Für die Erkennung annotierte Videos mit Einwilligung sammeln, Zweck und Rechtsgrundlage prüfen (PREP-025) und Gesichter nach Möglichkeit pseudonymisieren (PREP-022). - Mit gehörlosen Fachleuten einen kleinen Testdatensatz erstellen, um die Verständlichkeit zu beurteilen (PREP-018).

Werkzeuge: ein CMS-Export, Paperless-ngx oder ein DMS für Quelltexte, ein Annotationswerkzeug wie ELAN für Videos. Der Datenaufwand ist hoch, etwa 50 bis 60 Prozent des Projekts, vor allem für die Expertenprüfung und das Glossar, nicht für die Technik. Siehe GUIDE-003 für einen Reifegrad-Check.

Umsetzungswege

Welcher Weg für wen

• KMU: Weg A, weil ausgereifte Avatar- und Videoübersetzungsdienste existieren und ein kleines Unternehmen nur wenige standardisierte Texte braucht, kein eigenes Gebärdensprachmodell.
• Unternehmen: Weg B, weil ein Unternehmen mit vielen wiederkehrenden Durchsagen oder Handbüchern von einer eigenen Pipeline (Glossar, Freigabe-Workflow) rund um Cloud-Avatar-Schnittstellen profitiert.
• Öffentliche Hand: Weg B in einer souveränen EU- oder deutschen Cloud, weil Vergaberegeln und Barrierefreiheitsrecht kontrollierbares Hosting und eine dokumentierte Prüfung durch die Gehörlosen-Community begünstigen.
• Entwickler: Weg C, weil offene Posenschätzung und Gebärdenkorpora eigene Forschungs- und Rendering-Stacks erlauben, bei geringerer Qualität offener Modelle.

Weg A — Kaufen (Standardsoftware) (empfohlen)

• Gebärdenavatar-Dienste: SignTime SiMAX (Österreich; DGS und ÖGS, Einsatz für Website, Film, Echtzeit und Merkblätter, Avatar an das Corporate Design anpassbar) [4]; Signapse (UK; BSL und ASL, API und Verkehrslösungen; DGS als „coming soon“ geführt) [3]; Charamel (Deutschland) koordiniert das BMBF-geförderte Forschungsprojekt AVASAG zu Text-zu-Gebärde-Avataren [5]. Weitere Produkte existieren (z. B. Hand Talk für Libras/ASL), doch aktuelle Details konnte ich nicht überprüfen.
• Von Menschen gebärdete Videos aus gehörlos geführten Studios bleiben der Qualitätsmaßstab und sind die richtige Wahl für gesetzlich geforderte Erläuterungen auf der BITV-Startseite und für sensible Inhalte.
• A wählen, wenn: die Inhalte kurz und wiederkehrend sind, der Anbieter Ihre Gebärdensprache unterstützt (die DGS-Unterstützung ist noch dünn), ein Prüfprozess durch Gehörlose Vertragsbestandteil ist und der Anbieter in der EU hosten kann.

Weg B — Auf Cloud-KI-Diensten aufbauen

• ASR (EU-gehostete Dienste von Azure, Google, Mistral/Voxtral-Klasse oder Whisper-Klasse) und LLMs zur Textnormalisierung und -vereinfachung, danach eine Gebärdenproduktions-Schnittstelle eines Anbieters (z. B. Signapse SignStream für BSL/ASL [3]). Eine universelle Cloud-Schnittstelle „Text zu DGS“ der großen Hyperscaler konnte ich nicht verifizieren; Frontier-LLMs und VLMs sind keine verlässlichen Gebärdenübersetzer und sollten nur zur Vorverarbeitung und als Hilfe bei der Qualitätssicherung eingesetzt werden.
• B wählen, wenn: Sie eine Anbindung an Verkehrs-/IoT-Durchsagesysteme oder eine eigene App brauchen, aber einen vom Anbieter gelieferten Kern der Gebärdenproduktion akzeptieren.

Weg C — Selbst betreiben (Open Source)

• Landmarken-Extraktion: MediaPipe Holistic/BlazePose/Handtracking (Apache-2.0) [9]; die Bibliothek pose-format (MIT) verarbeitet .pose-Dateien, Normalisierung und Augmentierung [10].
• Forschungscode und Daten: Die Community-Ressource zur Gebärdensprachverarbeitung listet Aufgaben, Modelle und Datensätze [1]; Datensätze wie RWTH-PHOENIX-2014T, How2Sign, BOBSL und das DGS-Korpus (Forschungslizenzen – vor kommerzieller Nutzung die Bedingungen prüfen). sign.mt ist eine auf Open Source ausgerichtete Übersetzungsdemo; Lizenz und Sprachabdeckung vor dem Einsatz prüfen.
• Rendering: Unity-/Unreal-/Three.js-Avatare, gesteuert durch umgesetzte (retargetete) Posen; Pose-zu-Video-Diffusionsmodelle für fotorealistische Ausgabe.
• Hardware: HW2 (eine GPU mit 24–32 GB) für Inferenz und Avatar-Rendering kurzer Clips; Erkennung auf dem Gerät (HW1/Edge) ist mit Landmarkenmodellen möglich. Der Aufwand wird von Daten und Linguistik bestimmt, nicht von Rechenleistung.

Weg D — Eigenes Training

Oft nötig für jede Gebärdensprache oder Domäne, die Anbieter nicht abdecken. Erfordert Gebärdensprachvideos mit Expertenannotation (idealerweise mehrere hundert Stunden mit unterschiedlichen Gebärdenden), ein stabiles Lexikon, ein gehörlos geführtes Annotationsteam und ein Einwilligungsmanagement. Realistisch nur mit Forschungspartnern oder öffentlicher Förderung (AVASAG [5] und SignON [2] sind Beispiele). Für eine einzelne Organisation lohnt es sich eher, einen validierten Satz- bzw. Vorlagenvorrat aufzubauen als ein allgemeines Modell.

Stand der Technik (2026)

• Produktion: robust für eng begrenzte Bereiche (Verkehrsdurchsagen, Wetter, Mustersätze); Avatare wirken nicht mehr so befremdlich wie frühere Generationen, doch nichtmanuelle Signale (Gesicht, Mund, Körper) bleiben im Vergleich zu menschlichen Gebärdenden eine Qualitätslücke.
• Forschung zu Erkennung/Übersetzung: Glossfreie und LLM-basierte Ansätze (SignLLM, GFSLT-VLP) schließen die Lücke zu glossüberwachten Ansätzen; selbstüberwachtes Vortraining auf Video im großen Maßstab (SSVP-SLT) verbesserte die ASL-Ergebnisse [1]. Die Bewertung ist ungeklärt: BLEU wird für Gebärdenausgaben infrage gestellt, SignBLEU wurde vorgeschlagen, und Überschneidungen von Gebärdenden im Testsatz blähen die berichteten Werte auf [1].
• Grenzen und Fehlerbilder: halluzinierte oder ungrammatische Gebärden, falsches Fingeralphabet bei Namen, regionale Dialekte, fehlende Kontext-/Raumbezüge, Domänenwechsel sowie eine Verzerrung zugunsten der wenigen gut ausgestatteten Sprachen (ASL, BSL, CSL, DGS-Wetter). Live-Sprache-zu-Gebärde in offenen Themenfeldern ist für medizinische, rechtliche oder Notfallzwecke nicht zuverlässig genug.
• Haltung der Community: Die Akzeptanz hängt von der Beteiligung Gehörloser ab; Gehörlosenorganisationen betonen im Allgemeinen, dass Avatare menschliche Dolmetscher ergänzen, aber nicht ersetzen dürfen. Eine aktuelle Stellungnahme des DGB oder der WFD konnte ich im Rahmen dieser Prüfung nicht abrufen; die jüngste Position der Organisation sollte daher vor einer Beschaffung geprüft werden.

Gemeinsame Bausteine & Kombinationen

• Bausteine: translation, llm-general, asr, avatar, pose-estimation, vlm, edge-runtime. Der Avatar-/Rendering-Stack wird mit GEN-003 (Präsentationsvideos) und CONV-018 (digitale Menschen) geteilt; der Posen-Stack mit VIS-024 (Pose- & Gestenanalyse).
• Kombinierbar mit: LANG-010 (Leichte Sprache – erst vereinfachen, dann gebärden), LANG-009 (fremdsprachige Inhalte vor dem Gebärden ins Deutsche übersetzen), DOC-026 (barrierefreie Dokumente/Websites, BITV), SPEECH-004 (Live-Untertitel als paralleler Kanal), SPEECH-003 (Sprachübersetzung vorgelagert), CODE-017 (Barrierefreiheitstests der Host-Website).
• Hardware: Ein HW2-GPU-Server kann ASR, Vereinfachungs-LLM und Rendering für dasselbe Barrierefreiheitsprogramm bedienen.

Aufwand, Kosten & Kennzahlen

• Weg A: Einführung in Wochen; Preise pro Minute/pro Meldung oder im Abonnement; Hauptkosten sind die Prüfung durch Gehörlose und die Inhaltsaufbereitung.
• Weg B: 2–4 Monate für die Integration in Durchsage-/CMS-Systeme.
• Weg C/D: 6–24 Monate und ein Team auf Forschungsniveau; nur für nicht unterstützte Sprachen oder öffentliche Programme gerechtfertigt.
• Kennzahlen: mit gehörlosen Testpersonen gemessene Verständlichkeitsquote, Anteil der von gehörlosen Gebärdenden geprüften Inhalte, Aktualisierungsdauer (Textänderung → gebärdete Ausgabe), Abdeckung (gebärdete Seiten/Durchsagen), Beschwerde- und Rückmeldequote, Kosten je gebärdeter Minute im Vergleich zur menschlichen Produktion.

Menschen & Veränderung

Beziehen Sie zuerst die Geschäftsleitung (Budget, Bekenntnis zur Barrierefreiheit) und die Fachbereichsleitung Kommunikation ein, danach IT und Recht/Compliance (Barrierefreiheitspflichten, Urheberrecht an Gebärden). Der entscheidende Stakeholder steht außerhalb: Gehörlosenverbände und gehörlose Prüfpersonen müssen die Ausgabe mitgestalten und freigeben, sonst scheitert die Akzeptanz. Kunden oder Bürgerinnen und Bürger sind die Zielgruppe und sollten frühe Prototypen testen.

Betriebsrat: normalerweise nein, weil das System öffentliche Inhalte übersetzt und keine Beschäftigten überwacht (§87 Abs. 1 Nr. 6 BetrVG); relevant wird er nur, wenn Mitarbeitende für die Erkennung aufgezeichnet werden. Selbst dann verlangt §90 Abs. 1 Nr. 3 eine rechtzeitige Information, wenn sich Arbeitsabläufe ändern. Öffentliche Stellen informieren den Personalrat. Für Erkennungsvarianten ist eine Datenschutzbeauftragte bzw. ein Datenschutzbeauftragter nötig, weil Videos von Personen personenbezogene Daten sind; führen Sie eine Datenschutz-Folgenabschätzung (DSFA) durch (GUIDE-005), wenn Gebärdende in großem Umfang gefilmt werden.

KI-Kompetenz: Unterstützen Sie die Mitarbeitenden, die Inhalte freigeben, mit einer kurzen Einweisung zu den Grenzen des Avatars und zur Prüfpflicht (GUIDE-006). Kommunizieren Sie offen, dass der Avatar menschliche Dolmetscher bei komplexen oder rechtlich relevanten Inhalten ergänzt und nicht ersetzt. Beginnen Sie mit einem Pilotprojekt mit wenigen häufig genutzten Texten (GUIDE-009) und behalten Sie eine gehörlose Prüfperson als letzte Freigabeinstanz. Typische Sorge: schlechte Qualität oder Verlust von Dolmetscherstellen; begegnen Sie ihr mit klar begrenztem Umfang und veröffentlichten Prüfergebnissen. Siehe auch GUIDE-008.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): typischerweise begrenztes Risiko. Das Avatar-Video ist synthetischer Inhalt: Art. 50 verlangt von Anbietern, KI-erzeugte Audio-/Videoinhalte maschinenlesbar kenntlich zu machen, und von Betreibern, Deepfakes offenzulegen; Art. 50 Abs. 5 verlangt, dass die Information die Barrierefreiheitsanforderungen erfüllt [11]. Prüfen Sie die aktuellen Anwendungsdaten von Art. 50 nach den Diskussionen um das Digital-Omnibus-Paket 2026. Notfall- oder medizinische Informationen könnten kontextabhängige Pflichten auslösen; Gebärdenerkennung zur biometrischen Kategorisierung oder Emotionserkennung darf nicht gebaut werden (Verbote nach Art. 5).
• DSGVO: Die Avatar-Ausgabe ohne TTS ist kein personenbezogenes Datum, aber das Eingabevideo einer gebärdenden Person bei der Erkennung ist personenbezogen (Gesicht, Körper; potenziell biometrisch, wenn zur Identifizierung genutzt). Gebärdenvideos als Trainingsdaten brauchen Einwilligung und Lizenzklarheit; auch Posenskelette können Personen identifizieren [1]. Vermeiden Sie das Klonen des Erscheinungsbilds einer realen gebärdenden Person ohne schriftliche Vereinbarung.
• Barrierefreiheitsrecht: BITV 2.0 §4, §9 BGG, BFSG [6][7][8]; ob ein Avatar eine gesetzliche Anforderung an DGS-Erläuterungen erfüllt, ist eine Rechtsauslegung – klären Sie dies mit der zuständigen Stelle für Barrierefreiheit, bevor Sie von Menschen gebärdete Videos ersetzen.
• Qualitäts- und Vertrauensrisiko: Falsche Gebärden können in die Irre führen (Fahrplan, Medikation). Gegenmaßnahmen: begrenzter Inhaltsumfang, Prüfung durch Gehörlose, sichtbarer Hinweis „automatisch erzeugt“, ein Rückmeldekanal und ein Rückfall auf einen menschlichen Dolmetscher oder Text.

Erste Schritte

1. 20–50 häufige, risikoarme Meldungen auswählen (Bahnhofsdurchsagen, FAQ-Einleitung) und die Zielgebärdensprache festlegen.
2. Gehörlose Muttersprachler und einen Beirat für Barrierefreiheit gewinnen, bevor Sie eine Technik auswählen.
3. 2–3 Anbieter von Weg A mit Ihren Inhalten und gehörlosen Prüfpersonen testen; DGS-/ÖGS-Abdeckung, EU-Hosting und einen Aktualisierungs-Workflow verlangen.
4. Kennzeichnungshinweise, Rückmeldung und menschlichen Rückfall ergänzen; die Rechtsgrundlage (BITV/BFSG) mit Ihrer bzw. Ihrem Barrierefreiheitsbeauftragten dokumentieren.
5. Nach einem Quartal die Verständlichkeit mit gehörlosen Nutzern messen und entscheiden, ob der Umfang erweitert wird.

Quellen

1. Sign Language Processing community resource (tasks, datasets, limitations) — https://sign-language-processing.github.io/
2. SignON project (Horizon 2020) — https://signon-project.eu/
3. Signapse (BSL/ASL avatar translation, transport customers) — https://www.signapse.ai/
4. SignTime — SiMAX signing avatar — https://www.signtime.media/
5. AVASAG research project (Charamel, BMBF-funded) — https://avasag.de/
6. BITV 2.0 §4 — https://www.gesetze-im-internet.de/bitv_2_0/__4.html
7. BGG §9 (right to sign language in administrative procedures) — https://www.gesetze-im-internet.de/bgg/__9.html
8. BMAS — Barrierefreiheitsstärkungsgesetz — https://www.bmas.de/DE/Service/Gesetze-und-Gesetzesvorhaben/barrierefreiheitsstaerkungsgesetz.html
9. Google MediaPipe — https://github.com/google-ai-edge/mediapipe
10. pose-format library — https://github.com/sign-language-processing/pose
11. EU AI Act Article 50 (transparency) — https://artificialintelligenceact.eu/article/50/