Automatische Audiodeskription von Videos für blinde Menschen

Blinde und sehbehinderte Menschen können nicht erfassen, was nur auf dem Bildschirm zu sehen ist: Handlungen, Gesichter, Szenenwechsel, Folien, Diagramme, Bildschirmtext. Die Audiodeskription (AD) ergänzt eine gesprochene Beschreibung in den natürlichen Pausen. Bisher entstand sie durch geschulte Beschreiber im Studio mit hohen Kosten pro Stunde, sodass nur ein kleiner Teil der Videos sie hatte. Vision-Language-Modelle und neuronale Sprachsynthese entwerfen nun Skript und Stimme in Minuten; wo es auf Qualität ankommt, prüft ein menschlicher Redakteur das Ergebnis.

Problem & Nutzen

• Heute: AD wird von professionellen Beschreibern geschrieben, von einem Sprecher aufgenommen und eingemischt. Sie gibt es meist bei Fernsehfilmen und -serien, im Kino und bei einigen Streaming-Titeln. Unternehmens-, Bildungs-, Behörden- und Social-Media-Videos sowie fast alle Live-Inhalte haben keine.
• Rechtlicher Druck: Der European Accessibility Act (Richtlinie (EU) 2019/882) gilt seit dem 28. Juni 2025 für den elektronischen Geschäftsverkehr, audiovisuelle Mediendienste für Verbraucher und verwandte Dienste; die Richtlinie über audiovisuelle Mediendienste (2010/13/EU, in der geänderten Fassung) verpflichtet Mediendiensteanbieter, ihre Dienste kontinuierlich und schrittweise barrierefreier zu gestalten; die WCAG-2.2-Erfolgskriterien 1.2.3 und 1.2.5 verlangen Audiodeskription für aufgezeichnete Videos auf den Stufen A/AA, und öffentliche Stellen müssen sie nach der Web-Zugänglichkeitsrichtlinie (EU) 2016/2102 erfüllen [1][2][3].
• KI-Nutzen: Entwürfe sind billig und schnell, wodurch die Abdeckung des langen Schwanzes (Vorlesungen, Schulungs-, Produkt- und Kommunalvideos, Archive) machbar wird. Die Qualität bei Spielhandlungen reicht noch nicht an einen erfahrenen Beschreiber heran, daher ist das realistische Modell: KI-Entwurf plus menschliche Bearbeitung.
• Ausmaß des Bedarfs: Die Weltgesundheitsorganisation schätzt, dass mindestens 2,2 Milliarden Menschen eine Seh- beeinträchtigung in der Nähe oder Ferne haben [4].

Varianten

• Sender / Streaming: KI-gestütztes Autorenwerkzeug für Beschreiber; menschliche Freigabe vor der Veröffentlichung.
• Bildungs- und Unternehmensvideos: Vorlesungen, Onboarding- und Produktvideos, bei denen ein Großteil der Information auf Folien oder in Bildschirmaufnahmen steckt; oft „Sprachsynthese-Vertonung der Bildschirminhalte".
• Öffentlicher Sektor: Ratssitzungen, Informationsvideos, Kampagnenclips, um BITV 2.0 / EN 301 549 zu erfüllen.
• Soziale und private Nutzung: ein Assistent auf Zuschauerseite, der jedes Video auf Abruf beschreibt (Browser- Erweiterung oder Smartphone-App), ohne Beteiligung des Herausgebers.
• Live-Inhalte: Event-Streams und Sport; experimentell, Latenz und Fehlerrate sind das Problem.

So funktioniert es

1. video (+ audio, subtitles)
2. shot/scene segmentation + speech/silence detection (find gaps in dialogue)
3. frame sampling / video VLM
4. visual facts per shot (who, what, where, on-screen text)
5. LLM writes concise description per gap, using style guide, character names, context memory
6. length fit: words ≈ available seconds × speaking rate; else shorten or flag "extended AD"
7. human review (edit, approve, fix names/sensitive content)
8. neural TTS (voice, speed)
9. mix with original audio (ducking) or deliver as separate track
10. player: selectable AD track (HLS/DASH alternate audio) or WebVTT "descriptions" track

• Visuelles Verstehen: Ein VLM oder videofähiges multimodales Modell beschreibt Schlüsselbilder oder kurze Clips; OCR liefert den genauen Bildschirmtext; das Dialog-Transkript (ASR) verhindert, dass beschrieben wird, was man bereits hört.
• Konsistenz: Ein laufender Handlungsstand („Story so far") und eine Figurenliste verhindern, dass aus „einem Mann" fünf verschiedene Personen werden. Echte Personen dürfen nicht anhand des Gesichts identifiziert werden (siehe Risiken); nutzen Sie stattdessen Drehbuch, Abspann oder vom Nutzer gelieferte Besetzungslisten.
• Timing: Standard-AD passt in Pausen; erweiterte AD hält das Video an (in Web-Playern möglich, nicht im linearen Rundfunk).
• Mensch-in-der-Schleife (Human-in-the-Loop): verpflichtend bei Spielhandlungen, Nachrichten und allem Regulierten; stichprobenbasierte Qualitätssicherung bei internen Videos mit geringem Risiko.

Datenaufbereitung

Das Rohmaterial ist Video mit Ton, plus optional Drehbücher, Untertitel, Shotlisten und ein Styleguide. In einem KMU, bei einem Sender oder einer Behörde liegen diese in einem Media-Asset-System, auf Dateifreigaben, in einem CMS oder in E-Mail-Verläufen von Agenturen. Typische Lücken sind fehlende Untertitel oder Drehbücher, uneinheitliche Figurennamen und Terminologie, gemischte Codecs, kein Glossar und unklare Nutzungsrechte für Fremdmaterial.

Schritte: 1. Videos nach Priorität inventarisieren, zum Beispiel zuerst öffentlich zugängliche und gesetzlich geforderte (PREP-001). 2. Mit ffmpeg in ein Standardformat umwandeln und Audio sowie Schlüsselbilder extrahieren. 3. Transkripte und Untertitel per ASR erstellen oder sammeln (zur Untertitelung siehe SPEECH-004). 4. Ein Glossar mit Namen, Orten und Begriffen aufbauen (PREP-015). 5. Gute, von Menschen geschriebene Audiodeskriptionen als Stilbeispiele sammeln (PREP-016).

Der Aufwand ist gering: Es ist kein Modelltraining nötig, die Aufbereitung macht also vielleicht 10 bis 20 Prozent aus, überwiegend Glossar, Styleguide und Rechteklärung.

Umsetzungswege

Welcher Weg für wen

• enterprise: Weg B, weil Vision-Language- und TTS-APIs in EU-Regionen schnell Entwürfe in Sendequalität liefern und ein menschlicher Redakteur sie fertigstellt.
• public: Weg B in einer EU- oder deutschen Souveränen Cloud, weil öffentliche Stellen Souveränität und Vergaberechtskonformität brauchen und das Volumen moderat ist; Weg A nur für zertifizierte Produkte.
• developer: Weg B, weil die Orchestrierung rund um APIs das Produkt ist und sich eigener Betrieb auf HW3 selten lohnt.
• private: Weg A, weil eingebaute Barrierefreiheitsfunktionen und fertige Apps keine Einrichtung brauchen.

Weg A — Kaufen (Standardsoftware)

• AD-Produktionsdienste mit KI-Entwurf: US-Anbieter wie Verbit und 3Play Media bieten KI-gestützte AD mit menschlicher Prüfung an; europäische Untertitelungs- und Lokalisierungshäuser sowie Barrierefreiheitsabteilungen von Sendern bieten menschliche oder hybride AD an. Prüfen Sie aktuelle Angebote und den Datenstandort in der EU.
• Videoplattformen: Einige Videohosting- und Lernplattform-Produkte ergänzen KI-generierte AD-Spuren oder arbeiten daran; prüfen Sie Datenstandort in der EU und Spurformat.
• A wählen, wenn: Sie ein überschaubares Volumen veröffentlichen und einen verwalteten, menschlich geprüften Dienst wollen (mit Service-Level-Agreement zur Qualität), statt Werkzeuge selbst zu bauen.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Empfohlener Standard.
• Videoverständnis: Google Gemini (native Videoeingabe, Vertex AI in EU-Regionen), OpenAI-GPT-Modelle mit Bildverarbeitung, Anthropic Claude auf Einzelbildern (über AWS Bedrock / Vertex in EU-Regionen), multimodale Modelle von Mistral (EU-Anbieter); strukturierte Ausgabe liefert zeitkodiertes JSON.
• TTS: Azure AI Speech mit neuronalen Stimmen (EU-Regionen, SSML für Tempo/Pausen), Google Cloud TTS, Amazon Polly, ElevenLabs (Option für Datenhaltung in der EU), dazu EU-Anbieter wie Acapela (FR/BE) und ReadSpeaker (SE).
• Verkabelung: FFmpeg für Shot-Erkennung, Ducking und Mischung; PySceneDetect; WebVTT-Ausgabe; n8n oder eine warteschlangenbasierte Pipeline; die Prüfoberfläche (einfacher Timeline-Editor) ist die wichtigste Eigenentwicklung.

Weg C — Selbst betreiben (Open Source)

• VLMs: Qwen2.5-VL / Qwen3-VL, InternVL, Gemma 3 (Vision), Llama-Vision-Varianten und Modelle der Klasse LLaVA-Video, bereitgestellt mit vLLM; PySceneDetect und Whisper / faster-whisper für die Dialoglücken.
• TTS: Piper, Kokoro, von Coqui abgeleitete Modelle, F5-TTS oder offene Stimmen der Klasse Orpheus; prüfen Sie die Lizenzen für die kommerzielle Nutzung und für jede Komponente zum Stimmklonen.
• Hardware: HW3 (eine GPU mit 48 GB+) für ein VLM der 30B-Klasse bei akzeptablem Durchsatz; HW2 funktioniert mit VLMs von ca. 7–8B und spärlicher Bildabtastung bei geringerer Qualität. Offline-Stapelverarbeitung genügt: kein Echtzeitbedarf.

Weg D — Eigenes Training

Lohnt sich für einen Sender oder ein Archiv mit tausenden Stunden professionell geschriebener AD: ein VLM auf (Clip, Beschreibung, Timing)-Paaren feintunen, um Hausstil, Kürze und das zu lernen, was Beschreiber weglassen. Es braucht Rechte am Trainingsmaterial und die Einwilligung der Beschreiber; lizenzierte AD-Datensätze sind knapp, rechnen Sie also damit, einen Datensatz aus dem eigenen Altbestand aufzubauen.

Stand der Technik (2026)

• Video-native multimodale Modelle (Gemini-Familie, Qwen-VL, GPT und Claude mit Bildeingabe) erzeugen flüssige Szenenbeschreibungen; Forschung zu Film-AD (z. B. der MAD-Datensatz und die AutoAD-Arbeiten der Oxford VGG) zeigte, dass figuren- und kontextbewusstes Prompting Beschreibungen nützlich macht, statt sie zu generischen Bildunterschriften verkommen zu lassen [5].
• Das Einpassen in Lücken und „nur beschreiben, was für die Handlung zählt" bleiben schwierig: Modelle beschreiben zu viel, beschreiben, was bereits hörbar ist, oder übersehen erzählerisch wichtige Details (einen Blick, ein Requisit).
• Neuronale TTS ist natürlich genug für langes Zuhören; vom Nutzer einstellbares Tempo und einstellbare Ausführlichkeit sind ein echter Vorteil synthetischer AD gegenüber festen menschlichen Aufnahmen.
• Grenzen und Fehlerbilder: halluzinierte Objekte und Handlungen, falsche Figurenidentität, übersehener Text in Bewegung, kulturelle Fehldeutungen und eine nüchterne Behandlung emotionaler oder sensibler Szenen (Gewalt, Nacktheit). Blinde Nutzende bevorzugen nach eigenen Angaben neutrale, sachliche Beschreibungen gegenüber geratenen Emotionen oder Absichten.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack: Das VLM-Videoverständnis teilt sich mit VIS-025 (Video-Tagging) und KNOW-016 (multimodale Archivsuche); die TTS mit SPEECH-006 (Vertonung) und SPEECH-007 (Synchronisation, gleiches Problem der Zeitanpassung); ASR und Lückenerkennung mit SPEECH-004 (Untertitelung).
• Naheliegendes Paket: Barrierefreiheitspaket aus Untertiteln (SPEECH-004), AD, barrierefreien Dokumenten (DOC-026) und Gebärdensprache, wo verfügbar.
• Hardware: Ein einzelner HW3-GPU-Server kann VLM und TTS für mehrere dieser Anwendungsfälle hosten.

Aufwand, Kosten & Kennzahlen

• Weg A: Tage bis Wochen bis zur Einführung; Preis pro Videominute, wobei menschlich geprüfte Stufen mehrfach so viel kosten wie reine KI-Lösungen.
• Weg B: 1–3 Monate für Pipeline plus Prüfwerkzeug; die API-Kosten pro Minute für VLM und TTS sind typischerweise gering im Vergleich zur Studioproduktion.
• Weg C: 3–4 Monate; GPU-Server plus ML-Betrieb.
• Kennzahlen: Anteil des Bestands mit AD, Redakteurszeit pro fertiger Minute (gegenüber einer Basis bei Erstellung von Grund auf), Änderungsquote der KI-Sätze, Rate sachlicher Fehler in der Stichproben-Qualitätssicherung, Bewertungen blinder Tester, Nutzung der AD-Spur bei der Wiedergabe.

Menschen & Veränderung

Binden Sie die Geschäftsleitung (Barrierefreiheitsziele, Budget), die Fachbereichsleitung für Medien oder Kommunikation, die Redakteure, die Beschreibungen prüfen, die IT (Pipeline, Speicher) und Recht oder Compliance (Barrierefreiheitsrecht, Rechte am Filmmaterial) ein. Beziehen Sie blinde und sehbehinderte Nutzende früh ein: Sie testen Beschreibungen, legen Ausführlichkeit und Stimmpräferenzen fest und sagen Ihnen, was nützlich ist. Blindenverbände sind gute Partner für eine Pilotgruppe.

Betriebsrat: in der Regel nein, da das System Inhalte verarbeitet, nicht das Verhalten von Beschäftigten (§ 87 Abs. 1 Nr. 6 BetrVG). Informieren Sie den Betriebsrat trotzdem, wenn sich redaktionelle Abläufe ändern (§ 90 Abs. 1 Nr. 3 BetrVG). In öffentlichen Stellen wird der Personalrat nach dem geltenden Recht informiert. Eine(n) Datenschutzbeauftragte(n) braucht es, wenn Personen im Material zu sehen sind; prüfen Sie Rechtsgrundlage und AVV mit API-Anbietern, und eine DSFA nur bei sensiblem Material.

KI-Kompetenz: Unterstützen Sie Redakteure mit einer kurzen Schulung zu typischen Fehlern (halluzinierte Details, falsche Namen, übersehener Bildschirmtext), gemäß Art. 4 der KI-Verordnung (AI Act). Seien Sie transparent: Kennzeichnen Sie synthetische Beschreibungen und Stimmen (Art. 50). Behalten Sie die Kontrolle beim Menschen durch einen Prüfschritt vor der Veröffentlichung. Eine typische Sorge ist der Arbeitsplatzverlust für Beschreiber; positionieren Sie die KI als ersten Entwurf, der sie für Qualitätsarbeit freistellt.

Guides: GUIDE-008, GUIDE-006, GUIDE-010.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): typischerweise begrenztes Risiko. Art. 50 verlangt eine maschinenlesbare Kennzeichnung und Offenlegung synthetischer Audioinhalte („Deepfake"-Regeln gelten für realistische Stimmen, die realen Personen ähneln; eine erkennbar synthetische Sprecherstimme ist ein geringes Risiko), mit einer Ausnahme für unterstützende Standardbearbeitung, aber nicht für vollständig generierte Inhalte. An sich kein hohes Risiko. Vorsicht bei Art. 5: Fügen Sie keine Emotions- erkennung bei Personen am Arbeitsplatz oder in der Ausbildung und keine biometrische Identifizierung von Personen anhand des Materials hinzu; beschreiben Sie nur sichtbares Verhalten, nicht abgeleitete Emotionen oder Identitäten [6].
• Barrierefreiheitsrecht: EAA, AVMD-Richtlinie, Web-Zugänglichkeitsrichtlinie/BITV 2.0 und EN 301 549 begründen die Pflicht; rein KI-erzeugte Ausgaben mit ungeprüften Fehlern genügen für regulierte Medien möglicherweise nicht dem Maßstab der „Gleichwertigkeit"; dokumentieren Sie Ihre Qualitätssicherung.
• DSGVO: Videos zeigen erkennbare Personen; die Beschreibung des Aussehens einer Person kann besondere Kategorien personenbezogener Daten offenbaren (Gesundheit, ethnische Herkunft, Religion). Nutzen Sie EU-Regionen oder eigenen Betrieb, einen Auftragsverarbeitungsvertrag und vermeiden Sie die Speicherung von Einzelbildern beim Anbieter; benennen Sie keine unbenannten Personen.
• Urheberrecht: AD für Fremdmaterial braucht Rechte; die Verträge von Sprechern sind wichtig, wenn eine Stimme geklont wird (siehe SPEECH-007).
• Gegenmaßnahmen: menschliche Prüfung bei folgenreichen Inhalten, neutraler Styleguide, Feedbackkanal für Nutzende, Test mit blinden Nutzenden, AD als automatisch erzeugt kennzeichnen.

Erste Schritte

1. Wählen Sie 10 repräsentative Videos (Moderation vor der Kamera, Folien, Spielhandlung, Bildschirmaufnahme) und zählen Sie, bei wie vielen Informationen nur visuell vorliegen.
2. Bauen Sie Weg B an diesen als Prototyp: Gemini oder ein anderes videofähiges Modell für zeitkodierte Beschreibungen, eine neuronale TTS-Stimme, FFmpeg für Ducking und Mischung.
3. Lassen Sie zwei bis drei blinde oder sehbehinderte Nutzende und eine Barrierefreiheitsfachkraft Nutzen, Ausführlichkeit und Fehler bewerten; passen Sie Prompt und Styleguide an.
4. Ergänzen Sie einen einfachen Prüfschritt und eine wählbare AD-Spur in Ihrem Player (WebVTT oder alternative Tonspur).
5. Legen Sie fest, welche Inhalte rein per KI erscheinen dürfen und welche eine menschliche Freigabe brauchen, und protokollieren Sie das.

Quellen

1. Directive (EU) 2019/882 (European Accessibility Act) — https://eur-lex.europa.eu/eli/dir/2019/882/oj
2. Directive 2010/13/EU (Audiovisual Media Services Directive, consolidated) — https://eur-lex.europa.eu/eli/dir/2010/13/oj
3. W3C WCAG 2.2, SC 1.2.5 Audio Description (Prerecorded) — https://www.w3.org/WAI/WCAG22/Understanding/audio-description-prerecorded.html
4. WHO — Blindness and vision impairment fact sheet — https://www.who.int/news-room/fact-sheets/detail/blindness-and-visual-impairment
5. Han et al., AutoAD: Movie Description in Context (CVPR 2023) — https://arxiv.org/abs/2303.16899
6. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
7. Google Cloud — Gemini video understanding — https://ai.google.dev/gemini-api/docs/video-understanding
8. Azure AI Speech — text to speech and SSML — https://learn.microsoft.com/azure/ai-services/speech-service/text-to-speech
9. Qwen2.5-VL — https://github.com/QwenLM/Qwen2.5-VL