Katalog / Sprach- und Audio-KI / SPEECH-004

Live-Untertitelung

Live gesprochene Sprache bei Veranstaltungen, Vorlesungen, Meetings und Sendungen innerhalb von Sekunden in eingeblendete Untertitel umwandeln, optional übersetzt, für gehörlose und schwerhörige Menschen und alle anderen.

Schneller Erfolg: bewährt, überschaubarer Aufwand, erste Ergebnisse nach Wochen, geringes regulatorisches Risiko.

Gehörlose und schwerhörige Menschen, Nicht-Muttersprachler und Zuschauende in stillen Umgebungen sind auf Untertitel angewiesen, doch menschliche Stenografen oder Respeaker sind knapp und teuer. Streaming-Spracherkennung erzeugt heute Untertitel mit einer Verzögerung von etwa einer bis wenigen Sekunden, in Dutzenden von Sprachen und mit optionaler Live-Übersetzung. Menschliche Untertitler bleiben der Qualitätsmaßstab für Veranstaltungen mit hohen Anforderungen; KI macht Untertitel für alles andere erschwinglich.

Problem & Nutzen

  • Heute: Live-Untertitel kommen von professionellen Stenografen (CART), Respeakern (ein Mensch wiederholt die Sprache für einen trainierten Erkenner) oder gar nicht. Die Kapazität ist begrenzt, die Buchung dauert Tage und die Kosten sind hoch, sodass die meisten Meetings, Vorlesungen, Bürgerversammlungen und lokalen Veranstaltungen keine Untertitel haben.
  • Nutzen durch KI: Untertitel auf Abruf für jede Sitzung, übersetzte Untertitel für mehrsprachiges Publikum, durchsuchbare Transkripte als Nebenprodukt und ein Hybridmodell, in dem ein menschlicher Redakteur den KI- Strom bei wichtigen Veranstaltungen korrigiert.
  • Rechtlicher Treiber: Der European Accessibility Act (Richtlinie (EU) 2019/882) gilt seit dem 28. Juni 2025 für verbraucherbezogene Dienste wie E-Commerce, E-Books und Zugangsdienste zu audiovisuellen Medien. Die Richtlinie über audiovisuelle Mediendienste verpflichtet Medienanbieter, ihre Dienste schrittweise barrierefrei zu machen, und öffentliche Stellen müssen die Web-Zugänglichkeitsrichtlinie (EU) 2016/2102 für ihre Websites und Apps erfüllen. EN 301 549 ist die harmonisierte Norm; sie verlangt Untertitel für synchronisierte Live-Medien, soweit anwendbar [1][2][3].

Varianten

  • Meetings und Webinare: integrierte Untertitel in Teams, Zoom, Google Meet, Webex; Untertitel-Einblendungen von Drittanbietern für Hybridveranstaltungen.
  • Bildung: Vorlesungsuntertitelung an Hochschulen (Beauftragte für Barrierefreiheit, Vorlesungsaufzeichnungssysteme); siehe EDU-001 für verwandte Lehrwerkzeuge.
  • Konferenzen und Live-Veranstaltungen: Anzeigen vor Ort und Ansicht auf dem Telefon der einzelnen Besuchenden per QR-Code, mit übersetzten Strömen (Überschneidung mit SPEECH-003).
  • Rundfunk und Streaming-Medien: Live-Untertitel für Nachrichten, Sport und öffentlich-rechtliche Sender, geliefert als DVB-Untertitel, EBU-TT-D oder CEA-608/708; überwiegend Respeaking plus KI.
  • Öffentliche Verwaltung: Ratssitzungen, Bürgerversammlungen und Pressetermine von Ministerien (siehe SPEECH-021 für wörtliche amtliche Protokolle, für die strengere Genauigkeitspflichten gelten).
  • Private Nutzung: Live-Untertitel auf dem Telefon für Gespräche (Android Live Caption und Live Transcribe, iOS Live Captions) für Menschen mit Hörverlust.

So funktioniert es

  1. audio source (mic / mixer / RTMP-SRT / meeting platform)
  2. audio capture + voice activity detection (chunks of ~100-250 ms)
  3. streaming ASR (partial hypotheses, then finalised segments)
  4. custom vocabulary, punctuation, casing, number formatting
  5. [optional] machine translation per target language
  6. caption formatting (line length, ≤2 lines, reading speed, timing)
  7. [optional] human editor / captioner correction queue
  8. delivery (overlay, WebVTT/HLS, SDI embedder, event display)
  9. archive + post-event cleanup into final subtitles
  • Streaming-ASR: Das Modell gibt Teiltext aus, der überarbeitet wird, wenn mehr Audio eintrifft, und schreibt dann ein endgültiges Segment fest. Geringere Latenz bedeutet mehr Überarbeitungen (Flackern) und mehr Fehler; die meisten Produkte erlauben es, Verzögerung gegen Stabilität abzuwägen.
  • Mensch-in-der-Schleife (Human-in-the-Loop): Bei rechtlichen, medizinischen, Rundfunk- oder Vorstandsveranstaltungen überwacht ein geschulter Untertitler den Strom, spielt Korrekturen und Sprecherkennungen ein und kann übernehmen; das Publikum muss erfahren, ob die Untertitel automatisch erzeugt werden.

Datenaufbereitung

Die Eingaben sind Live- oder aufgezeichnetes Audio und Video sowie, für bessere Qualität, Glossare und Sprechernamen. In einem KMU liegt das Material in Videoplattformen, Veranstaltungswerkzeugen, dem CMS der Website, auf Dateiablagen und bei Agenturen; die Tonqualität ist der größte Einflussfaktor. Typische Lücken: schlechte Mikrofone und Raumakustik, Hintergrundmusik, gemischte Sprachen, unbekannte Namen und Fachbegriffe, fehlende Stilregeln für Untertitel (Zeilenlänge, Lesegeschwindigkeit) und kein Archiv bereits korrigierter Untertitel.

Schritte der Aufbereitung: Verbessern Sie das Audio an der Quelle (Headset oder Ansteckmikrofone, getrennte Kanäle); stellen Sie vor jeder Veranstaltung ein Glossar mit Namen, Produkten und Abkürzungen bereit (PREP-015); legen Sie Stilregeln für Untertitel fest und sammeln Sie gute Beispiele korrigierter Dateien wie SRT oder VTT (PREP-016); wandeln Sie ältere Video- und Audioformate in Standardformate um (PREP-007); speichern Sie fertige Untertitel zusammen mit den Medien und ergänzen Sie Metadaten für die Suche (PREP-010). Klären Sie für personenbezogene Daten in Aufzeichnungen (Sprechende, Publikumsfragen) Einwilligung und Aufbewahrung (PREP-025). Bauen Sie eine kleine Testmenge aus Aufnahmen Ihrer eigenen Veranstaltungen auf, um Werkzeuge zu vergleichen (PREP-018).

Aufwandsanteil: gering, etwa 10 bis 20 Prozent, vor allem Audio-Aufbau und Glossare. Siehe auch GUIDE-003.

Umsetzungswege

Welcher Weg für wen

  • smb: Weg A. Untertitelung in Meeting- und Videoplattformen sowie ausgereifte Untertitelwerkzeuge sind einsatzbereit, in der EU gehostete Optionen existieren, und der Prozess ist Standard.
  • enterprise: Weg B. Streaming-ASR-APIs lassen sich in eigene Veranstaltungs-, Intranet- und Videoplattformen einbinden und erlauben Glossare und mehrere Sprachen in großem Umfang.
  • developer: Weg C. Offene ASR wie Whisper oder ähnliche Streaming-Modelle lässt sich ohne Kosten pro Minute einbetten und gibt volle Kontrolle über Latenz und Vokabular.
  • public: Weg C. Pflichten zur Barrierefreiheit und Vergaberegeln sprechen für offene Modelle auf souveräner EU-Infrastruktur mit transparenter Verarbeitung.
  • private: Weg C. Lokale Apps mit Whisper erzeugen Untertitel für eigene Videos kostenlos und offline.

Weg A — Kaufen (Standardsoftware) (für die meisten Organisationen empfohlen)

  • Plattformeigene Untertitel: Microsoft Teams Live-Untertitel und übersetzte Untertitel, Zoom, Google Meet, Webex. Günstigster Einstieg, begrenzte Kontrolle über das Vokabular und oft keine Garantie, dass die Übersetzung nur in der EU verarbeitet wird.
  • Spezialisten für Veranstaltungen und Untertitel: Verbit (inkl. VITAC), Ai-Media (Lexi, hybrid mit menschlichen Untertitlern), Wordly, Interprefy; europäische Optionen sind Speechmatics (UK), Gladia (FR) und Dienste auf Mistral-Basis. Prüfen Sie bei jedem Anbieter Hosting-Region und Unterauftragsverarbeiter.
  • A wählen, wenn: Sie Untertitel für wiederkehrende Meetings oder Veranstaltungen brauchen und keine Entwickler haben. Prüfen Sie Datenhaltung, AVV, ob Aufnahmen für Training verwendet werden, eigenes Vokabular, Sprachen und Exportformate.

Weg B — Auf Cloud-KI-Diensten aufbauen

  • Streaming-ASR-APIs: Azure AI Speech (Echtzeit-Transkription mit Phrasenlisten, EU-Regionen wie West Europe), Google Cloud Speech-to-Text v2 (Chirp-Modelle, EU-Standort), Amazon Transcribe Streaming (Frankfurt, Irland), Deepgram (Streaming-Nova-Modelle, EU-Endpunkt), AssemblyAI Streaming, Speechmatics Echtzeit-API (starke Abdeckung europäischer Sprachen, EU- Bereitstellung), Gladia (Frankreich, EU-Anbieter), Mistral Voxtral (EU-Anbieter, Transkriptions-API) [5][6].
  • Übersetzung: DeepL API (Deutschland, EU), Azure Translator, Google Cloud Translation; oder die im Angebot desselben Anbieters integrierte Live-Übersetzung.
  • Auslieferung: WebSocket/WebRTC an eine Untertitel-Webseite; LiveKit oder Daily für Konferenzen; RTMP/SRT-Einspeisung in OBS, vMix oder Hardware-Encoder mit Untertitel-Einfügung (CEA-708 oder WebVTT in HLS).
  • B wählen, wenn: Sie Untertitel in Ihr eigenes Produkt einbetten, individuelle Abläufe brauchen oder Ströme je Sprache und die Archivierung unter Ihrer Kontrolle haben wollen.

Weg C — Selbst betreiben (Open Source)

  • Modelle: OpenAI Whisper (large-v3, turbo) arbeitet konstruktionsbedingt offline; verwenden Sie Streaming-Wrapper wie whisper_streaming / WhisperLiveKit (SimulStreaming), faster-whisper oder whisper.cpp. Von Haus aus streamingfähige offene Modelle: NVIDIA Parakeet und Canary (NeMo, FastConformer/RNN-T), Kyutai STT (Streaming mit niedriger Latenz, Französisch/Englisch), Vosk und Sherpa-ONNX für kleine Geräte sowie Mistral Voxtral mit offenen Gewichten [7][8].
  • Übersetzung: Opus-MT / MarianMT, NLLB-200 oder ein offenes LLM zur Glättung.
  • Stack: WebSocket-Server (z. B. WhisperLive, Sherpa-ONNX-Server), VAD (Silero), Untertitel- Formatierer, OBS-Plugin oder Web-Overlay; Kubernetes optional.
  • Hardware: HW1 für kleine Modelle auf CPU oder NPU (ein oder zwei Sprechende, geringere Genauigkeit), HW2 (eine GPU mit 16-32 GB) bedient mehrere parallele Ströme mit einem Modell der Whisper-large-Klasse oder Parakeet. Betriebsaufwand: mäßig, vor allem Latenzabstimmung, Überwachung und Rückfalllösung.
  • C wählen, wenn: Audio die Räumlichkeiten nicht verlassen darf (Betriebsräte, Vorstandssitzungen, vertrauliche Anhörungen) oder das Volumen die Preise pro Minute teuer macht.

Weg D — Eigenes Training

Nur bei starken Dialekten, Fachjargon oder Sprachen mit wenigen Ressourcen feintunen; erfordert zehn bis hundert Stunden transkribiertes Zielaudio. Versuchen Sie zuerst Vokabular-Boosting und Kontext-Biasing.

Stand der Technik (2026)

  • Die Qualität der Streaming-ASR für große europäische Sprachen bei sauberem Audio liegt in Standard-Benchmarks nahe an menschlicher Transkription; eine Latenz von 300 ms bis 1 s für Teilergebnisse ist bei kommerziellen APIs üblich. Offene Streaming-Modelle (Parakeet, Kyutai STT, Streaming-Varianten von Whisper) haben den Abstand zu Cloud-Diensten verkleinert.
  • Grenzen und Fehlerbilder: überlappende Sprechende, Akzente und Dialekte (Schweizerdeutsch, Bairisch, Schottisch), Fernfeldmikrofone, Musik, Fachbegriffe, Zahlen und Eigennamen; verzögerte oder flackernde Untertitel; fehlende Sprecherwechsel; falscher Text, der als Tatsache erscheint. Von Anbietern genannte Wortfehler- raten spiegeln selten Ihren Veranstaltungsort wider; testen Sie daher mit Ihren eigenen Aufnahmen.

Gemeinsame Bausteine & Kombinationen

  • Gleicher Stack (asr + streaming + diarization): SPEECH-001 Meeting-Transkription und Zusammenfassungen, SPEECH-002 Gesprächsanalyse, SPEECH-003 Echtzeit-Übersetzung, SPEECH-021 wörtliche Protokolle, SPEECH-011 Sprachsteuerung. Ein GPU-ASR-Server (HW2) kann Live-Untertitel und Batch-Aufträge bedienen.
  • Nachgelagert: Nachbearbeitung nach der Veranstaltung zu endgültigen Untertiteln, Synchronisation und Lokalisierung (SPEECH-007), Audiodeskription für blinde Nutzende (SPEECH-014).
  • Gemeinsame Infrastruktur: Anbindungen an Konferenzplattformen, Übersetzungsdienst, Glossar- und Vokabularverwaltung.

Aufwand, Kosten & Kennzahlen

  • Aufwand: A Stunden bis Tage (Preis pro Stunde, Stufen mit menschlicher Unterstützung kosten ein Mehrfaches); B 1-3 Monate; C 2-4 Monate inkl. GPU-Server und Bereitschaftsdienst.
  • Kennzahlen: Wortfehlerrate und Genauigkeit bei Eigennamen (NER-Stil) an der eigenen Testmenge, Untertitelverzögerung (Ende der Äußerung bis Anzeige), Flackerrate, Lesegeschwindigkeit (Wörter pro Minute), Abdeckung (Anteil untertitelter Veranstaltungen), Zufriedenheit der gehörlosen und schwerhörigen Nutzenden, Korrekturaufwand für endgültige Untertitel.

Menschen & Veränderung

Beziehen Sie die Abteilungsleitung (Veranstaltungen, Kommunikation, Schulung), Endnutzer wie Moderierende und Redaktion, die IT für Streaming und Plattformintegration sowie die bzw. den Datenschutzbeauftragten für Auftragsverarbeiter und Sprachdaten ein (GUIDE-005). Recht oder Compliance klären die Pflichten zur Barrierefreiheit (zum Beispiel Barrierefreiheitsregeln für Websites und Veranstaltungen) und welche Qualität als ausreichend gilt. Menschen, die Untertitel nutzen, etwa gehörlose und schwerhörige Kolleginnen und Kollegen oder Kunden, sollten direkt gefragt und in den Pilotbetrieb einbezogen werden.

Betriebsrat: kommt darauf an. Reine Live-Untertitel von Veranstaltungen und öffentlichen Videos überwachen in der Regel keine Beschäftigten; werden interne Meetings untertitelt und Transkripte mit Sprechernamen gespeichert, kann § 87 Abs. 1 Nr. 6 BetrVG gelten, und § 90 Abs. 1 Nr. 3 verlangt, den Betriebsrat über KI-gestützte Arbeitsabläufe zu informieren. Öffentlicher Dienst: Personalrat (GUIDE-004).

KI-Kompetenz: Unterstützen Sie Moderierende darin, deutlich zu sprechen und Untertitel wichtiger Inhalte vor der Veröffentlichung zu prüfen (GUIDE-006). Kommunizieren Sie, dass Untertitel für alle ein Gewinn an Barrierefreiheit sind und professionelle Live-Untertitler dort nicht ersetzen, wo Genauigkeit kritisch ist; das nimmt auch Untertitlern die Sorge um den Arbeitsplatz (GUIDE-008). Pilotieren Sie mit einer wiederkehrenden Veranstaltung, messen Sie Fehlerrate und Rückmeldungen und weiten Sie dann aus (GUIDE-009). Der Mensch behält die Kontrolle: Aufgezeichnete Inhalte werden vor der Veröffentlichung geprüft, Live-Fehler werden auf Wunsch korrigiert und als maschinell erzeugt offengelegt.

Risiken, Regulierung & Compliance

  • KI-Verordnung (AI Act): minimales Risiko für die Untertitelung selbst; KI-Kompetenz (Art. 4) gilt. Die Transparenz- pflichten nach Art. 50 betreffen vor allem synthetische Inhalte, nicht Transkripte, doch die Kennzeichnung von Untertiteln als automatisch ist gute Praxis. Vorsicht: Wird dasselbe Audio auch zur Emotionserkennung bei Beschäftigten oder Lernenden genutzt, ist das nach Art. 5 Abs. 1 Buchst. f verboten; halten Sie die Untertitelung frei von solchen Analysen.
  • DSGVO: Sprache ist ein personenbezogenes Datum; Publikum, Sprechende und Umstehende müssen informiert werden. Bereiten Sie einen AVV mit dem Anbieter vor, EU-Datenhaltung, kein Training des Anbieters mit Ihrem Audio, minimale Aufbewahrung und eine Rechtsgrundlage (oft berechtigtes Interesse oder öffentliche Aufgabe; bei Beschäftigten ist ggf. eine Betriebsvereinbarung nötig). Öffentliche Streams und Aufzeichnungen brauchen einen klaren Informationshinweis.
  • Barrierefreiheitsrecht: Eine unzuverlässige automatische Untertitelung genügt unter Umständen nicht den gesetzlichen Pflichten oder den Pflichten zur Anpassung; manche gehörlosen Nutzenden und öffentlichen Stellen verlangen für wichtige Inhalte menschlich geprüfte Untertitel. Dokumentieren Sie, wie die Qualität sichergestellt wird, und halten Sie eine Rückfalllösung bereit.
  • Gegenmaßnahmen: Vokabellisten, menschliche Kontrolle, Ersatzkanal, Hinweis „automatische Untertitel“, Korrektur vor der Veröffentlichung von On-Demand-Fassungen.

Erste Schritte

  1. Legen Sie fest, wer Untertitel braucht, bei welchen Veranstaltungen, in welchen Sprachen und welches Qualitätsniveau (nur KI vs. menschlich unterstützt) akzeptabel ist; beziehen Sie gehörlose und schwerhörige Nutzende früh ein.
  2. Nehmen Sie 2-3 Stunden echtes, repräsentatives Audio inkl. schwieriger Stellen auf und bauen Sie eine kleine Testmenge mit Referenztranskripten.
  3. Probieren Sie zuerst die in Ihre Meeting-Plattform integrierten Untertitel aus, vergleichen Sie dann zwei Dienste nach Weg A oder B an Ihrer Testmenge nach Genauigkeit, Verzögerung und Kosten; prüfen Sie EU-Hosting und AVV.
  4. Bereiten Sie Vokabellisten (Namen, Produkte, Begriffe) und eine Probe-Checkliste vor: Mikrofone, Netzwerk, Anzeige, Rückfalllösung.
  5. Führen Sie einen Pilotbetrieb bei einer echten Veranstaltung mit menschlicher Kontrolle durch, messen Sie Kennzahlen und sammeln Sie Rückmeldungen, bevor Sie ausrollen.

Quellen

  1. Directive (EU) 2019/882 (European Accessibility Act) — https://eur-lex.europa.eu/eli/dir/2019/882/oj
  2. European Commission — European Accessibility Act overview — https://commission.europa.eu/strategy-and-policy/policies/justice-and-fundamental-rights/disability/union-equality-strategy-rights-persons-disabilities-2021-2030/european-accessibility-act_en
  3. ETSI EN 301 549 — Accessibility requirements for ICT products and services — https://www.etsi.org/deliver/etsi_en/301500_301599/301549/
  4. Ofcom — Measuring live subtitling quality — https://www.ofcom.org.uk/tv-radio-and-on-demand/information-for-industry/guidance/subtitling
  5. Microsoft — Azure AI Speech real-time speech to text — https://learn.microsoft.com/azure/ai-services/speech-service/get-started-speech-to-text
  6. Mistral AI — Voxtral — https://mistral.ai/news/voxtral
  7. NVIDIA NeMo ASR models (Parakeet, Canary) — https://github.com/NVIDIA/NeMo
  8. Whisper — Robust Speech Recognition via Large-Scale Weak Supervision — https://github.com/openai/whisper
  9. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj