Echtzeit-Sprachübersetzung & Dolmetschen

Mehrsprachige Meetings, Veranstaltungen und Servicetheken sind durch die Sprachen begrenzt, die die Personen im Raum sprechen. Streaming-Spracherkennung, maschinelle Übersetzung und Sprachsynthese (oder ein einziges durchgängiges Speech-to-Speech-Modell) übersetzen Sprache heute mit wenigen Sekunden Verzögerung, als Untertitel oder als synthetische Stimme. Das genügt für interne Meetings, Schulungen, Servicestellen und Reisen, ist aber eine Hilfe und kein Ersatz für qualifizierte Dolmetscher, wo Fehler rechtliche, medizinische oder diplomatische Folgen haben.

Problem & Nutzen

• Heute: Simultandolmetschen durch Menschen braucht Kabinen, zwei Dolmetscher pro Sprache und Sitzung sowie Vorausbuchung und ist deshalb großen Veranstaltungen und Institutionen vorbehalten. Anderswo greifen Teams auf eine gemeinsame Verkehrssprache (meist Englisch), spontanes Konsekutivdolmetschen durch Kolleginnen und Kollegen oder Übersetzungs-Apps auf dem Telefon im Wechselmodus zurück, die den Gesprächsfluss unterbrechen.
• Nutzen durch KI: kostengünstige Abdeckung vieler Sprachpaare auf Abruf, für jede teilnehmende Person auf dem eigenen Gerät, mit einem Transkript als Nebenprodukt. Meetings mit Nicht-Muttersprachlern werden dadurch inklusiver, und kleine Organisationen können Kunden, Patienten oder Bürger in Sprachen bedienen, die sie nie personell abdecken könnten.
• Belegstand: Es wird keine herstellerunabhängige Kostenstudie genannt; behandeln Sie Herstellerangaben als Werbung und messen Sie mit Ihrem eigenen Audio.

Varianten

• Meeting-Dolmetscher: übersetzte Untertitel oder ein wählbarer übersetzter Audiokanal in Videokonferenzen (Teams, Zoom, Webex, Google Meet).
• Veranstaltung / Konferenz: Das Publikum scannt einen QR-Code und folgt übersetzten Untertiteln oder Audio auf dem Telefon; das Sprecher-Audio kommt vom Mischpult.
• Servicetheke / Empfang / Klinik: Zwei-Wege-Übersetzung im persönlichen Gespräch auf einem Tablet (Behörden, Krankenhäuser, Hotels, Handel). Höhere Anforderungen: siehe Risiken.
• Contact Center / Telefonie: Live-Übersetzung innerhalb eines Telefonats zwischen Mitarbeiter und Kunde (siehe CONV-002).
• Private Nutzung: Reiseübersetzung in Ohrhörern oder Telefonen. Gebärdensprache ist ein eigenes Thema: siehe LANG-030.

So funktioniert es

1. audio capture (mic / meeting bus / telephony)
2. voice activity detection + audio cleanup
3. streaming ASR (+ optional language identification, diarization)
4. segmentation / stabilisation of partial hypotheses
5. machine translation (NMT or LLM, glossary + context aware)
6. output: captions | TTS (optionally voice-preserving) | bilingual transcript

• Kaskade vs. durchgängig: Die klassische Kaskade (ASR → MT → TTS) ist modular, erlaubt das Einbinden von Glossaren und protokolliert den Zwischentext. Durchgängige Speech-to-Speech-Modelle übersetzen direkt von Audio zu Audio, was die Latenz senkt und die Prosodie erhält, bieten aber weniger Kontrolle und schwächere Nachprüfbarkeit.
• Simultan-Strategie: Das System muss entscheiden, wann es eine Übersetzung ausgibt, bevor der Satz beendet ist. Längeres Warten verbessert die Qualität (Wortstellung, Verben am Satzende im Deutschen oder Japanischen), erhöht aber die Verzögerung. Übliche Systeme akzeptieren eine Verzögerung von wenigen Sekunden; der Zielkonflikt ist einstellbar.
• Mensch-in-der-Schleife (Human-in-the-Loop): Eine Moderation kann pausieren oder das Glossar korrigieren; in kritischen Situationen überwacht ein menschlicher Dolmetscher, oder die KI-Ausgabe wird als „nur zur Orientierung“ gekennzeichnet. Die Ausgabe muss den Zuhörenden mitteilen, dass die Sprache maschinell übersetzt wird.

Datenaufbereitung

Die Live-Übersetzung braucht wenig Trainingsdaten: Die Eingabe ist ein Live-Audiostrom in guter Qualität, die Ausgabe Text oder synthetische Sprache. Entscheidend ist der Kontext. In einem KMU liegt dieser Kontext in Glossaren, Produktlisten, Angeboten, Handbüchern und Kundenkommunikation (ERP, DMS, E-Mail, Dateiablagen), meist in verschiedenen Sprachen und Schreibweisen. Typische Lücken: keine einheitliche Terminologie über Sprachen hinweg, Abkürzungen und Produktnamen, schlechtes Audio von Raummikrofonen, unklare Rechte der Sprechenden und keine Liste der tatsächlich benötigten Sprachpaare.

Schritte der Aufbereitung: Ermitteln Sie die zwei oder drei meistgenutzten Sprachpaare und Einsatzsituationen; sammeln Sie ein zweisprachiges Glossar mit Begriffen, Produkten, Namen und verbotenen Übersetzungen aus vorhandenen übersetzten Dokumenten und dem Translation Memory (PREP-015, PREP-016); bereinigen Sie es um Dubletten und widersprüchliche Varianten (PREP-012); bereiten Sie den technischen Aufbau vor (Headsets, Konferenzmikrofon, getrennter Audiokanal pro Sprecher); definieren Sie je Sprachpaar eine Testmenge aus 20 bis 30 typischen Sätzen mit menschlichen Referenzübersetzungen, um Werkzeuge zu vergleichen (PREP-018). Klären Sie bei sensiblen Meetings, welche Daten an einen Cloud-Dienst gehen dürfen (PREP-024).

Aufwandsanteil: gering, etwa 10 bis 15 Prozent, überwiegend Glossar und Audio-Aufbau. Siehe auch GUIDE-003.

Umsetzungswege

Welcher Weg für wen

• smb: Weg A. Übersetzungsfunktionen von Meeting-Plattformen und in der EU gehostete Dolmetsch-Produkte sind ausgereift und für gelegentliche mehrsprachige Meetings günstig genug.
• enterprise: Weg B. Cloud-APIs für Sprache und Übersetzung lassen sich in eigene Veranstaltungs-, Meeting- und Support-Plattformen einbinden und skalieren mit der Nutzung.
• developer: Weg B. Streaming-APIs für Sprache und Übersetzung sind der Standardbaustein für Produkte.
• public: Weg C. Sensible Gespräche und Souveränitätsanforderungen sprechen für offene Sprach- und Übersetzungsmodelle auf deutscher oder EU-Infrastruktur.
• private: Weg C. Lokale Übersetzungs-Apps und offene Modelle funktionieren offline, zum Beispiel auf Reisen.

Weg A — Kaufen (Standardsoftware)

• Meeting-Plattformen: Microsoft Teams (Interpreter in Meetings, übersetzte Untertitel), Zoom (übersetzte Untertitel, AI Companion), Google Meet (Sprachübersetzung) und Webex (Echtzeit- Übersetzung) enthalten Übersetzung für ausgewählte Sprachpaare, oft nur in höheren Lizenzstufen.
• Spezialisierte Anbieter: DeepL Voice (EU, Deutschland) für Meetings und persönliche Gespräche; KUDO AI, Interprefy, Wordly, Verbit/Interactions und Pocketalk/Timekettle-Geräte für Veranstaltungen und Reisen. Anbieter mit Dolmetscher-Marktplatz kombinieren KI mit menschlichen Dolmetschern (hybrid).
• A wählen, wenn: Meetings oder Veranstaltungen der Anwendungsfall sind und der Anbieter EU-Datenhaltung, einen Auftragsverarbeitungsvertrag und kein Training mit Ihrem Audio bietet.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Sprachübersetzungs-APIs: Azure AI Speech (Sprachübersetzung inkl. Streaming und neuronaler Stimmen, EU-Regionen), Google Cloud Speech-to-Text + Translation + Text-to-Speech, AWS Transcribe + Translate + Polly (Frankfurt/Irland), dazu Speech-to-Speech- und Realtime-Audio-Endpunkte von Anbietern führender Modelle (OpenAI Realtime, Gemini Live). Prüfen Sie, ob der Realtime-Endpunkt in einer EU-Region verfügbar ist, bevor Sie personenbezogene Daten senden.
• EU-Komponenten: DeepL API für Textübersetzung, Mistral-Modelle (Voxtral für Sprach- verständnis) für die LLM- und ASR-Stufe, speechmatics (UK, mit EU-Bereitstellungsoptionen) und ElevenLabs oder Azure-Stimmen für die Synthese (Datenhaltung prüfen).
• Orchestrierung: WebRTC-Gateway (z. B. LiveKit) plus Segmentierung, Glossar-Einspeisung und Protokollierung.
• B wählen, wenn: Die Übersetzung in Ihr eigenes Produkt oder Ihren eigenen Arbeitsablauf eingebettet werden muss.

Weg C — Selbst betreiben (Open Source)

• Durchgängig: Meta Seamless (SeamlessM4T v2 und SeamlessStreaming; Forschungslizenz, Bedingungen für kommerzielle Nutzung prüfen) und Kyutai Hibiki (Streaming-Speech-to-Speech Französisch-Englisch, offen).
• Kaskade: Whisper / faster-whisper oder NVIDIA Parakeet / Canary für ASR (Canary übersetzt Sprache auch), NLLB-200, MADLAD-400 oder ein offenes LLM (Qwen, Mistral, Gemma) für die Übersetzung, Piper, Kokoro oder TTS im Coqui-Stil. Streaming-Wrapper: whisper_streaming / WhisperLiveKit, Pipecat für Pipelines.
• Hardware: HW2 bewältigt einen bis wenige gleichzeitige Streams; HW3 für viele parallele Sitzungen oder große LLM-Übersetzung. Auf dem Gerät (HW1, Handy-NPUs) funktioniert es für Reisen und Offline-Bedarf mit kleineren Modellen und geringerer Qualität.
• C wählen, wenn: Audio die Räumlichkeiten nicht verlassen darf (Betriebsrat, Gesundheit, Behörden, Vorstandssitzungen).

Weg D — Eigenes Training

ASR und MT auf Audio und Terminologie des eigenen Fachgebiets oder für Sprachen und Dialekte mit wenigen Ressourcen feintunen. Erfordert zehn bis hundert Stunden transkribiertes, übersetztes Audio; die Einspeisung von Glossaren ist meist günstiger und ausreichend.

Stand der Technik (2026)

• Qualität: Sprachpaare mit vielen Ressourcen (Englisch, Deutsch, Französisch, Spanisch, Chinesisch, Japanisch) sind für allgemeine Geschäftssprache brauchbar; Sprachen und Dialekte mit wenigen Ressourcen liegen weit zurück. Forschungssysteme (Seamless, Hibiki) zeigen durchgängiges Streaming mit Stimmerhalt, das in kontrollierten Bewertungen der Natürlichkeit menschlicher Dolmetscher nahekommt, doch die Ergebnisse bei lauten echten Meetings bleiben schwächer.
• Latenz: Streaming-Kaskaden liefern Untertitel innerhalb weniger Sekunden; auch menschliche Dolmetscher hinken wenige Sekunden hinterher, doch die KI-Qualität schwankt weit stärker.
• Trends: stimmerhaltende Übersetzung, kontextbewusste LLM-basierte Übersetzung, Glossare zur Laufzeit, integrierte Funktionen von Meeting-Plattformen.
• Fehlerbilder: ausgelassene oder halluzinierte Sätze, falsch übersetzte Zahlen und Verneinungen, Namen und Akronyme, überlappende Sprache, Akzente, Sprachwechsel, Sarkasmus und Redewendungen, Fachjargon. Modelle im Whisper-Stil können bei Stille Text erfinden. Flüssige, aber falsche Ausgabe ist die Hauptgefahr, weil Zuhörende sie nicht prüfen können.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack (asr + translation + tts + streaming): SPEECH-001 Meeting-Transkription, SPEECH-004 Live-Untertitelung, SPEECH-006 Text-to-Speech, SPEECH-007 Synchronisation und Lokalisierung, SPEECH-019 Stimm- umwandlung für Call-Agents, LANG-009 Textübersetzung (gemeinsame MT-Modelle und Glossare), CONV-002 Telefon-Agenten (mehrsprachig).

Aufwand, Kosten & Kennzahlen

• Weg A: Tage; Lizenz pro Nutzer oder Preis pro Stunde/Veranstaltung; Zusatzgebühren für Sprachpakete sind üblich.
• Weg B: 1-3 Monate für eine produktreife Pipeline; Kostentreiber sind Streaming-Audiominuten, TTS und die Zahl der Zielsprachen (ein Übersetzungsstrom pro Zielsprache).
• Weg C: 2-4 Monate; GPU-Server, Überwachung und laufende Modellaktualisierungen.
• Kennzahlen: Gesamtverzögerung (Sekunden), Wortfehlerrate der ASR und Übersetzungsqualität (COMET/chrF an einer Stichprobe Ihrer eigenen Aufnahmen, plus menschliche Bewertung), Genauigkeit von Zahlen und Fachbegriffen, Anteil der Zuhörenden, die Verständnis melden, und Anzahl der Vorfälle (kritische Fehlübersetzungen).

Menschen & Veränderung

Beziehen Sie früh die Abteilungsleitung und die Endnutzer ein (die tatsächlich mehrsprachige Meetings abhalten), dazu die IT für Audio und Plattformintegration sowie die bzw. den Datenschutzbeauftragten für Auftragsverarbeitungsverträge und den Umgang mit Sprachdaten (GUIDE-005). Die Geschäftsleitung entscheidet über die Qualitätsgrenze: maschinelles Dolmetschen für interne und Routinegespräche, menschliche Dolmetscher für Verträge, Verhandlungen sowie rechtliche oder medizinische Inhalte. Kunden und Partner sollten informiert werden, dass maschinelle Übersetzung eingesetzt wird (Transparenz nach Art. 50 KI-Verordnung (AI Act), soweit anwendbar, GUIDE-014).

Betriebsrat: kommt darauf an. Wird nur das Audio übersetzt und nichts personenbezogen gespeichert, ist die Mitbestimmung unter Umständen nicht ausgelöst; sobald die Plattform protokolliert, wer was sagt, oder Transkripte speichert, ist § 87 Abs. 1 Nr. 6 BetrVG voraussichtlich anwendbar, und § 90 Abs. 1 Nr. 3 verlangt, den Betriebsrat über neue KI-gestützte Arbeitsabläufe zu informieren. Öffentlicher Dienst: Personalrat.

KI-Kompetenz: Unterstützen Sie die Beschäftigten darin, deutlich und in kurzen Sätzen zu sprechen und kritische Zahlen und Namen schriftlich zu prüfen (GUIDE-006, GUIDE-007). Kommunizieren Sie, dass das Werkzeug professionelle Dolmetscher ergänzt und dort nicht ersetzt, wo Genauigkeit kritisch ist; das nimmt dem Sprachpersonal die Sorge um den Arbeitsplatz (GUIDE-008). Beginnen Sie mit einem Pilotbetrieb in einem Team und mit einem Sprachpaar, sammeln Sie Fehlerbeispiele und legen Sie Go/No-go-Kriterien fest (GUIDE-009). Der Mensch behält die Kontrolle: Teilnehmende können jederzeit auf menschliches Dolmetschen umschalten.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): in der Regel begrenztes/minimales Risiko. Die Transparenz nach Art. 50 gilt, wenn synthetische Sprache oder stimmgeklonte Ausgabe mit der echten sprechenden Person verwechselt werden könnte: Weisen Sie auf maschinelle Übersetzung und synthetische Stimme hin. Art. 4 (KI-Kompetenz) gilt für das Personal. Der Einsatz wird Hochrisiko, wenn er in Kontexten nach Anhang III erfolgt (z. B. Asyl- oder Migrationsverfahren, Strafverfolgung, Rechtspflege, Beschäftigungsentscheidungen); dort darf maschinelle Übersetzung nicht die alleinige Grundlage von Entscheidungen sein. Emotionserkennung aus der Stimme am Arbeitsplatz oder in Schulen ist nach Art. 5 verboten und darf nicht in Übersetzungsprodukte eingebunden werden.
• DSGVO: Die Stimme ist ein personenbezogenes Datum (und kann besondere Kategorien offenbaren, z. B. im Gesundheitskontext). Erforderlich sind eine Rechtsgrundlage, Information aller Teilnehmenden, ein AVV, EU-Hosting oder ein gültiger Transfermechanismus, Aufbewahrungsfristen für Audio und Transkripte und eine DSFA bei systematischer Nutzung. Am Arbeitsplatz gelten die Regeln der Mitbestimmung (Deutschland: BetrVG).
• Branchenregeln: Bei Gericht, medizinischer Einwilligung, Polizei und Asylverfahren sind in der Regel qualifizierte Dolmetscher vorgeschrieben; KI-Übersetzung nur als Hilfsmittel.
• Gegenmaßnahmen: Ausgabe als maschinell übersetzt kennzeichnen, menschliche Rückfalloption bereithalten, Quell- Untertitel neben der Übersetzung zeigen, Glossare für kritische Begriffe, Pilotbetrieb mit Fachleuten, kein Training mit Kunden-Audio, Protokollierung mit kurzer Aufbewahrung.

Erste Schritte

1. Legen Sie Sprachpaare, Einsatzsituationen und die Tragweite fest: Interne Meetings und Servicestellen eignen sich zum Einstieg; schließen Sie rechtliche, medizinische und Asyl-Situationen aus.
2. Testen Sie die Übersetzungsfunktionen der Plattform, die Sie bereits nutzen (Teams, Zoom, Meet), mit echten Teilnehmenden.
3. Nehmen Sie 1-2 Stunden Ihres eigenen typischen Audios auf, mit Jargon und Akzenten, und vergleichen Sie 2-3 Werkzeuge anhand der obigen Kennzahlen, mit Prüfung durch Muttersprachler.
4. Schließen Sie den AVV ab, prüfen Sie die Datenhaltung, informieren Sie die Teilnehmenden und fügen Sie den Hinweis auf maschinelle Übersetzung hinzu.
5. Bauen Sie ein Glossar auf, legen Sie einen Eskalationsweg zu Menschen fest und prüfen Sie Vorfälle monatlich.

Quellen

1. Regulation (EU) 2024/1689 (AI Act), incl. Art. 4, 5, 50 and Annex III — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
2. Meta — Seamless Communication (SeamlessM4T v2, SeamlessStreaming) paper — https://arxiv.org/abs/2312.05187
3. Kyutai — Hibiki, high-fidelity simultaneous speech-to-speech translation — https://arxiv.org/abs/2502.03382
4. Microsoft — Azure AI Speech: speech translation overview — https://learn.microsoft.com/azure/ai-services/speech-service/speech-translation
5. DeepL Voice — https://www.deepl.com/en/products/voice
6. OpenAI Whisper — https://github.com/openai/whisper
7. Microsoft — Interpreter in Microsoft Teams meetings and calls — https://support.microsoft.com/topic/c7efe2bb-535d-42ab-a5c4-d2d91619b46d
8. European Data Protection Board — guidelines and opinions on GDPR and AI models — https://www.edpb.europa.eu/our-work-tools/general-guidance/guidelines-recommendations-best-practices_en