Einführung & Abgrenzung
Anwendungsfälle, bei denen Audio die primäre Modalität ist: Sprache zu Text (Muster SPEECH.TRANSCRIBE), Text oder Sprache zu synthetischer Sprache (SPEECH.SYNTH) sowie Audioanalyse oder -verarbeitung ohne Transkription (SPEECH.AUDIO). Reine Text-Chatbots und Sprachagenten gehören zu CONV, Textübersetzung zu LANG, Videoverständnis zu VIS.
Abgrenzungen zu Nachbarfamilien: - SPEECH-001 (allgemeine Besprechungen) gegenüber SPEECH-021 (Gericht/Parlament): 021 ist der Fall des amtlichen Protokolls mit gerichtsfester Genauigkeit und menschlicher Korrektur (hohes Risiko); 001 dient dem Komfort bei Notizen. - SPEECH-003 (Live-Übersetzung, beliebiges Umfeld, Kaskade oder Sprache-zu-Sprache) gegenüber SPEECH-019 (Akzent-/Stimmumwandlung in Call-Center-Leitungen) gegenüber SPEECH-007 (Offline-Synchronisation): 003 ist Dolmetschen zur Verständigung, 019 ist die Stimmumwandlung von Mitarbeitenden auf laufenden Telefonleitungen, 007 ist die Lokalisierung in der Postproduktion. - SPEECH-004 (Untertitelung) ist Textausgabe für Barrierefreiheit; SPEECH-003 ergänzt Übersetzung bzw. Sprachausgabe. - SPEECH-009 (Nicht-Sprach-Ereignisse) gegenüber SPEECH-015 (Wildtiere) gegenüber SPEECH-023 (Moderation von Sprachchats): unterschiedliche Bereiche und Risikoprofile. - SPEECH-010 (Stimmbiometrie) ist ein gemeinsamer Baustein für 002, 016, 022; biometrische Identifizierung ist nach dem AI Act hochriskant, die 1:1-Verifikation liegt in der Regel außerhalb von Anhang III.
Überblick
| ID | Titel | Muster | Reifegrad | Weg | HW | AI Act |
|---|---|---|---|---|---|---|
| SPEECH-001 | Besprechungstranskription, Zusammenfassungen & Aufgaben | TRANSCRIBE | mainstream | A | HW2 | minimal |
| SPEECH-002 | Gesprächsanalyse & Qualitätssicherung im Contact Center | TRANSCRIBE | mainstream | A | HW3 | depends |
| SPEECH-003 | Sprachübersetzung & Dolmetschen in Echtzeit | TRANSCRIBE | early-adopter | A | HW2 | limited |
| SPEECH-004 | Live-Untertitelung | TRANSCRIBE | mainstream | A | HW2 | minimal |
| SPEECH-005 | Professionelles Diktat | TRANSCRIBE | mainstream | A | HW2 | minimal |
| SPEECH-006 | Sprachausgabe für Vertonungen | SYNTH | mainstream | A | HW1 | limited |
| SPEECH-007 | Stimmklonen & KI-Synchronisation | SYNTH | early-adopter | A | HW3 | limited |
| SPEECH-008 | Audioverbesserung & Podcast-Bearbeitung | AUDIO | mainstream | A | HW1 | minimal |
| SPEECH-009 | Erkennung von Audioereignissen & akustische Überwachung | AUDIO | early-adopter | A | HW1 | depends |
| SPEECH-010 | Sprecheridentifikation & Stimmbiometrie | AUDIO | mainstream | A | HW1 | depends |
| SPEECH-011 | Freihändige Sprachsteuerung für industrielle Arbeit | TRANSCRIBE | mainstream | A | HW1 | depends |
| SPEECH-012 | Aussprache- & Sprachtherapie-Coaching | TRANSCRIBE | early-adopter | B | HW2 | depends |
| SPEECH-013 | Music Information Retrieval | AUDIO | mainstream | C | HW2 | minimal |
| SPEECH-014 | Automatische Audiodeskription von Videos | SYNTH | early-adopter | B | HW3 | limited |
| SPEECH-015 | Bioakustik & Wildtierüberwachung | AUDIO | early-adopter | C | HW1 | minimal |
| SPEECH-016 | Analyse von Notrufen (112) | TRANSCRIBE | early-adopter | A | HW3 | high |
| SPEECH-017 | KI-Hörgeräte & Hearables | AUDIO | early-adopter | A | HW1 | high |
| SPEECH-018 | Assistive Sprache: Voice Banking, atypische Spracherkennung, AAC | SYNTH | early-adopter | A | HW1 | limited |
| SPEECH-019 | Akzent- & Stimmumwandlung in Echtzeit | SYNTH | early-adopter | A | HW3 | limited |
| SPEECH-020 | Transkription von Funkverkehr in kritischen Einsätzen | TRANSCRIBE | early-adopter | A | HW2 | depends |
| SPEECH-021 | Wortprotokolle von Verhandlungen & Sitzungen | TRANSCRIBE | early-adopter | C | HW3 | high |
| SPEECH-022 | Erkennung gesprochener Sprachen & Dialekte | AUDIO | early-adopter | C | HW1 | high |
| SPEECH-023 | Moderation von Sprachchats in Echtzeit | AUDIO | early-adopter | A | HW3 | depends |
Gemeinsamer Technologie-Stack
Ein Audio-Gateway, ein ASR-Dienst, ein TTS-Dienst, wiederverwendet über Familien hinweg (CONV-Sprachagenten, LANG-Übersetzung, DOC, VIS-Video).
Gemeinsame Bausteine: Audio-Ingest (WebRTC/SIP/RTP, VAD, Resampling auf 16 kHz); ASR (Whisper-Klasse oder Parakeet/Canary-Klasse, Streaming-Variante für Live-Fälle); Diarisierung (pyannote-Klasse); Textnachbearbeitung (LLM für Zusammenfassungen, Zeichensetzung, Glossarkorrektur); TTS (offenes mehrsprachiges Modell oder in der EU gehostete API); ein Audioklassifikator (Klasse PANNs/BEATs) zur Ereigniserkennung; eine Vektordatenbank für die Transkriptsuche; Oberfläche zur menschlichen Prüfung; Audit-Protokoll mit Aufbewahrungsregeln.
HW1 (CPU / Edge / einzelne kleine GPU, <= 8 GB): SPEECH-006, 008, 009, 010, 011, 015, 017, 018, 022
- whisper.cpp / faster-whisper small-medium (int8), Silero VAD, ECAPA-TDNN-Sprecher-Embeddings, kleiner Audioklassifikator (ONNX), TTS der Klasse Piper oder Kokoro, kleines 1–4B-LLM für Befehle.
- Läuft auf einem Laptop, Mini-PC oder Edge-Gerät der Jetson-Klasse; Hearables nutzen dedizierte DSP-/NPU-Firmware.
HW2 (eine GPU mit 16–24 GB): SPEECH-001, 003, 004, 005, 012, 013, 020
- faster-whisper der Klasse large-v3 oder Streaming-ASR, pyannote-Diarisierung, 7–14B-LLM (vLLM) für Zusammenfassungen und Strukturierung, NLLB/MADLAD oder LLM für die Übersetzung, TTS der Klasse XTTS/F5, Qdrant/pgvector für die Suche.
- Bedient Dutzende gleichzeitige Streams oder Batch-Aufträge; Live-Untertitelung mit 1–3 s Latenz.
HW3 (Multi-GPU / 48–80 GB oder dedizierter Cluster): SPEECH-002, 007, 014, 016, 019, 021, 023
- Große ASR im Batch plus Diarisierung auf einem GPU-Pool, 30–70B-LLM oder VLM für Analyse/Beschreibung, Streaming-Modelle für Sprache-zu-Sprache oder Stimmumwandlung, Lippensynchronisations-/Videomodelle für die Synchronisation, Autoskalierung mit Kubernetes, Hochverfügbarkeit und Failover für den 24/7-Betrieb (Notruf, Moderation).
- Für Anruf-, Gerichts- und Notrufaudio ein Hosting in der EU-Region oder On-Premises verwenden.
Übergreifende Regeln
- Die Stimme ist ein personenbezogenes Datum; biometrische Vorlagen sind Daten besonderer Kategorien (DSGVO Art. 9). Stimmabdrücke in einem getrennten Speicher mit ausdrücklicher Einwilligung und Löschung halten.
- Synthetische oder geklonte Stimmen erfordern eine Kennzeichnung nach AI Act Art. 50 (Wasserzeichen/Label); das Klonen erfordert die dokumentierte Einwilligung der sprechenden Person.
- Aufzeichnungseinwilligung und Betriebsvereinbarungen mit dem Betriebsrat für Anruf-/Besprechungsaudio; Aufbewahrung und Schwärzung (Maskierung personenbezogener Daten) festlegen, bevor das Transkript das LLM erreicht.
- Bei hochriskanten Einsätzen (016, 017, 021, 022) immer einen Menschen in der Schleife (Human-in-the-Loop) behalten.