KI-Telefonagent / Voicebot für eingehende Anrufe

Das Telefon bleibt der Kanal für dringende, komplexe oder von älteren Kunden gestellte Anliegen, doch viele kleine Unternehmen verpassen Anrufe, und Contact Center lassen sie in Warteschlangen laufen. Ein Sprachagent nimmt jeden Anruf sofort an, versteht natürliche Sprache statt „Drücken Sie die 1“, antwortet aus freigegebenem Wissen, bucht, schlägt nach oder erfasst das Anliegen in den Geschäftssystemen und übergibt an eine Person, wenn er nicht helfen kann. Typische Ziele: keine verpassten Anrufe, kürzere Warteschlangen, Verfügbarkeit rund um die Uhr und Menschen, die für schwierige Fälle frei werden.

Problem & Nutzen

• Heute: Anrufe landen auf der Mailbox, bei einer Empfangskraft, die nebenbei andere Arbeit erledigt, oder in einem klassischen IVR-Menü, das Anrufer abbrechen. Contact Center planen Personal für Spitzen, mit hoher Fluktuation und Schulungskosten.
• Nutzen durch KI: 100 % der Anrufe ohne Warteschlange annehmen, Nächte und Spitzenzeiten abdecken, strukturierte Daten (Name, Anlass, Bestellnummer) statt freier Mailbox-Nachrichten erfassen und den wiederkehrenden Anteil (Öffnungszeiten, Status, Termin, einfache Änderungen) vollständig erledigen.
• Belege: Fallstudien der Anbieter nennen hohe Abschlussquoten ohne Übergabe, doch diese sind selbst berichtet und hängen stark vom Anrufmix ab; messen Sie an Ihren eigenen Anrufen, bevor Sie sich festlegen. Die Latenz ist der entscheidende Qualitätsfaktor: Natürlicher Sprecherwechsel erfordert einen Antwortbeginn deutlich unter etwa einer Sekunde [1][2].

Varianten

• KMU-Empfang/Überlauf: Handwerk, Arzt- und Zahnarztpraxen, Kanzleien, Hotels, Restaurants: annehmen, Nachricht aufnehmen, buchen (siehe CONV-003), dringende Anrufe weiterleiten.
• Eingangstür des Contact Centers: authentifizieren, Anliegen erkennen, lösen oder mit Zusammenfassung weiterleiten; der Mensch macht dann mit Kontext weiter (siehe CONV-007 zur Unterstützung während laufender Gespräche).

So funktioniert es

1. Anruf (PSTN/SIP-Trunk)
2. Telefonie-Gateway
3. KI-Hinweis + Einwilligungshinweis
4. Streaming-ASR (+ Sprachaktivitäts-/Sprecherwechsel-Erkennung, Barge-in)
5. Dialogmanager: LLM mit Werkzeugen (RAG auf Wissensbasis, CRM-/Kalender-/Ticket-APIs)
6. Guardrails (Themenbereich, PII, Prompt Injection, keine unbefugten Zusagen)
7. Streaming-TTS
8. Anrufer
9. Eskalation: begleitete Weitergabe (SIP REFER) an einen Menschen + Zusammenfassung des Transkripts
10. nach dem Anruf: Transkript, Zusammenfassung, CRM-Eintrag, Auswertung (SPEECH-002)

• Zwei Architekturen: (1) kaskadiert ASR → LLM → TTS, was die Wahl je Komponente, EU-Hosting, eigenes Vokabular und vollständige Protokollierung erlaubt; (2) Speech-to-Speech-Echtzeitmodelle, die Audio aufnehmen und Audio ausgeben, mit geringerer Latenz und natürlicherer Prosodie, aber weniger Kontrolle und Transparenz.
• Werkzeugnutzung: Das LLM ruft freigegebene Funktionen auf (Buchung prüfen, Ticket anlegen, SMS-Link senden); Autorisierung und Geschäftsregeln liegen im Code, nicht im Prompt.
• Mensch-in-der-Schleife (Human-in-the-Loop): festgelegte Auslöser für die Übergabe (Anrufer verlangt es, wiederholtes Missverstehen, Beschwerde, sensibles oder rechtliches Thema, geringe Sicherheit, negative Stimmung); ein Mensch prüft markierte Transkripte und aktualisiert die Wissensbasis wöchentlich.

Datenaufbereitung

Ein Voicebot braucht weniger Massendaten als ein Chatbot, dafür präzise, aktuelle Fakten: Öffnungszeiten, Preislisten, Einzugsgebiete, Terminregeln, Eskalationsnummern und die Antworten auf die 20 häufigsten Anrufgründe. Diese stehen typischerweise auf der Website, in Preislisten in Excel oder im ERP, in Kalendern und in den Köpfen der Empfangskräfte.

Typische Lücken: nicht dokumentierte Anrufgründe, informelle Regeln („Herr Meier bekommt immer einen Rückruf“), veraltete Zeiten, Produktnamen, die die Spracherkennung falsch versteht, und keine Aufnahmen oder Labels zum Testen.

Aufbereitungsschritte: (1) Anrufgründe zwei Wochen lang erfassen (Strichliste oder Export des Anrufprotokolls), um die häufigsten Anliegen zu finden, (2) je Anliegen ein kurzes, maßgebliches Faktenblatt schreiben, (3) Produkt-, Straßen- und Personennamen sowie Abkürzungen als Vokabelliste für die Spracherkennung sammeln, (4) klare Eskalationsregeln und Datenfelder für Rückrufe festlegen, (5) falls Aufnahmen zum Testen genutzt werden, Einwilligung einholen und Transkripte pseudonymisieren, (6) 30 bis 50 Testanrufe mit erwarteten Ergebnissen aufbauen. Werkzeuge: Whisper zur Transkription vorhandener Aufnahmen, eine Tabellenkalkulation oder n8n für Faktenblatt und Gesprächsablauf.

Anteil am Aufwand: etwa 25 bis 40 Prozent. Siehe PREP-015, PREP-016, PREP-018, PREP-022, PREP-025 und DATA-008.

Umsetzungswege

Welcher Weg für wen

• KMU: Weg A. Fertige Voicebot- und Telefonassistenten-Produkte mit EU-Hosting gibt es, und die typischen Gesprächsabläufe (Öffnungszeiten, Termine, Rückruf) sind Standard.
• Großunternehmen: Weg B. Telefonie-Integration, Mengenpreise und Kontrolle über Latenz und Gesprächsabläufe sprechen für den Aufbau auf Cloud-Sprach- und LLM-APIs.
• Entwickler: Weg B. Cloud-Echtzeit-Sprach-APIs mit einem Telefonieanbieter sind der schnellste Weg für Kundenprojekte.
• Öffentlicher Sektor: Weg C. Anrufaufzeichnungen und Bürgerdaten sprechen für offene Sprachmodelle (Whisper-Klasse) und Open-Weight-LLMs in einer souveränen Cloud.

Weg A — Kaufen (Standardsoftware) (für die meisten KMU empfohlen)

• Voice-Agent-Plattformen: ElevenLabs Agents (EU-Datenspeicherung in der Enterprise-Stufe), Retell AI, Vapi, Bland, PolyAI (UK, Enterprise); aus der EU/Deutschland: Parloa (Berlin, Contact Center für Großunternehmen), Famulor und andere deutsche KI-Empfangsdienste, Deepgram/Speechmatics (UK) als Sprach- komponenten. Prüfen Sie Aussagen zum Datenstandort je Anbieter [4][5].
• CCaaS-Suiten mit integrierter Sprach-KI: Genesys Cloud, NICE CXone, Amazon Connect, Google CES, Microsoft Dynamics 365 Contact Center, Cognigy (Düsseldorf, jetzt Teil von NICE), Talkdesk.
• Prüfen: EU-Hosting von Audio und Unterauftragsverarbeitern, AVV, EU-Sprachen, Übergabe an die Telefonanlage.
• Wählen Sie A, wenn: Standardanrufe, wenige Integrationen und keine eigene Sprachentwicklung vorhanden sind.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Echtzeitmodelle: OpenAI Realtime API (gpt-realtime-Familie) mit nativer SIP-Unterstützung, auch über Azure OpenAI/Microsoft Foundry für EU-Regionen; Google Gemini Live API; Mistral (EU-Anbieter) für Voxtral Speech-to-Text und LLMs; Deepgram, AssemblyAI, Azure Speech, Google Chirp für ASR; ElevenLabs, Cartesia, Azure Neural Voices für TTS [1][6][7].
• Orchestrierungs-Frameworks: LiveKit Agents, Pipecat, Twilio ConversationRelay, OpenAI Agents SDK; Tool-Aufrufe in CRM/Kalender über MCP oder REST; n8n für Backoffice-Schritte.
• Wählen Sie B, wenn: Sie individuelle Abläufe, tiefe Integration oder ein bestimmtes EU-Regions-Setup brauchen und Entwickler haben. Testen Sie Akzente, Geräusche, Telefon-Codecs (8 kHz G.711) und Barge-in frühzeitig.

Weg C — Selbst betreiben (Open Source)

• Stack: LiveKit (Apache 2.0) oder Pipecat für Medien und Agentenschleife; Asterisk/FreeSWITCH für die Telefonie; ASR: Whisper-Familie (faster-whisper), NVIDIA Parakeet/Canary, Voxtral Realtime (Apache 2.0, Streaming, 13 Sprachen); LLM: Mistral, Qwen, Llama, gpt-oss-Klasse über vLLM; TTS: Piper, Kokoro, Coqui-Nachfolger, offene Modelle mit Lizenzprüfung (Lizenzen für Stimmklonen unterscheiden sich) [6][8][9].
• Hardware: HW3 für einen Stack aus ASR + LLM (20–70 Mrd. Parameter) + TTS mit mehreren gleichzeitigen Anrufen; HW2 reicht für wenige Leitungen mit einem kleineren LLM, auf Kosten der Qualität im Deutschen und der Zuverlässigkeit von Tool-Aufrufen.
• Aufwand: erfordert Sprachentwicklung; wählen Sie dies für Behörden, das Gesundheitswesen oder strenge Souveränität.

Weg D — Eigenes Training

Selten erforderlich. Denkbar für das Feintuning der ASR auf Fachvokabular (Arzneimittelnamen, Straßennamen, Dialekte) mit einigen Dutzend Stunden transkribierter, eingewilligter Anrufe oder für ein destilliertes kleines Modell für das Intent-Routing. Trainieren Sie nie auf Aufnahmen ohne Rechtsgrundlage und Prüfung der Zweckvereinbarkeit.

Stand der Technik (2026)

• Echtzeit-Speech-to-Speech-Modelle mit SIP, Unterbrechungsbehandlung und Tool-Aufrufen sind bei den großen Laboren allgemein verfügbar; Streaming-Open-Weight-ASR (Voxtral Realtime, Verzögerung unter 200 ms, einstellbar) macht selbst betriebene kaskadierte Pipelines praktikabel [1][8].
• Agentische Werkzeugnutzung lässt Voicebots Vorgänge abschließen, statt nur FAQs zu beantworten; die Zuverlässigkeit mehrstufiger Tool-Aufrufe per Sprache ist geringer als im Text-Chat.
• Grenzen und Fehlerbilder: erfundene Richtlinien oder Preise, falsch verstandene Zahlen/Namen/Adressen (immer zurücklesen und bestätigen lassen), Akzente und Hintergrundgeräusche, Sprachwechsel, Prompt Injection durch gesprochene Anweisungen, Latenzspitzen, stille Fehler bei Randfällen der Telefonie (Mailbox, DTMF, Warteschleifen- musik) und Missbrauch von Stimmklonen gegen sprachbasierte Authentifizierung. Stimmbiometrie allein darf nicht zur Authentifizierung von Anrufern verwendet werden.

Gemeinsame Bausteine & Kombinationen

• Derselbe Stack: CONV-008 ausgehende Sprachanrufe, CONV-025 Sprachbestellung, CONV-014 Sprachassistent im Fahrzeug, CONV-019 Sprach- interviews teilen ASR/TTS/Echtzeit-Bereitstellung und Telefonie.
• Nachgelagert: SPEECH-002 Anruf-Qualitätssicherung, CONV-007 Unterstützung für Mitarbeitende, CONV-003 Buchung, AGENT-002 Automatisierung von Nachfassaktionen.
• Text-Zwilling: Der Web-Chatbot CONV-001 sollte dieselbe Wissensbasis und Werkzeugschicht nutzen (Retrieval der KNOW-Familie); ein Backend, zwei Kanäle.

Aufwand, Kosten & Kennzahlen

• Weg A: Tage bis 2–4 Wochen; Abrechnung meist pro Minute plus Plattformgebühr; vergleichen Sie die Gesamtkosten pro gelöstem Anruf statt pro Minute.
• Weg B: 1–3 Monate für einen Produktivagenten mit Integrationen und Tests; Kosten: Audio-Tokens des Echtzeitmodells oder ASR+LLM+TTS pro Minute, Telefonie pro Minute.
• Weg C: 3–6 Monate; GPU-Server plus Betrieb.
• Kennzahlen: Abschluss-/Lösungsquote ohne Übergabe (geprüft, nicht nur „Anruf beendet“), Übergabequote und -grund, durchschnittliche Bearbeitungsdauer, abgebrochene Anrufe, Lösung beim ersten Anruf, CSAT, Qualität der Eskalation, Wortfehler- rate, Antwortlatenz (p95), Kosten pro gelöstem Anruf, Beschwerden über den Bot.

Menschen & Veränderung

Die Geschäftsführung entscheidet über den Umfang und darüber, welche Anrufe der Bot übernehmen darf. Die Leitung von Empfang oder Service verantwortet die Gesprächsabläufe; die Beschäftigten, die heute ans Telefon gehen, sind die wichtigsten Endanwender und sollten Eskalationen festlegen und mit echten Anrufen testen. Die IT integriert Telefonie, Kalender und CRM; die IT-Sicherheit prüft den Sprachkanal. Die Datenschutzbeauftragte bzw. der Datenschutzbeauftragte ist unverzichtbar: Sprache sind personenbezogene Daten, Aufnahmen brauchen eine Rechtsgrundlage und einen Hinweis, einen AVV mit dem Anbieter, und im großen Umfang ist eine DSFA wahrscheinlich.

Betriebsrat: abhängig vom Einzelfall, in der Praxis aber oft ja. Anrufauswertung, Transkripte und Qualitätsbewertung protokollieren, wer welchen Anruf bearbeitet, und können Verhalten oder Leistung überwachen (§87 Abs. 1 Nr. 6 BetrVG; BAG: objektive Eignung genügt). Zudem nach §90 Abs. 1 Nr. 3 unterrichten und einen Sachverständigen nach §80 Abs. 3 erwägen. Öffentlicher Dienst: Personalrat.

Anrufer müssen zu Beginn darüber informiert werden, dass sie mit einer KI sprechen (Art. 50 KI-Verordnung), und jederzeit einen Menschen erreichen können. Fördern Sie die KI-Kompetenz des Telefonteams (Art. 4). Starten Sie mit einem Pilot für Anrufe außerhalb der Geschäftszeiten, bei dem der Bot die Mailbox ersetzt, nicht Menschen; das senkt Ängste und zeigt den Nutzen. Typische Bedenken sind schlechte Erkennung von Dialekten und verärgerte Anrufer; begegnen Sie ihnen mit Tests, schneller Übergabe und wöchentlicher Prüfung gescheiterter Anrufe. Siehe GUIDE-008, GUIDE-004, GUIDE-005.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): begrenztes Risiko. Art. 50 Abs. 1 verlangt, dass Menschen darüber informiert werden, dass sie mit einem KI- System interagieren, sofern dies nicht offensichtlich ist; die Leitlinien der Kommission vom Juli 2026 behandeln Kundenservice- und Buchungsagenten als erfasst, einschließlich der Nennung, in wessen Auftrag der Agent handelt. Die KI-Kompetenz nach Art. 4 gilt für die Beschäftigten. Erzeugte Stimmen gelten als synthetisches Audio (Kennzeichnung nach Art. 50 Abs. 2, mit Übergangsfristen laut Omnibus). Wird Hochrisiko, wenn der Bot über den Zugang zu wesentlichen Diensten oder Krediten entscheidet (Anhang III), und verboten, wenn er Emotionen von Beschäftigten ableitet (Art. 5 Abs. 1 Buchst. f); keine Emotionserkennung für Call-Center-Personal ergänzen und die Stimmungsanalyse von Anrufern aus Entscheidungen über Einzelpersonen heraushalten [3][10].
• DSGVO: Stimme und Transkripte sind personenbezogene Daten; Rechtsgrundlage nach Art. 6, Transparenzhinweis zu Anrufbeginn, AVV mit Auftragsverarbeitern, Drittlandübermittlungen (US-Sprachanbieter brauchen DPF oder Standardvertragsklauseln und eine Transfer- Prüfung), Speicherfristen, Löschung auf Anfrage. Stimmabdrücke (Voice-Print-Biometrie) sind besondere Kategorien von Daten (Art. 9); vermeiden. Art. 22: keine ausschließlich automatisierten Entscheidungen mit rechtlicher oder ähnlicher Wirkung.
• Telekommunikation/Aufzeichnung: Anrufaufzeichnung braucht Einwilligung oder eine klare Rechtsgrundlage (deutscher §201 StGB, TKG/TTDSG-Regeln; andere Mitgliedstaaten unterscheiden sich); Aufzeichnung ankündigen und anbieten, ohne Aufzeichnung fortzufahren.
• Gegenmaßnahmen: Hinweis, enger Umfang, Bestätigung durch Zurücklesen, Übergabe an Menschen auf Wunsch, Protokollierung, Red-Team-Anrufe.

Erste Schritte

1. Exportieren Sie 2–4 Wochen Anrufprotokolle: die 10 häufigsten Gründe, Dauern, verpasste Anrufe, Spitzenzeiten; wählen Sie 3–5 Anliegen, die häufig, einfach und risikoarm sind.
2. Schreiben Sie das Gesprächsdesign: Satz für den KI-Hinweis, Aufzeichnungshinweis, Übergaberegeln, verbotene Themen.
3. Pilotieren Sie 2 Plattformen an Überlauf- oder Nachtleitungen mit Ihrem echten Telefon-Audio und Ihren Dialekten.
4. Binden Sie ein führendes System an (Kalender oder Ticketsystem) und verlangen Sie eine Bestätigung durch Zurücklesen.
5. Prüfen Sie wöchentlich 50 Transkripte, aktualisieren Sie die Wissensbasis und erweitern Sie dann Anliegen und Öffnungszeiten.

Quellen

1. OpenAI — Realtime API with SIP (telephony guide) — https://developers.openai.com/api/docs/guides/realtime-sip
2. OpenAI — Introducing gpt-realtime and Realtime API updates for production voice agents — https://openai.com/index/introducing-gpt-realtime/
3. European Commission — Guidelines on transparency obligations for providers and deployers of certain AI systems (Art. 50) — https://digital-strategy.ec.europa.eu/en/policies/guidelines-ai-transparency-obligations
4. ElevenLabs — Agents platform — https://elevenlabs.io/api
5. Parloa — product release notes 2026 (EU voice processing) — https://www.parloa.com/blog/parloa_product_release_2026/
6. Microsoft — GPT Realtime API via SIP, Microsoft Foundry — https://learn.microsoft.com/en-us/azure/foundry/openai/how-to/realtime-audio-sip
7. Twilio/LiveKit/Pipecat vendor comparison (secondary) — https://30elevate.com/en/blog/ai-voice-agent-platforms/
8. Mistral — Voxtral Transcribe 2 and Voxtral Realtime — https://mistral.ai/news/voxtral-transcribe-2/
9. Voxtral Realtime paper — https://arxiv.org/html/2602.11298v1
10. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj