Meeting-Transkription, Zusammenfassungen & Aufgaben

In Meetings entstehen Beschlüsse und Aufgaben, die verloren gehen, weil niemand Zeit zum Mitschreiben hatte. Ein KI-Protokollassistent transkribiert das Gespräch und trennt die Sprecher; ein LLM macht aus dem Transkript eine Zusammenfassung, Beschlüsse und Aufgaben mit Verantwortlichen. Die Teilnehmenden können sich auf die Diskussion konzentrieren, statt zu tippen, und Abwesende holen den Stand in wenigen Minuten nach. In der EU sind nicht die Genauigkeit, sondern Einwilligung, Zustimmung des Betriebsrats und Datenspeicherort die entscheidenden Fragen.

Problem & Nutzen

• Heute: Eine Person schreibt mit (schlecht, und nicht bei ihren eigenen Beiträgen), das Protokoll entsteht Stunden oder Tage später, Aufgaben werden vergessen, wer nicht dabei sein konnte, fragt dasselbe noch einmal.
• Nutzen durch KI: vollständige, durchsuchbare Aufzeichnung; Protokollentwurf wenige Minuten nach dem Meeting; einheitliche Erfassung von Aufgaben; mehrsprachige Teams können das Ergebnis in ihrer eigenen Sprache lesen.
• Nutzennachweis: Anbieter versprechen Zeitersparnis, unabhängige Zahlen sind jedoch selten; messen Sie Ihre eigene Ausgangslage (Zeit für das Protokollschreiben, Erledigungsquote der Aufgaben) [1].

Varianten

• Online-Meetings (Bot oder nativ): integrierte Aufzeichnung in Teams/Zoom/Meet oder ein Bot, der als Teilnehmer beitritt (Fireflies, Otter, Read.ai, tl;dv).
• Aufnahme ohne Bot: Desktop-/Mobil-App nimmt den Systemton auf (Granola, Jamie — deutsch/EU), sodass kein sichtbarer Bot beitritt.
• Präsenz / hybrid: Mikrofon-Arrays im Besprechungsraum oder ein Telefon auf dem Tisch; schwieriger wegen Fernfeld-Audio und sich überlagernder Sprache.
• Öffentliche Verwaltung & Gremien: Sitzungsprotokolle (Protokoll) von der KI entworfen und von einer menschlichen Schriftführung freigegeben; wörtliche rechtliche Aufzeichnungen sind ein eigener Anwendungsfall (SPEECH-021).
• Private Nutzung: Vorlesungen, Familien- oder Vereinstreffen, Sprachmemos auf dem Telefon (Apple/Google/Samsung-Bordmittel).

So funktioniert es

1. consent + notice
2. capture (platform API / bot / local app / upload)
3. voice-activity detection + chunking
4. ASR (multilingual, word timestamps)
5. speaker diarization (+ mapping to names via calendar roster / platform speaker events)
6. transcript clean-up (punctuation, glossary, PII redaction optional)
7. LLM: summary, decisions, open questions, action items (owner, due date) as JSON
8. human review/edit
9. distribute (mail, wiki, task tool, CRM)
10. retention & deletion

• ASR: Encoder-Decoder- oder LLM-basierte Sprachmodelle (Whisper-Familie, Voxtral, Parakeet/Canary, kommerzielle APIs). Die Wortfehlerraten sind bei sauberem Audio in großen Sprachen niedrig und steigen bei Akzenten, Sprachwechseln, Fachjargon, Durcheinanderreden und Fernfeldmikrofonen.
• Diarisierung (Sprechertrennung): neuronale Segmentierung + Sprecher-Embeddings (pyannote); Online-Plattformen liefern zusätzlich Ereignisse zum aktiven Sprecher und Audiospuren je Teilnehmer, die weit zuverlässiger sind als das Clustern einer gemischten Spur.
• Zusammenfassung: LLM mit langem Kontext, dem Transkript, der Agenda und der Teilnehmerliste; Ausgabe nach JSON-Schema; lange Meetings werden in Abschnitte geteilt und wieder zusammengeführt.
• Mensch-in-der-Schleife (Human-in-the-Loop): Die einladende Person prüft die Zusammenfassung, bevor sie geteilt wird; Aufgaben sind Vorschläge, bis sie bestätigt sind. Protokolle mit zugeschriebenen Aussagen niemals ungeprüft automatisch versenden.

Datenaufbereitung

Die Eingabe besteht aus Audio und Video aus Teams, Zoom oder Meet, aus Raummikrofonen und hochgeladenen Aufnahmen sowie dem Kalendereintrag. In einem KMU liegen diese im Konferenzwerkzeug, in Postfächern, auf Telefonen und Dateiablagen; strukturierte Daten, die bereinigt werden müssten, gibt es selten. Typische Lücken sind schlechte Tonqualität (Laptop-Mikrofone, Raumhall), fehlende Sprechernamen, unbekannte Produkt- und Kundennamen, die der Erkenner falsch wiedergibt, gemischte Sprachen und unklare Regeln, wer aufzeichnen darf. Auch die Ausgabearchive zersplittern, wenn jedes Team ein anderes Werkzeug nutzt.

Schritte der Aufbereitung: Legen Sie fest, wo Aufnahmen gespeichert werden und wie lange (Aufbewahrung und Löschung); richten Sie ein Glossar mit Namen, Produkten und Abkürzungen ein (siehe PREP-015); beschaffen Sie einige Konferenzmikrofone für die wichtigsten Besprechungsräume; definieren Sie eine Standardvorlage für Protokolle und ein Ziel für Aufgaben (Planner, Jira) und sammeln Sie zwei oder drei gute Beispielprotokolle (PREP-016); ergänzen Sie für das Archiv Metadaten wie Datum, Projekt und Teilnehmende (PREP-010) und prüfen Sie die Zugriffsrechte, damit vertrauliche Meetings nicht für alle sichtbar sind (PREP-023). Pseudonymisierung ist hier selten sinnvoll; der Schwerpunkt liegt daher auf Einwilligung, Rechten und Aufbewahrung (PREP-024, PREP-025).

Aufwandsanteil: gering, etwa 10 bis 20 Prozent des Projekts; der größte Aufwand entfällt auf Regeln, Einführung und Akzeptanz. Siehe auch GUIDE-003.

Umsetzungswege

Welcher Weg für wen

• smb: Weg A. Es gibt ausgereifte, in der EU hostbare Protokollassistenten zu KMU-tauglichen Preisen, und Meetingprotokolle sind ein Standardprozess.
• enterprise: Weg B. Eigene Transkriptions- und Zusammenfassungs-Pipelines auf Cloud-APIs lassen sich in Unternehmenskalender, Aufgabenwerkzeuge und Archiv einbinden und halten die Lizenzkosten bei großer Nutzerzahl planbar.
• developer: Weg B. Speech-to-Text- und LLM-APIs sind der schnellste Weg, Meeting-Zusammenfassungen in ein Produkt einzubauen.
• public: Weg C. Vertrauliche Sitzungen und Vergaberegeln sprechen für Whisper plus ein lokales Modell auf souveräner EU-Infrastruktur.
• private: Weg C. Lokale Apps mit Whisper behalten die Aufnahmen auf dem eigenen Gerät, ohne laufende Kosten.

Weg A — Kaufen (Standardsoftware) (für die meisten KMU empfohlen)

• Plattform-nativ: Microsoft Teams (Premium / Microsoft 365 Copilot Recap), Zoom AI Companion, Google Meet „Notizen für mich erstellen“ (Gemini), Webex AI Assistant. Am einfachsten: Die Daten bleiben in dem Tenant, den Sie ohnehin steuern [1].
• Unabhängige Protokollassistenten: Fireflies.ai, Otter.ai, Read.ai, Fathom, tl;dv, Granola, Notta. EU-/deutsche Anbieter: Jamie (DE, ohne Bot), Amberscript (NL, Transkription mit EU-Hosting), Speechmatics (UK, Unternehmens-APIs), Sonix; außerdem die Meeting-Funktionen von Notion AI und Fellow.
• A wählen, wenn: normale Online-Meetings, keine besonderen Geheimhaltungspflichten; prüfen Sie EU-Datenhaltung, AVV, kein Training mit Kundendaten, Steuerung der Aufbewahrung und die Möglichkeit, Bots administrativ für alle zu sperren.

Weg B — Auf Cloud-KI-Diensten aufbauen

• ASR-APIs: Mistral Voxtral (EU-Anbieter), OpenAI-Transkriptionsmodelle (gpt-4o-transcribe, Whisper), Azure AI Speech (EU-Regionen, Batch-Transkription mit Diarisierung), Google Cloud Speech-to-Text (Chirp), AWS Transcribe (Frankfurt), Deepgram, AssemblyAI, ElevenLabs Scribe, Gladia (FR).
• Zusammenfassung: jedes führende LLM mit strukturierten Ausgaben (Claude, Gemini, GPT, Mistral) über eine EU-Region.
• Aufnahme: Recall.ai oder Microsoft-Graph-/Teams-Media-APIs für Bots; Zoom RTMS; lokale Aufnahme in einem Desktop-Client.
• B wählen, wenn: eine Produktfunktion fehlt (eigene Protokollvorlagen, Rückschreiben ins CRM, eigene Oberfläche).

Weg C — Selbst betreiben (Open Source)

• ASR: OpenAI Whisper large-v3 / large-v3-turbo über faster-whisper oder whisper.cpp, WhisperX (Ausrichtung + Diarisierung), NVIDIA Parakeet/Canary, Mistral Voxtral mit offenen Gewichten [2][3].
• Diarisierung: pyannote.audio, NVIDIA NeMo Sortformer [7].
• Zusammenfassungen: LLM mit offenen Gewichten (Mistral, Qwen, Llama, gpt-oss) hinter vLLM oder Ollama.
• Hardware: HW1 für Whisper-small/medium auf einem Laptop; HW2 betreibt large-v3 für viele parallele Meetings plus einen Zusammenfasser mit höchstens 30B Parametern.
• C wählen, wenn: Meetings vertraulich sind (Vorstand, Recht, F&E, Betriebsrat, Behörde) und Ihre Infrastruktur nicht verlassen dürfen.

Weg D — Eigenes Training

Selten nötig. ASR für einen Dialekt, ein lautes Umfeld oder Fachvokabular feintunen (z. B. Schweizerdeutsch, medizinisches Latein) mit zehn bis hundert Stunden transkribiertem Audio; ansonsten Hotword-Listen und Glossare verwenden. Das Feintuning des Zusammenfassers wird meist durch Prompt-Vorlagen ersetzt.

Stand der Technik (2026)

• Große mehrsprachige ASR ist Standardware. Whisper (offen, MIT-Lizenz) hat die Messlatte gesetzt; Nachfolger wie Voxtral, Parakeet/Canary und kommerzielle Streaming-Modelle konkurrieren bei Genauigkeit, Latenz und Preis [2][3]. Bestenlisten (z. B. das Hugging Face Open ASR Leaderboard) werden von sauber vorgelesener Sprache dominiert; testen Sie daher mit Ihren eigenen Meetings [4].
• Die Diarisierung ist das schwächste Glied: Überlappende Sprache, ähnliche Stimmen, viele Teilnehmende und ein einziger gemischter Kanal führen zu Sprecherverwechslungen; Spuren je Teilnehmer von der Plattform beheben das meiste.
• LLM-Zusammenfassungen sind gut, aber nicht von sich aus werktreu: Auslassungen, falsch zugeordnete Aussagen, erfundene Aufgaben und „geglättete“ Meinungsverschiedenheiten sind bekannte Fehlerbilder. Gegenmittel: jeden Punkt der Zusammenfassung mit Zeitstempeln im Transkript verknüpfen, Zitate verlangen und das Transkript verfügbar halten.
• Trend: Meeting-Nachbereitung wird zu Agenten (Tickets, CRM-Aktualisierungen, E-Mails; AGENT-012, CONV-015), und sprachnative LLMs verarbeiten Audio direkt.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack (asr + diarization + llm-general): SPEECH-002 Contact-Center-Analyse, SPEECH-005 Diktat, SPEECH-004 Live-Untertitelung, SPEECH-021 wörtliche Protokolle — ein GPU-ASR-Server bedient alle.
• Kombinierbar mit: SPEECH-003 (übersetzte Protokolle / Live-Dolmetschen), LANG-008 (Zusammenfassung langer Dokumente), AGENT-012 (Terminplanung), CONV-015 (persönlicher Assistent), CONV-007 (Agentenunterstützung).

Aufwand, Kosten & Kennzahlen

• Weg A: Stunden bis Tage; Abonnement pro Nutzer, oft in Collaboration-Suiten enthalten.
• Weg B: 2–6 Wochen; Kosten bestimmt durch Audiominuten plus LLM-Tokens.
• Weg C: 1–3 Monate inkl. Aufnahme, Sicherheit und Betrieb; GPU-Server plus Wartung.
• Kennzahlen: Wortfehlerrate und Diarisierungsfehlerrate an einer Stichprobe eigener Meetings; Anteil der Zusammenfassungen, die von den Einladenden bearbeitet werden; Recall/Precision der Aufgaben gegenüber einer menschlichen Referenz; Zeit bis zur Veröffentlichung des Protokolls; Erledigungsquote der Aufgaben; Widerspruchs-/Beschwerdequote.

Menschen & Veränderung

Beziehen Sie zuerst die Geschäftsleitung (Entscheidung, KI-Richtlinie) und die Abteilungsleitung ein, dann IT und IT-Sicherheit (Konten, Bot-Zugriff auf Kalender, Speicherung) sowie vor dem Pilotbetrieb die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten. Wer Sprechende aufzeichnet und transkribiert, verarbeitet personenbezogene Daten von Beschäftigten und externen Gästen: Rechtsgrundlage, Information der Teilnehmenden, ein AVV mit dem Anbieter und eine DSFA-Prüfung sind nötig (GUIDE-005). Externe Teilnehmende müssen zu Beginn des Meetings informiert werden; keine Aufzeichnung ohne Hinweis.

Betriebsrat: ja, sofern vorhanden. Transkripte und Sprecherzuordnungen sind objektiv geeignet, Verhalten und Leistung zu überwachen, daher greift § 87 Abs. 1 Nr. 6 BetrVG; § 90 Abs. 1 Nr. 3 verlangt eine frühzeitige Information über KI-gestützte Arbeitsabläufe, und nach § 80 Abs. 3 kann ein Sachverständiger hinzugezogen werden. Eine Betriebsvereinbarung sollte die Leistungsbewertung anhand von Transkripten ausschließen und die Aufbewahrung festlegen (GUIDE-004). Öffentlicher Dienst: Personalrat.

KI-Kompetenz: Unterstützen Sie die Beschäftigten mit einer kurzen Schulung zu den Grenzen (Fehler bei Namen und Zahlen, halluzinierte Aufgaben) und dazu, was aufgezeichnet werden darf (GUIDE-006, GUIDE-007). Beginnen Sie mit einem freiwilligen Pilotteam, benennen Sie KI-Botschafter und kommunizieren Sie offen, dass das Werkzeug kein Überwachungsinstrument ist (GUIDE-008). Typische Sorgen: „Ich werde überwacht“ (keine Auswertung, kurze Aufbewahrung, Opt-out für sensible Meetings) und „Man spricht weniger frei“ (Aufzeichnung nur mit Ankündigung). Der Mensch behält die Kontrolle: Die einladende Person prüft und gibt Protokolle und Aufgaben vor der Verteilung frei.

Risiken, Regulierung & Compliance

• Strafrecht (DE, § 201 StGB): Das Aufzeichnen des nichtöffentlich gesprochenen Wortes ohne Einwilligung ist strafbar; keine heimlichen Bots.
• KI-Verordnung (AI Act): in der Regel minimales Risiko; die Pflicht zur KI-Kompetenz (Art. 4) gilt. Die Transparenz nach Art. 50 betrifft vor allem synthetische Inhalte und die Interaktion mit KI, nicht die Transkription selbst. Verbot nach Art. 5: Das Ableiten von Emotionen von Beschäftigten oder Lernenden aus der Stimme (z. B. „Stimmungs“-, „Engagement“- oder „Stress“-Werte von Teilnehmenden) ist am Arbeitsplatz und in Bildungseinrichtungen verboten, außer aus medizinischen oder Sicherheitsgründen; schalten Sie solche Funktionen ab [5][8]. Werden Transkripte für Personalbewertung, Beförderung oder Kündigungsentscheidungen genutzt, kann das System in die Hochrisikokategorie nach Anhang III (Beschäftigung) fallen.
• DSGVO: Stimmen und Aussagen sind personenbezogene Daten; besondere Kategorien können auftauchen (Gesundheit, Gewerkschafts- zugehörigkeit). Erforderlich sind eine Rechtsgrundlage (Einwilligung bei externen Teilnehmenden, berechtigtes Interesse mit Interessenabwägung oder Betriebsvereinbarung bei interner Nutzung), eine Transparenzinformation, ein Auftragsverarbeitungsvertrag, EU-Hosting oder ein gültiger Transfermechanismus, Datenminimierung, Aufbewahrungsfristen und eine DSFA bei systematischer Aufzeichnung [6]. Die Teilnehmenden müssen vor Beginn der Aufzeichnung Bescheid wissen.
• Arbeitsrecht: In Deutschland hat der Betriebsrat Mitbestimmungsrechte (§ 87 BetrVG) bei technischen Systemen, die zur Verhaltensüberwachung geeignet sind; schließen Sie zuerst eine Betriebsvereinbarung ab.
• Vertraulichkeit: Vertrauliche Gespräche (Rechtsanwalt, Arzt, Steuerberater), Geschäftsgeheimnisse und exportkontrollierte Inhalte — Weg C bevorzugen oder von der Aufzeichnung ausnehmen. Bots von Drittanbietern können Meeting-Inhalte an externe Dienste abfließen lassen; beschränken Sie den Bot-Zugang auf Tenant-Ebene.
• Gegenmaßnahmen: Einwilligungshinweis und sichtbare Aufnahmeanzeige, Standard-Aufbewahrung (z. B. Audio rasch löschen, Protokolle behalten), rollenbasierter Zugriff auf Transkripte, vertragliche Klauseln gegen Training, menschliche Prüfung der Zusammenfassungen, Opt-out für sensible Meetings.

Erste Schritte

1. Legen Sie zuerst die Regeln fest: welche Meetingarten aufgezeichnet werden dürfen, Einwilligungstext, Aufbewahrung, wer Zugriff hat; beziehen Sie Datenschutzbeauftragte(n) und Betriebsrat ein.
2. Pilotieren Sie das plattformeigene Werkzeug, das Sie bereits lizenziert haben (Teams/Zoom/Meet), vier Wochen lang mit einem Team.
3. Testen Sie 2–3 Alternativen an 10 aufgezeichneten echten Meetings (mit Erlaubnis), auch mit Akzenten und Durcheinanderreden; bewerten Sie Transkripte und Zusammenfassungen im Vergleich zu menschlichen Protokollen.
4. Definieren Sie eine Protokollvorlage (Beschlüsse, Aufgaben mit Verantwortlichem/Fälligkeit, offene Punkte) und einen Prüfschritt vor der Verteilung.
5. Für vertrauliche Nutzung bauen Sie einen Prototyp nach Weg C: faster-whisper + pyannote + lokales LLM auf einer GPU.

Quellen

1. Microsoft — Teams Premium (intelligent recap, AI notes) — https://www.microsoft.com/en-us/microsoft-teams/premium
2. OpenAI Whisper — https://github.com/openai/whisper
3. Mistral AI — Voxtral speech understanding models — https://mistral.ai/news/voxtral
4. Hugging Face — Open ASR Leaderboard — https://huggingface.co/spaces/hf-audio/open_asr_leaderboard
5. European Commission — Guidelines on prohibited AI practices (AI Act, Art. 5) — https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act
6. EDPB — Guidelines, recommendations and best practices — https://www.edpb.europa.eu/our-work-tools/general-guidance/guidelines-recommendations-best-practices_en
7. pyannote.audio — https://github.com/pyannote/pyannote-audio
8. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj