Ein einstündiges Webinar, einen Podcast oder ein Spiel aufzunehmen ist günstig; daraus einen sauberen Schnitt, zehn vertikale Kurzvideos und untertitelte Fassungen in mehreren Sprachen zu machen, ist langsame Handarbeit. KI transkribiert die Aufnahme, findet die interessanten Momente, schneidet über den Text, entfernt Füllwörter und Stille, verfolgt den Sprecher für den vertikalen Neuzuschnitt und fügt Untertitel hinzu. Der Cutter prüft und poliert, statt die Zeitleiste abzufahren.
Problem & Nutzen
- Heute: Ein Cutter sieht sich die gesamte Aufnahme an, markiert Highlights, schneidet in einem nichtlinearen Schnittprogramm, schneidet für jede Plattform von Hand neu zu und tippt oder korrigiert Untertitel. Die meisten KMU verzichten auf die Zweitverwertung ganz; Sender und Inhaber von Sportrechten brauchen Clips innerhalb von Minuten.
- KI-Nutzen: Textbasierter Schnitt (das Transkript bearbeiten, das Video folgt), automatische Entfernung von Füllwörtern und Stille, sprecherbezogener Neuzuschnitt, Rangfolge von Clip-Kandidaten und automatische Untertitel machen aus Stunden manueller Arbeit eine Prüfaufgabe. Anbieter veröffentlichen Produktivitätsversprechen, doch das sind Marketing- zahlen; messen Sie Ihre eigene Ausgangsbasis.
- Warum jetzt: Kurze vertikale Videos dominieren die Reichweite in sozialen Medien, und Barrierefreiheitsregeln (Europäischer Rechtsakt zur Barrierefreiheit, für viele Produkte und Dienste seit Juni 2025 in Kraft) fördern Untertitel.
Varianten
- Zweitverwertung im Marketing: Webinar, Podcast oder Keynote zu Clips für LinkedIn/TikTok/Reels/Shorts.
- Unternehmen und Schulung: Betriebsversammlungen und Vorlesungen in Kapitel geschnitten, mit Untertiteln und Übersetzungen (siehe GEN-003, SPEECH-001).
- Sport und Live-Events: Highlight-Erkennung in nahezu Echtzeit aus Sendesignalen (Tore, Publikumslärm, Wiederholungen), meist Plattformen der Rechteinhaber.
- Nachrichten und Medien: Rohschnitte von Interviews, Archivsuche und Clip-Erstellung (siehe KNOW-016, VIS-025).
- Bildung: Vorlesungsaufzeichnungen nach Themen aufgeteilt, mit Kapitelmarken.
- Private Nutzung: Familien- und Gaming-Videos automatisch zu einem Kurzschnitt zusammengeschnitten.
So funktioniert es
- ingest (upload / URL / live stream recording)
- transcription + word timestamps + speaker diarization
- scene/shot detection + visual analysis (faces, speakers, slides, action)
- segment scoring (LLM on transcript + audio energy + visual cues
- hook, topic, standalone sense)
- cut (filler/silence removal, text-based edits, chapters)
- reframe (speaker tracking/saliency crop to 9:16, 1:1, 16:9)
- captions, titles, B-roll/music suggestions, brand template
- human review in editor
- export/publish
- Transkript als Bearbeitungsfläche: Die Spracherkennung liefert Zeitstempel auf Wortebene; das Löschen von Wörtern schneidet das Video.
- Bewertung von Highlights: Ein LLM liest das Transkript und bewertet in sich geschlossene, einstiegsstarke Passagen; multimodale Modelle ergänzen visuelle und akustische Hinweise (Lachen, Applaus, Szenenwechsel). Sportsysteme ergänzen Ereignisdetektoren und die Analyse des Publikumslärms.
- Neuzuschnitt: Gesichts-/Personenerkennung und Tracking oder Salienzmodelle halten den aktiven Sprecher zentriert, wenn Querformat-Material auf Hochformat zugeschnitten wird.
- Mensch-in-der-Schleife (Human-in-the-Loop): Cutter geben die Clip-Auswahl frei, prüfen Zitate im Kontext (ein automatischer Clip kann den Sinn einer Aussage verzerren), kontrollieren die Schreibweise von Namen in Untertiteln und geben die Veröffentlichung frei.
Datenaufbereitung
Benötigt werden die Rohaufnahmen (Webinare, Podcasts, Vorlesungen, Veranstaltungen), Tonspuren, Transkripte, Markenelemente (Logo, Schriften, Untertitelstil) und Zielformate. Sie liegen typischerweise auf Kamerakarten, gemeinsamen Laufwerken, der Webinar- oder Meeting-Plattform, in Konten bei Video-Hosting-Diensten und auf den Datenträgern externer Cutter. Typische Lücken sind viele Versionen derselben Datei, fehlende Einwilligungen von Sprechern und Teilnehmern, schlechte Tonqualität, unbekannte Sprechernamen, unbeschriftetes Archivmaterial und kein Glossar für Produkt- oder Personennamen, was die Qualität des Transkripts senkt.
Schritte zur Aufbereitung: pro Aufnahme eine Mastervorlage mit klarem Benennungsschema führen (PREP-009), Einwilligungen und Freigabeformulare zusammen mit der Datei ablegen (PREP-025), eine Wortliste mit Namen und Begriffen für das Sprachmodell erstellen (PREP-015), Markenvorlagen und Untertitelstile vereinheitlichen und einige freigegebene Beispiel-Clips als Qualitätsreferenz sammeln (PREP-016). Ältere Archive brauchen möglicherweise eine Formatkonvertierung (PREP-007). Die Transkription mit Whisper behandelt SPEECH-001.
Der Aufwandsanteil ist gering, etwa 10 bis 20 Prozent, vor allem für den Umgang mit Einwilligungen und ein geordnetes Archiv.
Umsetzungswege
Welcher Weg für wen
- KMU: A, weil ausgereifte, EU-taugliche Schnitt- und Clip-Werkzeuge zu KMU-Preisen existieren und die Aufgabe normale Marketingarbeit ist.
- Großunternehmen: B, weil große Videoarchive und die Notwendigkeit, die Videoplattform oder das DAM einzubinden, eine API-basierte Pipeline mit eigener Governance begünstigen.
- Entwickler: C, weil Whisper, FFmpeg und offene Erkennungsmodelle auf HW2 laufen und vollständig eigene Clip-Pipelines erlauben.
- Privat: A, weil einfache Apps zum Schneiden und Untertiteln wenig kosten und keine Einrichtung brauchen.
Weg A — Kaufen (Standardsoftware)
- SaaS für Clip-Zweitverwertung: OpusClip, Vizard, Munch, Klap, Submagic, Kapwing, Riverside (Magic Clips).
- Textbasierte Editoren: Descript, Adobe Premiere (Media Intelligence, textbasierter Schnitt, Generative Extend), CapCut, Final Cut Pro, DaVinci Resolve Studio (AI Magic Mask, Transkription, Smart Reframe, IntelliScript).
- Unternehmen/Rundfunk: Adobe, Avid, Blackbird, Moments Lab (Frankreich, EU), MAM-Erweiterungen vom Typ Vidispine/Cantemo, WSC Sports (Highlights).
- Optionen mit Blick auf EU/DSGVO: Moments Lab (FR); Selbstbetrieb oder Verträge mit EU-Region bei den SaaS-Anbietern; AVV, Datenhaltung in der EU prüfen und ob Uploads Modelle trainieren. Viele beliebte Clip-Werkzeuge stammen aus den USA, prüfen Sie daher die Übermittlungsmechanismen (EU-US Data Privacy Framework).
- A wählen, wenn: das Inhaltsvolumen moderat ist, die Sprecher einwilligen und die Ausgabe für soziale Medien bestimmt ist.
Weg B — Auf Cloud-KI-Diensten aufbauen
- Transkription: Azure AI Speech, Google Chirp, Amazon Transcribe (EU-Regionen), Deepgram, AssemblyAI, Speechmatics (UK), Gladia (FR, EU), Mistral Voxtral (EU).
- Videoverständnis: Google Gemini (native Videoeingabe mit Zeitstempeln), Twelve Labs (Pegasus/Marengo für Videosuche und -analyse), Azure Video Indexer, Amazon Rekognition Video.
- Schnitt/Rendering: FFmpeg, MoviePy, Remotion oder Render-APIs im Stil von Shotstack/Creatomate; Export nach Premiere/Resolve über EDL/FCPXML/OTIO (OpenTimelineIO).
- Orchestrierung: n8n oder Temporal; LLM (Claude, Gemini, GPT, Mistral) mit strukturierter Ausgabe, die je Clip Start-/Endzeitstempel, Bewertung und Titel liefert.
- B wählen, wenn: Sie eine eigene Pipeline brauchen, die Integration in ein DAM/CMS oder die Stapelverarbeitung eines Archivs.
Weg C — Selbst betreiben (Open Source)
- Spracherkennung/Sprechertrennung: Whisper large-v3 / faster-whisper / WhisperX, NVIDIA Parakeet, pyannote.audio.
- Szenenerkennung: PySceneDetect; Erkennung/Tracking: Modelle der YOLO-Familie oder RT-DETR mit ByteTrack; gesichts-/personenzentrierter Zuschnitt: MediaPipe, OpenCV.
- VLM für die visuelle Bewertung: Qwen-VL-Familie oder InternVL über vLLM; LLM für die Bewertung des Transkripts (Mistral, Llama, Qwen, gpt-oss).
- Open-Source-Clipper: Community-Projekte für „KI-Clips“, die auf diesen Bausteinen aufbauen; Zusammenbau mit FFmpeg und OpenTimelineIO.
- Hardware: HW2 (eine GPU mit 24–32 GB) verarbeitet mehrere Stunden Video pro Stunde; HW1 genügt für reine Transkriptions-Pipelines mit kleineren Whisper-Modellen.
Weg D — Eigenes Training
Selten nötig. Lohnt sich für sport- oder domänenspezifische Highlight-Detektoren (Ereignisklassifikatoren, trainiert mit beschriftetem Spielmaterial) oder ein markenspezifisches Ranking-Modell dafür, „was gut funktioniert“, auf Basis Ihrer eigenen Aufruf-/Verweildauerdaten (hunderte bis tausende Clips mit Engagement-Labels).
Stand der Technik (2026)
- Textbasierter Schnitt ist Mainstream und in Premiere, Descript, CapCut und Resolve eingebaut; die Entfernung von Füllwörtern und Stille sowie automatische Untertitel sind Standardfunktionen.
- Verständnis langer Videos: nativ multimodale Modelle (z. B. Gemini) und Videosuchmodelle (Twelve Labs) finden Momente per Anfrage in natürlicher Sprache über Stunden von Material; offene VLMs schließen die Lücke, tun sich aber mit sehr langen Kontexten schwer.
- Agentischer Schnitt: LLM-Agenten steuern Schnittprogramme über Werkzeuge (Timeline-APIs, FFmpeg, MCP-Server) und stellen aus einem Briefing erste Schnitte zusammen.
- Grenzen und Fehlerbilder: Viralitätswerte sind kaum validiert und herstellerspezifisch; Clips können mitten im Gedanken oder aus dem Kontext gerissen geschnitten werden; die Sprecherverfolgung versagt bei Durcheinanderreden, mehreren Gesichtern oder geteilten Bildschirmen; Untertitelfehler bei Namen, Fachjargon und Dialekten; der Neuzuschnitt schneidet Folien oder eingeblendeten Text ab; generative Erweiterung/B-Roll kann synthetisches Material einführen, das gekennzeichnet werden muss.
Gemeinsame Bausteine & Kombinationen
- Gleicher Stack (asr + diarization + llm-general): SPEECH-001 Meeting-Transkription, SPEECH-002 Anrufanalyse.
- Videoverständnis: VIS-025 Verschlagwortung und Highlight-Erkennung, KNOW-016 multimodale Archivsuche teilen sich den VLM-/Video-Embedding-Index.
- Generierung: GEN-002 (generiertes Marketingvideo), GEN-003 (Avatar-Moderatoren), GEN-015 (personalisiertes Video) nutzen dieselbe Render-Pipeline oder speisen sie.
- Datenschutz: VIS-030 Anonymisierung von Gesichtern/Kennzeichen vor der Veröffentlichung von Menschenmengen- oder Straßenaufnahmen.
- Produktion: GEN-021 für professionelle Film-/TV-Workflows.
Aufwand, Kosten & Kennzahlen
- Weg A: Stunden bis Tage; Abonnements pro Arbeitsplatz oder pro Minute.
- Weg B: 2–6 Wochen für eine Pipeline; Kosten entstehen durch Transkriptionsminuten, VLM-/LLM-Tokens auf Video und Rechenleistung für das Rendering.
- Weg C: 1–3 Monate inkl. Feinabstimmung; ein GPU-Server plus Betrieb.
- Kennzahlen: Cutter-Stunden pro fertiger Minute, Anteil der KI-Clips, die unverändert veröffentlicht werden, Akzeptanzquote der Clips, Wortfehlerrate der Untertitel, Zeit vom Ereignis bis zum veröffentlichten Clip, Sehdauer und Engagement im Vergleich zu manuellen Clips, Kosten pro veröffentlichtem Clip.
Menschen & Veränderung
Binden Sie die Leitung von Marketing oder Kommunikation als Prozessverantwortliche, die Cutter und Moderatoren, die die Clips nutzen werden, die IT für Konten und Speicher sowie die Geschäftsleitung für die Regel ein, welche Aufnahmen verarbeitet werden dürfen. Die bzw. der Datenschutzbeauftragte sollte Einwilligung, den AVV mit Cloud-Werkzeugen (Art. 28 DSGVO) und die Aufbewahrung prüfen, weil Gesichter und Stimmen personenbezogene Daten sind; eine DSFA ist meist nur bei Aufnahmen in großem Umfang oder mit sensiblem Inhalt nötig (GUIDE-005). Informieren Sie Sprecher und Teilnehmer vor der Aufnahme und vor der Veröffentlichung von Clips.
Betriebsrat: abhängig. Das Schneiden von Marketingvideos überwacht keine Beschäftigten, aber die Verarbeitung interner Meetings, Schulungen oder Mitarbeiteraufnahmen mit Sprechererkennung und Transkripten kann zur Verhaltensüberwachung geeignet sein im Sinne von §87 Abs. 1 Nr. 6 BetrVG (das BAG lässt die objektive Eignung genügen), und §90 Abs. 1 Nr. 3 verlangt eine frühe Information; schließen Sie interne Meetings per Richtlinie aus oder vereinbaren Sie Regeln in einer Betriebsvereinbarung (GUIDE-004). KI-Kompetenz: Unterstützen Sie Cutter und Moderatoren mit einer kurzen Schulung zur Prüfung von Transkripten, falsch zugeordneten Sprechern und aus dem Kontext gerissenen Highlight-Clips (Art. 4 KI-Verordnung, GUIDE-006). Typische Sorge: Cutter fürchten, ersetzt zu werden; stellen Sie KI als Werkzeug für Rohschnitte dar, während Menschen über Botschaft und Tonalität entscheiden. Beginnen Sie mit einem Pilot an einer Webinarreihe und behalten Sie die menschliche Freigabe vor der Veröffentlichung bei.
Risiken, Regulierung & Compliance
- KI-Verordnung (AI Act): typischerweise begrenztes Risiko. Art. 50 Abs. 4 verlangt von Betreibern die Offenlegung von Deepfakes (KI-generierte oder manipulierte Bild-/Audio-/Videoinhalte, die realen Personen ähneln); reines Schneiden, Untertiteln und Neuzuschneiden ist kein Deepfake, aber generatives Füllen, Stimmklonen, Synchronisation mit Lippensynchronisation oder das Umordnen von Wörtern zur Veränderung der Bedeutung können es sein. Anbieter müssen synthetische Ausgaben maschinenlesbar kennzeichnen (Art. 50 Abs. 2). Die Verbote nach Art. 5 greifen nicht, aber kombinieren Sie das System nicht mit Emotionserkennung bei Beschäftigten oder biometrischer Echtzeit-Identifizierung.
- DSGVO: Video und Stimme identifizierbarer Personen sind personenbezogene Daten; Transkripte ebenfalls. Erforderlich sind eine Rechtsgrundlage (Einwilligung oder Vertrag bei Sprechern, berechtigtes Interesse bei Veranstaltungen mit Hinweis), AVV mit Anbietern, Garantien für die Übermittlung bei US-Werkzeugen und Aufbewahrungsfristen. Stimme und Gesicht sind keine besonderen Kategorien biometrischer Daten, solange sie nicht zur Identifizierung genutzt werden; führen Sie keine Sprecher- oder Gesichtsidentifizierung ohne Rechtsgrundlage durch.
- Urheberrecht und Rechte: Für die Clips gelten Rechte an Musik, fremdem Videomaterial, Bildrechte und Senderechte im Sport; automatisch ausgewähltes Material muss freigegeben sein.
- Integrität: Automatische Clips können Sprecher falsch darstellen; behalten Sie eine menschliche Prüfung und einen Link zur vollständigen Quelle bei.
- Barrierefreiheit: Untertitel unterstützen den Europäischen Rechtsakt zur Barrierefreiheit und die Anforderungen an die Barrierefreiheit im öffentlichen Sektor.
- Gegenmaßnahmen: Hinweise zur Einwilligung, Aufbewahrung der Originalquelle, Freigabe-Workflow für Clips, KI-Kennzeichnung bei synthetischen Elementen, Prüfprotokoll.
Erste Schritte
- 3–5 repräsentative lange Aufnahmen auswählen und festlegen, was ein guter Clip ist (Länge, Plattform, Tonalität).
- Zwei Werkzeuge nach Weg A an diesen Dateien testen und mit einem Cutter Zeitersparnis, Genauigkeit der Untertitel und Clip-Qualität vergleichen.
- AVV, EU-Hosting und Bedingungen zum Training mit Ihren Daten prüfen, bevor etwas mit Kunden oder Beschäftigten hochgeladen wird.
- Einen Prüfschritt einrichten: Der Cutter gibt Clips, Namen und Zitate vor der Veröffentlichung frei.
- Wenn das Volumen es rechtfertigt, eine Pipeline nach Weg B/C prototypisch aufbauen (Whisper + LLM-Bewertung + FFmpeg) und per OTIO oder FCPXML in Ihren Editor exportieren.
Quellen
- Regulation (EU) 2024/1689 (AI Act), Art. 50 transparency obligations — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
- Directive (EU) 2019/882, European Accessibility Act — https://eur-lex.europa.eu/eli/dir/2019/882/oj
- OpenAI Whisper — https://github.com/openai/whisper
- WhisperX — https://github.com/m-bain/whisperX
- PySceneDetect — https://github.com/Breakthrough/PySceneDetect
- pyannote.audio — https://github.com/pyannote/pyannote-audio
- Google Gemini API video understanding — https://ai.google.dev/gemini-api/docs/video-understanding
- Twelve Labs documentation — https://docs.twelvelabs.io/
- OpenTimelineIO — https://github.com/AcademySoftwareFoundation/OpenTimelineIO
- Adobe Premiere text-based editing — https://helpx.adobe.com/premiere-pro/using/text-based-editing.html