Videoverständnis, Tagging & Highlight-Erkennung

Video ist in den meisten Organisationen das am schlechtesten durchsuchbare Gut: Archive werden von Hand verschlagwortet, wenn überhaupt, und Redakteure suchen in Stunden von Material nach einem Tor, einem Zitat oder einer Produktaufnahme. Multimodale Modelle lesen heute Bilder, Sprache und eingeblendeten Text gemeinsam, erzeugen zeitcodierte Beschreibungen und Tags, bauen einen semantischen Index auf und schlagen Highlight-Clips vor. Der Mensch bleibt bei redaktionellen Entscheidungen und Rechtefragen in der Schleife.

Problem & Nutzen

• Heute: Sender, Verlage, Sportvereine, Unternehmenskommunikation und E-Learning-Teams besitzen Tausende Stunden Videomaterial mit spärlichen Metadaten. Erfassung, Schnitt von Clips für soziale Medien und Compliance-Prüfungen erfolgen manuell und langsam; das meiste Material wird nie wiederverwendet, weil es nicht gefunden werden kann.
• KI-Nutzen: durchsuchbare Archive (Suche nach „Geschäftsführer auf der Bühne mit rotem Banner“), automatische Kapitelbildung und Zusammenfassungen, schnellere Kurzfassungen für soziale Medien und Kurzformate, einheitliche Metadaten für Empfehlungen und Werbeplatzierung sowie Eingaben für Barrierefreiheit wie Szenenbeschreibungen.
• Nutzenzahlen: Anbieter berichten von großen Zeitersparnissen bei Erfassung und Clip-Erstellung, doch unabhängige, vergleichbare Studien sind selten; messen Sie die Ausgangslage im eigenen Ablauf, bevor Sie Zahlen versprechen.

Varianten

• Medienarchiv und MAM-Anreicherung: Verschlagwortung von Altbeständen und täglichem Zugang (öffentlich-rechtliche Sender, Verlage).
• Sport- und Event-Highlights: ereignisgesteuerte Clip-Erzeugung aus Live-Feeds, siehe VIS-015, VIS-055.
• Unternehmensvideo, Schulung und Webinare: Kapitel, Zusammenfassungen, durchsuchbare Betriebsversammlungen, siehe SPEECH-001.
• Marketing und soziale Medien: Hochformat-Umformatierung und Kurzfassungen aus langen Aufnahmen.
• Werbung und Markensicherheit: kontextbezogenes Tagging für die Werbeplatzierung, Markenerkennung, siehe VIS-035.
• Privatnutzung: Suche in Familienvideos und automatisch erzeugte Erinnerungsfilme in Foto-Apps.

So funktioniert es

1. ingest (file / live stream)
2. shot and scene boundary detection, frame sampling (1-2 fps + keyframes)
3. parallel analysis: VLM captions & Q&A | ASR + diarisation | OCR on screen text | object/person/logo detection + tracking | audio events (applause, whistle, crowd)
4. fusion: time-coded segments with description, tags, entities, saliency/excitement score
5. embeddings (video-text)
6. vector index + keyword index
7. highlight ranking (rules + model score + data feeds)
8. candidate clips
9. editor review (accept / trim / reject)
10. export to MAM, CMS, social tools

• Video-Sprachmodelle erhalten ausgewählte Einzelbilder oder kurze Clips plus Audio-Transkripte und beantworten Fragen oder liefern strukturiertes JSON (Segmente, Tags, Zusammenfassungen). Lange Videos werden durch Zerlegen in Abschnitte und hierarchische Zusammenfassungen bewältigt.
• Multimodale Embeddings bringen Clips und Textanfragen in einen gemeinsamen Vektorraum für die semantische Suche.
• Highlight-Erkennung kombiniert Signale: Audio-Pegel, Publikumslärm, OCR der Anzeigetafel, Ereignis-Feeds, Bewegungs- und Wiederholungsmuster sowie die vom Modell beurteilte „Interessantheit“. Bei erzählenden Inhalten bewertet ein LLM Segmente anhand eines redaktionellen Briefings.
• Mensch-in-der-Schleife (Human-in-the-Loop): Redakteure geben Clips vor der Veröffentlichung frei; Tags mit geringer Sicherheit gehen in eine Prüfwarteschlange; Rechte- und Persönlichkeitsprüfungen bleiben manuell.

Datenaufbereitung

Videoarchive liegen selten als saubere Daten vor. Das Material liegt typischerweise auf Dateiservern, NAS-Systemen, MAM/DAM-Werkzeugen oder externen Festplatten, oft in gemischten Formaten (MP4, MXF, Digitalisierungen alter Bänder), mit dünnen oder uneinheitlichen Metadaten und Untertiteln nur für einen Teil des Materials. Typische Lücken sind fehlende oder falsche Titel, doppelte Kopien in mehreren Auflösungen, unbekannter Rechte- und Einwilligungsstatus, kein gemeinsames Tag-Vokabular und unklare Zugriffsrechte für unveröffentlichtes Material.

Schritte der Aufbereitung: Bestandsaufnahme der Speicherorte und Formate (PREP-001), Umwandlung in ein einheitliches Proxy-Format (zum Beispiel mit ffmpeg), damit die Modelle kleine, einheitliche Dateien sehen, und Entfernen von Duplikaten per Prüfsumme. Vor dem ersten Lauf ein Tag-Vokabular vereinbaren (PREP-019) und vorhandene Metadatenfelder aus dem MAM zuordnen (PREP-010). 50 bis 100 manuell verschlagwortete Clips als Testsatz sammeln (PREP-018). Rechte und Personenbezug von Gesichtern und Stimmen prüfen (PREP-025). Altes Band- oder Filmmaterial muss zuerst digitalisiert werden (PREP-006 behandelt das Pendant für Papier). Sprachspuren profitieren von vorhandenen Transkripten (DOC-014 für die dokumentenartige Verarbeitung).

Grober Aufwandsanteil: 25 bis 35 Prozent des Projekts, überwiegend Bestandsaufnahme, Proxy-Erstellung und Vokabulararbeit. Modelle und Indexierung sind der kleinere Teil.

Umsetzungswege

Welcher Weg für wen

• smb (B): Kleine Medienteams und Marketingabteilungen erhalten Tagging schnell über Cloud-Video-APIs, die in ihr vorhandenes DAM oder CMS eingebunden werden; kein einzelnes Produkt passt zu ihren Metadatenfeldern.
• enterprise (C): Große Archive bedeuten hohe API-Kosten pro Minute und rechtlich sensibles Material, daher lohnt sich eine gemeinsame interne Video-KI-Plattform auf eigenen GPUs (HW3).
• developer (B): Multimodale Cloud-APIs mit EU-Regionen bieten den schnellsten Weg zu einer funktionierenden Pipeline; das Selbstbetreiben kann folgen, sobald die Mengen es rechtfertigen.
• public (C): Öffentlich-rechtliche Sender und Archive brauchen Souveränität und vergabefeste Hosting-Lösungen, daher passen offene Modelle (Open-Weight) in deutschen oder EU-Clouds oder auf eigener Hardware am besten.

Weg A — Kaufen (Standardsoftware)

• Video-KI-Plattformen: Twelve Labs (API und Modelle für Videosuche und Videoverständnis), Google Cloud Video Intelligence, Azure AI Video Indexer, Amazon Rekognition Video / Nova video understanding, Veritone, Clarifai.
• Medienbranche (EU/Europa): Moments Lab (Frankreich, Archivindexierung und generative Metadaten), Limecraft und Mediagenix (Belgien), Dalet (Frankreich, MAM mit KI-Tagging), Sony Ci. EU-Hosting und Unterauftragsverarbeiter jeweils prüfen.
• Sport: Pixellot und Veo (Dänemark) mit automatischen Highlights für Vereine, WSC Sports für Sender.
• A wählen, wenn: Sie Ergebnisse in Wochen brauchen, ein MAM-Konnektor vorhanden ist und das Volumen moderat ist.

Weg B — Auf Cloud-KI-Diensten aufbauen (für die meisten KMU empfohlen)

• Modelle: Gemini (native Videoeingabe mit Zeitstempeln, Vertex-AI-EU-Regionen), Amazon Nova und Bedrock in EU-Regionen, Azure-OpenAI-/Foundry-Bildmodelle mit Einzelbild-Abtastung, Twelve Labs Marengo (Embeddings) und Pegasus (Textgenerierung), Mistral für textseitige Zusammenfassung und Tagging (EU-Anbieter).
• Sprache: ASR der Whisper-Klasse über in der EU gehostete APIs oder selbst betrieben; Sprechertrennung mit pyannote.
• Orchestrierung: FFmpeg und PySceneDetect zum Schneiden, eine Warteschlange (Temporal, n8n, Airflow), Vektordatenbank (pgvector, Qdrant, OpenSearch) und Rückschreiben ins MAM per API.
• B wählen, wenn: eine eigene Taxonomie, eine eigene Oberfläche oder enge Integration nötig ist, ohne Vorgaben für den Betrieb im eigenen Haus.

Weg C — Selbst betreiben (Open Source)

• Modelle: Qwen-VL-Familie (Qwen2.5-VL / Qwen3-VL, mit Video und zeitlicher Verankerung), InternVL, LLaVA-Video, SigLIP-basierte und offene Video-Text-Embeddings (z. B. InternVideo2, X-CLIP), Whisper / faster-whisper, YOLO oder RT-DETR mit ByteTrack für Objekte und Personen, TransNet V2 für Einstellungsgrenzen.
• Betrieb: vLLM oder SGLang für VLMs, NVIDIA-DeepStream-/Metropolis-Blueprints für Stream-Pipelines, Qdrant oder Milvus für Vektoren, FFmpeg zum Dekodieren (NVDEC).
• Hardware: HW3 (GPU der 48-GB-Klasse) für ein VLM der 30B-Klasse über ein wachsendes Archiv; HW2 genügt mit Modellen von 7-8B und sehr sparsamer Einzelbild-Abtastung. Archiv-Altbestände sind Stapelaufträge; Live-Highlights brauchen GPU-Kapazität mit geringer Latenz.

Weg D — Eigenes Training

Lohnt sich für sportartspezifische Ereignisse (z. B. das Erkennen eines bestimmten Spielzugs), ungewöhnliche Bereiche (Industrieaufnahmen, Hörsäle) oder eine hausinterne Taxonomie. Es braucht einige hundert bis mehrere tausend gelabelte Clips pro Klasse; die Annahme- und Ablehnungsentscheidungen der Redakteure zu vorgeschlagenen Highlights sind das natürliche Trainingssignal. Ein kleines VLM oder einen Videoklassifikator auf Basis eingefrorener Embeddings feintunen.

Stand der Technik (2026)

• Führende multimodale Modelle verarbeiten Stunden von Video nativ und antworten mit Zeitstempeln; offene Modelle (Klasse Qwen3-VL) unterstützen lange Videos und zeitliche Verankerung und verringern den Abstand zu proprietären APIs.
• Video-Text-Embeddings ermöglichen die „Suche per Beschreibung“ über Archive hinweg ohne handgepflegte Tags.
• Grenzen und Fehlerbilder: Die feine zeitliche Lokalisierung (das exakte Einzelbild eines Ereignisses) ist schwächer als die grobe Szenenbeschreibung; Modelle übersehen kurze Ereignisse zwischen abgetasteten Einzelbildern; Zählen und schnelle Aktionen sind fehleranfällig; erfundene Details in Zusammenfassungen; Verzerrung der „Interessantheit“ zugunsten typischer, visuell bewegter Momente; die Kosten steigen mit Videolänge und Bildrate; Sprache in Dialekten und lauter Umgebung verschlechtert die Tag-Qualität. Prüfen Sie am eigenen Material, mit Redakteuren als Beurteilern.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack (vlm + object-detection + tracking): VIS-015 Sport-Tracking, VIS-031 Video-Agenten für Kamera-Feeds, VIS-055 automatisierte KI-Kameraproduktion; gemeinsam nutzbar ist ein GPU-Cluster für Videoinferenz (HW3).
• Audio-/Textseite: SPEECH-001 und SPEECH-004 (ASR, Untertitel), SPEECH-014 (Audiodeskription), SPEECH-007 (Synchronisation und Lokalisierung) nutzen Transkripte und Segmente wieder.
• Suche und Governance: KNOW-016 multimodale Archivsuche, VIS-022 visuelle Suche, VIS-030 Anonymisierung vor der Weitergabe, VIS-027 Moderation vor der Veröffentlichung, VIS-035 Logo-Erkennung.

Aufwand, Kosten & Kennzahlen

• Weg A: Tage bis Wochen; die Preise richten sich meist nach indexierten Videostunden oder API-Minuten.
• Weg B: 1-3 Monate inkl. MAM-Integration und Prüfoberfläche; die Kosten steigen mit den verarbeiteten Minuten und der Bildrate, daher einmal indexieren und Embeddings zwischenspeichern.
• Weg C: 2-4 Monate plus GPU-Betrieb.
• Kennzahlen: Tag-Präzision/Trefferquote gegenüber von Redakteuren gelabelten Stichproben, Erfolgsquote der Suche, Anteil der vorgeschlagenen Highlights, die Redakteure übernehmen, Zeit vom Ereignis bis zum veröffentlichten Clip, wiederverwendete Archivminuten, Kosten pro verarbeiteter Stunde.

Menschen & Veränderung

Beginnen Sie mit der Geschäftsleitung und der Abteilungsleitung (Redaktion, Marketing), um den Umfang und die Regel festzulegen, dass die KI Tags und Clips vorschlägt, während Redakteure entscheiden. Beziehen Sie die Datenverantwortlichen des Archivs und die IT früh ein, für Speicherzugriff, Proxy-Erzeugung und GPU- oder API-Budget. Recht und Compliance müssen Bild- und Persönlichkeitsrechte sowie Musik- und Lizenzbedingungen prüfen. Die Datenschutzbeauftragte bzw. der Datenschutzbeauftragte wird benötigt, weil Gesichter und Stimmen personenbezogene Daten sind; eine Datenschutz-Folgenabschätzung (DSFA) ist wahrscheinlich, wenn Personen identifiziert oder in großem Umfang indexiert werden, und jeder Cloud-Anbieter braucht einen AVV (Art. 28 DSGVO).

Betriebsrat: kommt darauf an. Die reine Verschlagwortung von veröffentlichten Inhalten im Archiv ist in der Regel keine Mitarbeiterüberwachung, doch Material mit Beschäftigten (Veranstaltungen, interne Videos, Werksrundgänge) oder die Protokollierung der Werkzeugnutzung durch Redakteure kann die Mitbestimmung nach §87 Abs. 1 Nr. 6 BetrVG auslösen; §90 Abs. 1 Nr. 3 verlangt eine rechtzeitige Unterrichtung, wenn sich Arbeitsverfahren durch KI ändern. Wo es einen Betriebsrat gibt, informieren Sie ihn vor dem Pilotbetrieb.

KI-Kompetenz: Nach Art. 4 der KI-Verordnung (AI Act) muss das Unternehmen Maßnahmen ergreifen, um die KI-Kompetenz der Beschäftigten zu fördern, zum Beispiel eine kurze Schulung zu Modellfehlern, erfundenen Beschreibungen und Rechteprüfungen. Starten Sie einen Pilotbetrieb mit zwei oder drei Redakteuren an einem Archivabschnitt, sammeln Sie deren Korrekturen und zeigen Sie, dass das System Suchzeit spart, statt das redaktionelle Urteil zu ersetzen. Typische Sorgen (Arbeitsplatzverlust, falsche Tags, Rechterisiko) werden dadurch ausgeräumt, dass jedes Highlight und jedes veröffentlichte Tag einen menschlichen Freigabeschritt behält. Siehe GUIDE-008, GUIDE-005 und GUIDE-009.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): in der Regel begrenztes/minimales Risiko. Transparenzpflichten (Art. 50) gelten, wenn Clips synthetisch erzeugt oder manipuliert werden (Kennzeichnung von Deepfakes); KI-Kompetenz (Art. 4) für Beschäftigte. Halten Sie das System fern von nach Art. 5 verbotenen Anwendungen: Emotionserkennung bei Beschäftigten oder Studierenden anhand von Video und das ungezielte Auslesen von Gesichtsbildern. Die Gesichtsidentifizierung von Personen ist ein eigener, streng regulierter biometrischer Anwendungsfall (siehe VIS-016) und sollte nicht standardmäßig aktiviert werden.
• DSGVO: Aufnahmen identifizierbarer Personen sind personenbezogene Daten; Gesichter, Stimmen und Tags wie abgeleitete sensible Merkmale (Gesundheit, Religion) werfen Fragen nach Art. 9 auf. Legen Sie Zwecke und Aufbewahrung fest, leiten Sie keine sensiblen Merkmale ab, nutzen Sie EU-Hosting und einen Auftragsverarbeitungsvertrag; verpixeln Sie, wo es nicht nötig ist (VIS-030).
• Urheberrecht und Rechte: Lizenz-, Persönlichkeits- und Musikrechte des Archivs müssen nachgehalten werden; KI-Tags klären keine Rechte. Prüfen Sie die Anbieterbedingungen zum Training mit Ihren Inhalten.
• Qualitätsrisiken: falsch beschriebene Szenen in Nachrichten- oder Archivkontexten; Gegenmaßnahmen sind Konfidenzwerte, Freigabe durch Redakteure und ein Prüfprotokoll der KI-erzeugten Metadaten.

Erste Schritte

1. Wählen Sie einen Ablauf (z. B. Archivsuche oder wöchentlicher Highlight-Zusammenschnitt) und messen Sie die manuelle Ausgangslage.
2. Sammeln Sie 50-100 repräsentative Clips mit von Redakteuren erstellten Tags oder gewünschten Highlights als Testsatz.
3. Lassen Sie 2-3 Optionen (ein Produkt von Weg A, eine Gemini-/Twelve-Labs-API, ein offenes VLM) auf dem Satz laufen und vergleichen Sie.
4. Ergänzen Sie eine Prüfwarteschlange im Werkzeug der Redakteure; protokollieren Sie Annahme- und Ablehnungsentscheidungen.
5. Skalieren Sie im Stapelbetrieb auf das gesamte Archiv und überwachen Sie monatlich Kosten pro Stunde und Tag-Genauigkeit.

Quellen

1. Twelve Labs documentation (Marengo and Pegasus models) — https://docs.twelvelabs.io
2. Google Cloud — Gemini video understanding — https://ai.google.dev/gemini-api/docs/video-understanding
3. Microsoft — Azure AI Video Indexer — https://learn.microsoft.com/azure/azure-video-indexer/
4. Amazon Rekognition Video — https://docs.aws.amazon.com/rekognition/latest/dg/video.html
5. Qwen3-VL project — https://github.com/QwenLM/Qwen3-VL
6. PySceneDetect — https://github.com/Breakthrough/PySceneDetect
7. NVIDIA Metropolis / DeepStream — https://developer.nvidia.com/deepstream-sdk
8. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
9. Regulation (EU) 2016/679 (GDPR) — https://eur-lex.europa.eu/eli/reg/2016/679/oj