Standorte zeichnen tausende Kamerastunden auf, die niemand ansieht; ein einzelnes Ereignis zu finden heißt, Aufnahmen durchzuspulen, und jeder neue Erkennungsbedarf (ein versperrter Ausgang, ein fehlendes Geländer) bedeutet klassisch, Daten zu beschriften und einen Detektor zu trainieren. Videoagenten kombinieren ein Bild-Sprach-Modell (VLM), ein LLM und einen Suchindex: Nutzende tippen, wonach sie suchen, definieren Warnungen als Sätze und erhalten Zusammenfassungen mit Clip-Belegen. Der Gewinn sind Geschwindigkeit der Untersuchung und Flexibilität; der Preis sind GPU-Kosten, Fehlalarme und ein hoher Aufwand bei Datenschutz und Betriebsrat.
Problem & Nutzen
- Heute: Videoüberwachung und Betriebskameras werden reaktiv genutzt. Nach einem Vorfall spulen Mitarbeitende Aufnahmen von Hand durch. Regelbasierte Videoanalytik (VIS-010, VIS-007) erkennt nur die Klassen, auf die sie trainiert wurde; jede neue Regel ist ein Projekt mit beschrifteten Daten.
- KI-Nutzen: (1) archivierte und Live-Videos mit Freitext durchsuchen; (2) Warnungen mit offenem Vokabular, in Minuten von einer Sicherheits- oder Betriebsleitung definiert; (3) automatische Zusammenfassungen von Schichten, Vorfällen oder SOP-Schritten; (4) Fragenbeantwortung („wie oft war Bucht 3 letzte Woche blockiert?“).
Varianten
- Forensische Suche: Abruf in natürlicher Sprache über aufgezeichnete Videos nach einem Vorfall.
- Live-Warnungen mit offenem Vokabular: textdefinierte Regeln, ausgewertet auf abgetasteten Frames oder Clips.
- Schicht-/Vorfallberichte: regelmäßige erzählende Zusammenfassungen je Kameragruppe oder Zone.
- SOP-Konformitätsprüfung: beobachtete Schritte mit einer schriftlichen Arbeitsanweisung vergleichen (siehe KNOW-027, VIS-034).
So funktioniert es
- Kameras (RTSP/ONVIF) / VMS-Export
- Einlesen & Chunking (Clips von wenigen Sekunden bis Minuten, Frame-Sampling, optional Bewegungs-Gating)
- schneller Detektor/Tracker (YOLO-Klasse) für günstige Vorfilterung und Objektspuren
- VLM-Beschriftung & Ereignisbeschreibung je Chunk (+ Zeitstempel, Kamera, Zone)
- Indexierung: Embeddings des Beschriftungstexts + visuelle/multimodale Embeddings in einer Vektor-DB, Metadaten in SQL/Suche
- Anfrage-/Alarmschicht: LLM-Agent übersetzt Frage oder Alarmregel
- Retrieval
- VLM-Nachprüfung auf Kandidaten-Clips
- Verifikationsschritt (zweiter VLM-Durchlauf oder Regel auf Spuren)
- Alarm / Zusammenfassung mit Clip-Quellenangaben
- menschliche Prüfung
- Ticket, Chat, MES-/SCADA-Ereignis, Bericht
- Zweistufiger Aufbau ist der Schlüssel zu den Kosten: Ein günstiger, ständig laufender Filter (Bewegung, Detektor, Tracker) gibt dem teuren VLM nur Kandidatenabschnitte. Ein großes VLM auf jeden Frame von hunderten Kameras anzuwenden, ist nicht wirtschaftlich.
- Video-RAG: Beschreibungen und Embeddings von Abschnitten lassen ein LLM Fragen beantworten und Clips zitieren; die Zusammenfassung langer Videos arbeitet hierarchisch (Clip → Stunde → Schicht).
- Mensch-in-der-Schleife (Human-in-the-Loop): Warnungen oberhalb einer definierten Schwere gehen an eine Bedienperson, die sie bestätigt oder verwirft; Verwerfungen werden als Evaluationsdaten protokolliert. Jede Folge für eine Person (Disziplinarmaßnahme, Zugangsentscheidung) muss von einem Menschen entschieden werden, der die Aufnahmen prüft, nie vom generierten Text.
Datenaufbereitung
Die Daten sind Live-Kamerastreams und archivierte Aufzeichnungen aus VMS/NVR-Systemen sowie Kontextdokumente wie SOPs, Zonennamen und Schichtpläne. In einem KMU liegen die Aufnahmen auf NVR-Festplatten mit kurzer Aufbewahrung, oft von gemischten Kameramarken und ohne einheitliche Zeitstempel oder Zonenbezeichnungen.
Typische Lücken: Kameras nicht in einem gemeinsamen VMS, schlechte Bildqualität und Positionierung, keine Benennung von Zonen und Kameras, unklare Aufbewahrung und Zugriffsrechte, die vielen Personen erlauben, alles zu sehen. Vorbereitungsschritte: Kameras per RTSP/ONVIF an ein VMS anbinden, Uhren synchronisieren, Kameras und Zonen benennen, die Warnregeln in Alltagssprache mit Beispielen schreiben und SOPs in kurze durchsuchbare Texte überführen. Erstellen Sie einen Testdatensatz bekannter Ereignisse (z. B. ein Gabelstapler im Gehweg), um Trefferquote und Fehlalarme vor dem Start zu messen. Maskieren oder schließen Sie Bereiche mit hoher Datenschutzempfindlichkeit wie Umkleiden aus.
Aufwandsanteil: etwa 25-35 Prozent, hauptsächlich Einrichtung von Kameras und Zonen sowie Evaluation. Grundlagen dazu: PREP-005 (Daten aus Systemen herausholen), PREP-010 (Metadaten und Verschlagwortung), PREP-018 (Evaluationsdatensätze) und PREP-024 (Klassifizierungsregeln).
Umsetzungswege
Welcher Weg für wen
- enterprise: C - Standorte erzeugen große Videomengen, das Material ist sensibel, und eine gemeinsame interne GPU-Plattform verteilt die Kosten auf Standorte und Anwendungsfälle.
- developer: B - Cloud-Video-Sprach-APIs erlauben schnelle Prototypen und Produktintegration, bevor Sie sich auf GPU-Hardware festlegen.
- public: C - Videos von öffentlichen Räumen und Einrichtungen sollten auf souveräner oder selbst betriebener Infrastruktur bleiben, auch wegen der Vergaberegeln.
- smb: A - Such- und Zusammenfassungs-Erweiterungen etablierter VMS-Anbieter passen zur üblichen Kameraausstattung, und Selbstbetrieb erfordert HW4-Hardware, die sich für wenige Kameras selten lohnt.
Weg A — Kaufen (Standardsoftware)
- Video-KI-Plattformen: Partner und Integratoren des NVIDIA-Metropolis-VSS-Ökosystems [1]; Twelve Labs (API und Plattform für Videosuche/-verständnis) [2]; Verkada, Genetec, Milestone Systems (EU, Dänemark), Axis Communications (EU, Schweden) und Hanwha Vision, die ihren VMS- und Kameralinien Suche in natürlicher Sprache oder LLM-gestützte Untersuchung hinzufügen; Spot AI und Coram AI für per Prompt definierte Warnungen; Video-Lake-Angebote vom Typ Cloudian/Hitachi für Archive. Prüfen Sie Funktionsumfang und Datenstandort in der EU je Produkt — der Funktionsumfang ändert sich schnell.
- Prüfen: Verarbeitung On-Premises oder in der EU, Kontrollen für Aufbewahrung und Löschung, Export von Prüfprotokollen, Unterlagen zur Unterstützung der DSFA, betriebsratsfreundliche Rollen- und Zonenbeschränkungen.
Weg B — Auf Cloud-KI-Diensten aufbauen
- Videofähige Modelle: Google Gemini (native Videoeingabe, EU-Regionen über Vertex AI) [3], Twelve Labs Marengo/Pegasus [2], multimodale Spitzenmodelle über Frame-Abtastung (Claude, GPT), Mistral (EU-Anbieter; Bildmodelle auf Frame-Mengen). Bevorzugen Sie EU-Regionen und Zero-Retention-Bedingungen.
- Orchestrierung: ereignisgesteuerte Pipeline (Zerlegen mit ffmpeg oder GStreamer, Warteschlange, Worker) mit einer Vektor- DB (pgvector, Qdrant — in der EU entwickelt, OpenSearch); Agentenschicht mit MCP-Werkzeugen für Tickets und CMMS.
- Wählen Sie B, wenn: Aufnahmen den Standort verlassen dürfen (geringe Sensibilität, keine Personen erkennbar) und Sie schnell eigene Logik brauchen.
Weg C — Selbst betreiben (Open Source)
- Modelle: videofähige VLMs mit offenen Gewichten wie Qwen3-VL / Qwen2.5-VL [4], InternVL, LLaVA-Video, Modelle der Klasse SmolVLM / Cosmos-Reason von NVIDIA [1]; Whisper für Audio, wo rechtlich zulässig.
- Stack: NVIDIA-VSS-Blueprint (DeepStream, NIM-Microservices, Milvus/Elasticsearch, Neo4j) [1] oder ein eigener Stack mit vLLM-Serving, Frigate oder go2rtc für die Stream-Verarbeitung, Qdrant/pgvector.
- Hardware: HW3 für eine Handvoll Kameras mit gesteuerten VLM-Aufrufen; HW4 (Mehr-GPU-Knoten) für Dutzende bis hunderte Streams oder größere VLMs; Edge-Boxen (HW1, Jetson-Klasse) nur für die Vorfilterstufe.
- Wählen Sie C, wenn: Aufnahmen Beschäftigte oder die Öffentlichkeit zeigen und On-Premises bleiben müssen.
Weg D — Eigenes Training
Am Anfang meist unnötig, und das ist der Sinn des Musters. Feintunen Sie ein kleines VLM oder trainieren Sie einen eigenen Detektor (Stil von VIS-001, VIS-010), sobald ein Warntyp geschäftskritisch ist, ein hohes Volumen hat und das VLM zu langsam, zu teuer oder zu ungenau ist. Verworfene und bestätigte Warnungen bilden den Trainingsdatensatz (hunderte bis tausende Clips).
Stand der Technik (2026)
- Video-native VLMs nehmen lange Clips mit Zeitstempeln entgegen und leisten zeitliche Verankerung („wann ist die Palette gefallen?“); Benchmarks wie Video-MME, MLVU und LongVideoBench verfolgen den Fortschritt, und Modelle mit offenen Gewichten kommen bei vielen davon an proprietäre heran [4].
- Verifikationsmuster: Ein günstiger Detektor schlägt vor, das VLM bestätigt, was das Warnrauschen senkt.
- Grenzen und Fehlerbilder: erfundene Ereignisse oder Akteure; schwaches Zählen und feine räumliche Beziehungen („hinter der Linie“ gegenüber „vor ihr“); Empfindlichkeit gegenüber Kamerawinkel, wenig Licht, Verdeckung; die Formulierung des Prompts verändert das Warnverhalten; eine Latenz von Sekunden bis zu zig Sekunden schließt harte Echtzeit-Sicherheitsfunktionen aus; die Abtastrate kann kurze Ereignisse verpassen. Nie für sicherheitskritische Verriegelungen einsetzen — dafür zertifizierte Sensoren und SPS-Sicherheitsfunktionen nutzen.
Gemeinsame Bausteine & Kombinationen
- Teilt vlm, Erkennung, Tracking und Streaming mit VIS-010, VIS-007, VIS-008, VIS-012, VIS-048; Verfahren über KNOW-027, VIS-034; Datenschutzschicht VIS-030.
- Archivsuche: KNOW-016 (multimodale Archive), VIS-025 (Video-Verschlagwortung und Highlights).
- Nicht verwechseln mit: VIS-016 (Gesichtserkennung), einem eigenständigen, deutlich stärker eingeschränkten Einsatz.
Aufwand, Kosten & Kennzahlen
- Weg A: Wochen für einen Pilot an wenigen Kameras; Lizenzen pro Kamera oder pro Stunde analysierten Videos.
- Weg B: 2–4 Monate für eine produktive Pipeline; die Kosten werden von VLM-Aufrufen pro analysierter Minute bestimmt.
- Weg C: 3–6 Monate einschließlich GPU-Infrastruktur und MLOps; Hardware plus Betrieb.
- Kennzahlen: Precision und Recall der Warnungen auf einem beschrifteten Testdatensatz Ihres eigenen Materials, Fehlalarme je Kamera und Tag, Zeit bis zum Finden eines Ereignisses im Vergleich zum manuellen Durchspulen, Anteil der von Bedienpersonen bestätigten Warnungen, Genauigkeit der Zusammenfassungen (stichprobenartig geprüft), Latenz von Ende zu Ende, GPU-Kosten je Kamera und Tag.
Menschen & Veränderung
Beziehen Sie die Geschäftsleitung für die Zweckbindung ein, die Fachbereichsleitung (Sicherheit, Logistik, Produktion) als Verantwortliche für die Warnregeln, die Endanwender, die Warnungen erhalten, IT und Informationssicherheit für Streams, GPU-Hosts und Zugriffsrechte sowie die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten von Tag eins. Eine DSFA (Art. 35 DSGVO) ist wahrscheinlich: systematische Videoverarbeitung in großem Umfang. Schließen Sie mit jedem Cloud- oder VMS-Anbieter einen AVV (Art. 28 DSGVO).
Betriebsrat: in der Praxis ja. Videoanalytik ist objektiv geeignet, Verhalten und Leistung zu überwachen; daher gilt die Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG, und der Betriebsrat muss über KI-geplante Arbeitsabläufe rechtzeitig informiert werden (§ 90 Abs. 1 Nr. 3 BetrVG). Ziehen Sie einen Sachverständigen nach § 80 Abs. 3 BetrVG in Betracht und schließen Sie eine Betriebsvereinbarung, die eine Leistungsbewertung einzelner Personen ausschließt. Öffentliche Stellen beteiligen den Personalrat.
KI-Kompetenz: Unterstützen Sie die Beschäftigten mit einer Schulung dazu, wie Warnungen entstehen und was sie nicht beweisen können (Art. 4 KI-Verordnung). Kommunizieren Sie Zweck, Bereiche und Aufbewahrung offen. Pilotieren Sie an einem Standort oder bei einer Gefahr, etwa der Gabelstaplersicherheit. Behalten Sie den Menschen in der Kontrolle: Warnungen sind Vorschläge, die eine Person prüft; keine automatischen Sanktionen oder Entscheidungen über einzelne Personen.
Leitfäden: GUIDE-004, GUIDE-005, GUIDE-008.
Risiken, Regulierung & Compliance
- DSGVO: Videos identifizierbarer Personen sind personenbezogene Daten. Es braucht eine Rechtsgrundlage (typischerweise berechtigtes Interesse, Art. 6 Abs. 1 Buchst. f, nach Interessenabwägung), Zweckbindung, Datenminimierung, kurze Aufbewahrung, Beschilderung, Zugriffskontrolle und eine DSFA (Art. 35, systematische Überwachung öffentlich zugänglicher Bereiche). Die EDPB-Leitlinien 3/2019 zu Videogeräten gelten [5]. Die Freitextsuche erhöht das Risiko einer Zweckausweitung (Suche nach einer benannten oder beschriebenen Person); beschränken Sie die Rollen für Anfragen und protokollieren Sie alle Anfragen.
- Beschäftigtenüberwachung: In Deutschland begrenzen die Mitbestimmung des Betriebsrats (§ 87 Abs. 1 Nr. 6 BetrVG) und § 26 BDSG die Überwachung von Leistung und Verhalten; die verdeckte oder pauschale Auswertung von Beschäftigten ist in der Regel unzulässig.
- KI-Verordnung (AI Act) [6]: Die Einstufung hängt von der Nutzung ab. Reine Betriebs- und Sicherheitsanalytik: in der Regel minimales oder begrenztes Risiko. Verbote nach Art. 5: Emotionsableitung am Arbeitsplatz und in der Bildung, biometrische Kategorisierung nach sensiblen Merkmalen und ungezieltes Auslesen von Gesichtsbildern sind verboten; biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum für die Strafverfolgung ist außer in engen Fällen verboten. Lassen Sie eine Textregel wie „wütende Person“ oder „verdächtiges Verhalten“ das System nicht zur Emotionserkennung oder zum Profiling machen. Die Suche nach einer Person über Gesicht oder biometrische Merkmale ist biometrische Identifizierung (Hochrisiko nach Anhang III oder verboten) — halten Sie das außerhalb des Umfangs oder bewerten Sie es gesondert (VIS-016). Der Einsatz in Sicherheitsbauteilen kritischer Infrastruktur, im Personalmanagement oder in der Strafverfolgung kann Hochrisiko sein. Art. 4 (KI-Kompetenz) gilt; die Transparenz nach Art. 50 gilt für Chat-Oberflächen.
Erste Schritte
- Eine enge, nicht personenbezogene Frage (z. B. versperrter Notausgang, Palette im Gang) und 3–5 Kameras wählen.
- Zuerst Datenschutzbeauftragte(n) und Betriebsrat einbinden; DSFA und Beschilderung abschließen.
- Zwei Wochen Aufnahmen sammeln; 100–200 positive und negative Ereignisse als Testdatensatz beschriften.
- Mit einem gehosteten videofähigen Modell prototypisieren, dann auf demselben Datensatz mit einem Modell mit offenen Gewichten vergleichen.
- Den günstigen Vorfilter ergänzen, Fehlalarme und Kosten je Kamera und Tag messen, dann über Kaufen, Bauen oder Selbstbetrieb entscheiden.
Quellen
- NVIDIA — Metropolis Video Search and Summarization (VSS) blueprint — https://docs.nvidia.com/vss/latest/index.html
- Twelve Labs — API documentation (Marengo, Pegasus) — https://docs.twelvelabs.io/
- Google Cloud — Gemini video understanding (Vertex AI) — https://cloud.google.com/vertex-ai/generative-ai/docs/multimodal/video-understanding
- Qwen team — Qwen3-VL repository — https://github.com/QwenLM/Qwen3-VL
- EDPB — Guidelines 3/2019 on processing of personal data through video devices — https://www.edpb.europa.eu/our-work-tools/our-documents/guidelines/guidelines-32019-processing-personal-data-through-video_en
- Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
- Video-MME benchmark — https://video-mme.github.io/