Visuelle Live-Assistenz per Kamera und Fernanleitung (Smartphone, Datenbrille)

Ein Breitbandkunde weiß nicht, welches Kabel wohin gehört; ein Techniker steht vor einer Maschine, die er noch nie gewartet hat. Statt eines Telefonats, in dem das Problem mit Worten beschrieben wird, richtet die Person die Kamera darauf. Ein Vision-Language-Assistent im Streaming-Betrieb erkennt Gerät, Kabel, LEDs und Teile, führt die Nutzer durch den Ablauf und verfolgt, welcher Schritt erledigt ist. Kommt er nicht weiter, schaltet sich ein menschlicher Experte in dieselbe Live-Ansicht und zeichnet Markierungen ein.

Problem & Nutzen

• Heute: Callcenter-Mitarbeitende versuchen, Hardware per Sprache zu diagnostizieren („Welche Farbe hat das Licht?“); Servicepersonal telefoniert mit Kollegen oder wartet auf den Besuch eines Spezialisten. Folgen: lange Gespräche, wiederholte Kontakte, unnötige Technikereinsätze, falsche Ersatzteile.
• KI-Nutzen: Die Kamera ersetzt die verbale Beschreibung; der Assistent erledigt Routinefälle (Router-Einrichtung, Fehler-LEDs, Filterwechsel, Standard-Wartungsrunden) rund um die Uhr und entlastet Experten für die schwierigen Fälle.
• Belege: TechSee berichtet, seine visuelle Fernassistenz werde bei Vodafone seit 2016 in rund 10 Märkten eingesetzt; Kunden öffnen einen Link, und die Handykamera startet ohne App [1]. Beim eigenen Plattform-Launch im März 2026 nennt TechSee frühe Einsätze mit 5-15 % höherer digitaler Eindämmung und 5-20 % weniger Technikereinsätzen; dies sind Herstellerangaben, keine unabhängigen Zahlen [2]. TeamViewer positioniert Frontline Assist als „See-what-I-see“-Expertenunterstützung für freihändige Arbeit im Außendienst [3].

Varianten

• Kunden-Selbstbedienung (B2C): Telekommunikation, Versorger, Haushaltsgeräte, Unterhaltungselektronik; Weblink oder Kamera in der App.
• Anleitung für Servicetechniker (B2B): Wartung, Installation, Inspektionsrunden mit Datenbrille oder robusten Tablets.
• Unterstützter Live-Support: Der menschliche Mitarbeitende sieht den Stream, und ein KI-Copilot schlägt den nächsten Schritt vor (siehe CONV-007).
• Handel/Filiale und Auspacken: Geräteeinrichtung, Retouren-Vorprüfung, bevor ein Gerät zurückgeschickt wird.
• Privatnutzung: allgemeine multimodale Assistenten in einer Handy-App („Was ist mit diesem Wasserhahn los?“); Verbraucherniveau, ohne Ablaufverfolgung.

So funktioniert es

1. Kamera-/Brillen-Stream (WebRTC) + Stimme des Nutzers
2. Einwilligung + KI-Hinweis, Datenschutz-Maskierung (Gesichter, Bildschirme, Dokumente)
3. Frame-Sampling (~1 fps Standard; Serie auf Anforderung) + Spracherkennung / natives Audio
4. Vision-Language-Modell: Gerät/Teil/Zustand erkennen (Modell, LED-Muster, Anschluss, Fehler)
5. Abruf der passenden Anleitung aus Handbüchern / Wissensbasis (RAG im Stil von KNOW-004, gerätespezifisch)
6. Dialogmanager: Zustandsautomat der Anleitung (aktueller Schritt, erwartetes visuelles Ergebnis, Wiederholung)
7. gesprochene Anweisung + Einblendung auf dem Bildschirm/AR ("in den gelben Anschluss stecken")
8. Überprüfung: Bild auf Abschluss des Schritts prüfen
9. Rückfall: persönliche Übergabe an Experten mit geteilter, annotierter Ansicht, Schnappschüssen, Transkript
10. Ticket / Arbeitsauftrag aktualisieren

• Wahrnehmung: Das VLM wertet abgetastete Einzelbilder aus, kein durchgehendes Video; kleine, günstige Detektoren (LED-Zustand, Anschluss, Etikett/OCR, Barcode) laufen zur Absicherung parallel. Die Live API von Gemini nimmt Video beispielsweise als JPEG-Bilder mit ca. 1 Bild/s auf, empfohlen in 768x768 [4].
• Zustandsverfolgung: der entscheidende Unterschied zu einem Chatbot. Abläufe sind als Schritte mit visuellen Erfolgskriterien definiert; das LLM entscheidet, eine deterministische Steuerung erzwingt Reihenfolge und Sicherheitsstopps.
• Mensch-in-der-Schleife (Human-in-the-Loop): Der Assistent muss bei geringer Sicherheit, Frust der Nutzer, jedem sicherheitsrelevanten Schritt (Netzspannung, Gas, Druckanlagen) und jedes Mal, wenn der Nutzer eine Person verlangt, übergeben.

Datenaufbereitung

Der Assistent ist nur so gut wie die Abläufe dahinter. Das Quellmaterial liegt typischerweise in PDF-Handbüchern, Verdrahtungsplänen und Servicebulletins auf Dateiservern oder in einem DMS, im CRM oder Field-Service-System (Gerätemodelle, frühere Tickets, Arbeitsaufträge) und in den Köpfen erfahrener Techniker. Typische Lücken: eingescannte oder veraltete Handbücher, keine Schrittlisten mit visuellem Erfolgskriterium, uneinheitliche Modell- und Teilenummern, fehlende Fotos von LED-Mustern und Anschlüssen sowie fehlende Ergebnis-Labels zu früheren Sitzungen.

Schritte der Aufbereitung: Handbücher per OCR erfassen und bereinigen (PREP-006, PREP-007), eine Geräte- und Teile-Stammliste aufbauen (PREP-010), die 5-10 häufigsten Abläufe als kurze Schritte mit erwartetem visuellem Ergebnis neu schreiben (PREP-014, PREP-016), beschriftete Fotos und Videos je Geräteklasse sowie Sitzungsergebnisse aus Tickets sammeln (PREP-020) und mit Experten einen Evaluierungsdatensatz auf echtem Bildmaterial erstellen (PREP-018). Geräte- und Kundenkontext aus dem CRM oder Field-Service-System ziehen (PREP-005). Vor jeder Aufzeichnung Maskierungsregeln für Gesichter, Bildschirme und Dokumente festlegen (PREP-024). Werkzeuge: Paperless-ngx oder eine OCR-Pipeline, ein Annotationswerkzeug, pgvector/Qdrant.

Grober Aufwandsanteil: 40-50 Prozent, überwiegend für das Erstellen der Abläufe und die Geräteabdeckung, mehr als für die Modellanbindung selbst. GUIDE-003 hilft bei der Abschätzung.

Umsetzungswege

Welcher Weg für wen

• smb: A, weil ausgereifte, EU-taugliche Produkte (z. B. TeamViewer Frontline, TechSee) WebRTC, Expertenübergabe und FSM-Integration zu Preisen pro Arbeitsplatz oder pro Sitzung abdecken.
• enterprise: B, weil eigene Abläufe, Markenstimme und enge CRM-/Field-Service-Integration bei hohen Volumina den Aufbau auf Realtime-APIs rechtfertigen; A bleibt für Standard-Gerätetypen sinnvoll.
• developer: B, weil LiveKit oder Pipecat mit einer multimodalen Realtime-API der schnellste Weg zum Bauen und Testen ist; C nur bei strengen Anforderungen an den Datenstandort.

Weg A — Kaufen (Standardsoftware; für die meisten KMU empfohlen)

• Visueller Kundenservice: TechSee (Sophie AI, visueller KI-Agent; zu den Kunden zählen Vodafone, Samsung, Electrolux) [1][2]; ähnliche Werkzeuge für visuelle Fernunterstützung von Anbietern wie Streem, Zoom-basierte Add-ins sowie Field-Service-Integrationen von ServiceNow/Salesforce. Datenstandort in der EU und Aufzeichnungskontrollen prüfen.
• Industrie/Außendienst: TeamViewer Frontline (EU, Deutschland) mit Unterstützung für Datenbrillen [3]; weitere für die EU relevante Optionen sind die Ubimax/Frontline-Linie sowie die Hardware-Ökosysteme von Vuzix/RealWear. Aktuelle KI-Funktionen und Brillenliste jedes Anbieters prüfen.
• A wählen, wenn: Sie produktionsreifes WebRTC, Expertenübergabe, CRM-/FSM-Integration benötigen und Standard-Gerätetypen haben.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Multimodale Realtime-Modelle: Gemini Live API (Audio + 1 Bild/s Video über WebSocket) [4]; OpenAI Realtime API sowie Vision-Modelle von Anthropic/Claude oder Mistral für rundenbasiertes Bildverständnis. EU-Regionen und Datenverarbeitungsbedingungen bevorzugen, die eine Nutzung zum Training ausschließen.
• Transport/Orchestrierung: LiveKit Agents (Open Source, mit Gemini-Live-Plugin samt Video) oder Daily/Pipecat, dazu Ihr FSM/CRM über Tool-Aufrufe.
• Datenbrillen: Das Meta Wearables Device Access Toolkit (Developer Preview) bietet Apps Kamera-Streaming und Fotoaufnahme auf Ray-Ban Meta und Oakley Meta; die Veröffentlichung ist jedoch auf ausgewählte Partner beschränkt, und die Kamera erfordert die ausdrückliche Erlaubnis der Nutzer [5]. Industriebrillen (RealWear, Vuzix) führen Android-Apps aus und sind meist die sicherere Wahl für Unternehmen.
• B wählen, wenn: Sie eigene Abläufe, Markenstimme und enge Integration wollen und Risikobewertungen für Anbieter außerhalb der EU akzeptieren können.

Weg C — Selbst betreiben (Open Source)

• Modelle: Open-Weight-VLMs wie die Qwen-VL-Familie und multimodale Modelle der Gemma-Klasse, bereitgestellt mit vLLM; ASR der Whisper-Klasse und offene TTS; kleine Detektoren der YOLO-Klasse für LEDs/Anschlüsse.
• Stack: LiveKit (selbst betrieben) oder Pipecat für WebRTC und Agentenschleife; Qdrant/pgvector für Handbücher.
• Hardware: HW3 für Mehrbenutzerbetrieb mit größeren VLMs; eine einzelne HW2-GPU genügt für Piloten. Das Latenzziel ist dialogtauglich (etwa 1-2 s bis zur ersten gesprochenen Antwort), daher die GPUs nahe an den Nutzern betreiben.

Weg D — Eigenes Training

Lohnt sich für wiederkehrende Gerätefamilien: einen Detektor/Klassifikator auf beschrifteten Fotos Ihrer Produkte feintunen (LED-Muster, Anschluss- Layouts, Verschleißzustände) und optional ein kleines VLM auf annotierten Sitzungen. Benötigt hunderte bis tausende beschriftete Bilder je Geräteklasse; frühere Support-Sitzungen mit Ergebnissen sind die naheliegende Datenquelle.

Stand der Technik (2026)

• Native multimodale Realtime-Modelle nehmen Audio und Kamerabilder in einer Sitzung auf, mit Latenzen von unter einer Sekunde bis ca. 1 s, und ersetzen die ältere Kette ASR -> LLM -> TTS mit separaten Bildaufrufen [4].
• Bildgestützte Agenten verbinden Wahrnehmung mit Werkzeugnutzung (Ticketing, Teilesuche, Terminplanung) und Ablaufzustandsautomaten.
• Ökosysteme für Datenbrillen öffnen sich für Apps von Drittanbietern, doch Verbraucherbrillen bleiben für den Produktivbetrieb eingeschränkt [5].
• Grenzen und Fehlerbilder: halluzinierte Bauteilerkennung (ähnlich aussehende Modelle), schlechtes Licht/Blendung, Verwechslung von LED-Farben, Abtastung mit 1 Bild/s übersieht schnelle Blinkmuster, Fehler bei Richtungsangaben („links“ aus wessen Sicht?), Drift in langen Sitzungen und übersichere Anweisungen bei sicherheitskritischen Schritten. Zeigen Sie immer das erkannte Modell an und lassen Sie es vom Nutzer bestätigen.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack wie CONV-007 (Agentenunterstützung), CONV-001 (Service-Bot, gemeinsame Wissensbasis und Übergabe), KNOW-004 (RAG über Handbücher), SPEECH-011 (freihändige Steuerung) und PERS-007 (Szenenbeschreibung; anderes Ziel und anderes Sicherheitsprofil). Überschneidungen mit VIS-002 (Prüfung per fest installierter Kamera) bei den Detektormodellen, nicht aber im Betrieb.
• Nachgelagert: OPT-019 Einsatzplanung im Außendienst (Besuche vermeiden, das richtige Teil senden), CONV-026 für die Einbettung in die App.

Aufwand, Kosten & Kennzahlen

• Weg A: Wochen bis wenige Monate; üblicherweise Preise pro Sitzung oder Arbeitsplatz. Weg B: 3-6 Monate inkl. Erstellung der Abläufe und Integrationen. Weg C: 4-8 Monate plus GPU und MLOps. Der größte Kostenblock ist nicht das Modell, sondern das Erstellen der Abläufe, die Geräteabdeckung und das Testen.
• Kennzahlen: Lösungs-/Eindämmungsquote ohne Experten, Erstlösungsquote, vermiedene Technikereinsätze und Retouren, durchschnittliche Bearbeitungs- zeit, Eskalationsquote, Genauigkeit der Schrittabschlüsse, Kundenzufriedenheit (CSAT), Sicherheitsvorfälle (Ziel: null).

Menschen & Veränderung

Beginnen Sie mit der Geschäftsleitung und der Abteilungsleitung (Service oder Instandhaltung), um risikoarme Abläufe auszuwählen und die Stoppregeln für sicherheitsrelevante Schritte festzulegen. Servicetechniker und Servicemitarbeitende als Endnutzer sollten die Abläufe mitschreiben; sie wissen, woran Kunden scheitern. Die IT kümmert sich um WebRTC, den Roll-out von Brillen oder Handys und die CRM-Integration; die/der Datenschutzbeauftragte bewertet Live-Video, das Unbeteiligte, Adressen und Dokumente erfasst, bereitet Hinweise vor, den AVV mit jedem Anbieter und eine DSFA, besonders für Datenbrillen am Arbeitsplatz (GUIDE-005).

Betriebsrat: in der Praxis ja. Kameras, Sitzungsprotokolle, Transkripte und Auswertungen über Techniker sind objektiv geeignet, Verhalten oder Leistung zu überwachen; daher greift § 87 Abs. 1 Nr. 6 BetrVG (BAG: Eignung genügt); § 90 Abs. 1 Nr. 3 und § 80 Abs. 3 (Sachverständiger) sprechen für eine frühe Beteiligung. Vereinbaren Sie eine Betriebsvereinbarung zu Aufzeichnung, Speicherdauer und Verzicht auf Leistungsbewertung (GUIDE-004). Öffentlicher Dienst: Personalrat.

KI-Kompetenz: Schulen Sie das Personal darin, was der Assistent falsch macht (ähnlich aussehende Modelle, LED-Farben) und wann es übernehmen muss; die KI-Verordnung verlangt Maßnahmen zur Förderung der KI-Kompetenz (GUIDE-006). Pilotieren Sie mit einem kleinen Team in einer Region, benennen Sie KI-Botschafter und zeigen Sie, dass Experten für schwierige Fälle frei werden und nicht ersetzt werden (GUIDE-008, GUIDE-009). Der Mensch kann den Assistenten jederzeit stoppen und einen Experten anrufen, und Sicherheitsschritte gehen immer an eine Person.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): in der Regel begrenztes Risiko: Art. 50 verlangt, Nutzer darüber zu informieren, dass sie mit einem KI-System interagieren [6]. Emotionserkennung aus Gesicht oder Stimme darf bei Beschäftigten nicht eingesetzt werden (Verbot nach Art. 5 am Arbeitsplatz). Leitlinien zu Maschinen oder Sicherheitsbauteilen oder der Einsatz in der Personalsteuerung können die Einstufung anheben; bewerten Sie dies je Einsatz. KI-Kompetenz (Art. 4) gilt.
• DSGVO: Live-Video erfasst regelmäßig Unbeteiligte, Familienmitglieder, Gesichter, Adressen, Dokumente und Bildschirme. Erforderlich sind eine Rechtsgrundlage (Einwilligung oder Vertrag), ein klarer Hinweis, bevor die Kamera startet, Datenminimierung, standardmäßig keine Aufzeichnung, kurze Speicherdauer, ein AVV mit jedem Anbieter und eine DSFA für Datenbrillen am Arbeitsplatz; die Überwachung von Beschäftigten erfordert die Beteiligung des Betriebsrats (Deutschland: BetrVG).
• Sicherheit/Haftung: keine autonome Anleitung bei Arbeiten an Elektrik, Gas oder Druckanlagen; Stoppregeln und Expertenübergabe festlegen.
• Gegenmaßnahmen: nicht relevante Bereiche unscharf stellen oder maskieren, Vorverarbeitung auf dem Gerät, wo möglich, ausdrückliche Bestätigung des erkannten Geräts, Audit-Logs.

Erste Schritte

1. Wählen Sie 5-10 häufige, risikoarme Abläufe (Router-Einrichtung, Filterwechsel) und schreiben Sie sie als Schrittlisten mit visuellen Erfolgskriterien.
2. Prototyp mit einem WebRTC-Browserlink und einem multimodalen Realtime-Modell auf echtem Nutzer-Bildmaterial; Erkennungsgenauigkeit messen.
3. Einwilligungs-/KI-Hinweisbildschirm, Maskierung und Speicherregeln ergänzen; DSFA abschließen.
4. Eine warme Übergabe an einen menschlichen Experten mit geteilter Ansicht und Ticketkontext einrichten.
5. Mit einer Produktlinie pilotieren; Eindämmung, Technikereinsätze und Sicherheitseskalationen verfolgen, bevor Sie ausweiten.

Quellen

1. TechSee / Fierce Network - Vodafone and TechSee remote visual assistance - https://www.fierce-network.com/telecom/vodafone-keeps-customers-connected-during-covid-19-by-using-techsee
2. TechSee - Sophie AI multisensory agent - https://techsee.com/ai-virtual-agent/
3. TeamViewer - Frontline remote assistance - https://www.teamviewer.com/en/products/frontline/
4. Google Cloud - Live API: send audio and video streams - https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/live-api/send-audio-video-streams
5. Meta - Wearables Device Access Toolkit - https://developers.meta.com/wearables/device-access-toolkit/
6. Regulation (EU) 2024/1689 (AI Act) - https://eur-lex.europa.eu/eli/reg/2024/1689/oj