Fotobasierte Prüfung von Außendienstarbeiten (Installations-QS direkt bei der Aufnahme)

Netz-, Energie- und Baufirmen belegen erledigte Arbeiten mit Fotos, doch Menschen prüfen nur eine kleine Stichprobe Tage später, sodass Nacharbeit einen zweiten Einsatzwagen bedeutet. Ein Bildmodell prüft jedes Foto auf dem Handy anhand der Regeln für die jeweilige Auftragsart (richtige Ausrüstung, Beschriftungen lesbar, Kabelführung, geschlossenes Gehäuse, kein wiederverwendetes Bild) und weist den Techniker an, vor dem Verlassen der Baustelle nachzubessern oder neu aufzunehmen. Der Gewinn: Arbeit, die beim ersten Mal stimmt, weniger Streit mit Subunternehmern und sauberere Bestandsdokumentation.

Problem & Nutzen

• Heute: Techniker laden Fotos in eine Field-Service-App hoch; QS-Mitarbeitende im Backoffice oder die eigenen Prüfer des Betreibers prüfen einen Bruchteil, oft Tage nachdem die Kolonne abgereist ist. Spät entdeckte Fehler erfordern einen erneuten Besuch; Rechnungen von Subunternehmern werden bestritten; GIS-Daten weichen von der Wirklichkeit ab.
• KI-Nutzen: 100 % der Aufträge in Sekunden geprüft, Rückmeldung noch vor Ort, einheitliche Regeln über Subunternehmer hinweg, Erkennung wiederverwendeter, veralteter oder vom falschen Ort stammender Fotos und ein Nachweispfad, der die Zahlung automatisch freigeben kann.
• Belege (Anbieter-/Fachpresse, nicht unabhängig geprüft): Swisscom soll Deepomatic einsetzen, um Arbeiten von Außendiensttechnikern bei vier Subunternehmern zu prüfen, wobei Zahlungen automatisch erfolgen, sobald die Arbeit verifiziert ist; Techniker von CityFibre laden vor Auftragsabschluss Bilder hoch, die in Echtzeit analysiert werden, um den Abschluss zu bestätigen oder Probleme zu markieren. Betrachten Sie alle Zahlen als Herstellerangaben [1][2][3].

Varianten

• Glasfaser-/Telekom-Ausbau: Spleißmuffen, ONT- und Hausanschluss-Installation, Verteiler- und Leerrohrarbeiten, Masten- und Schachtfotos; Prüfungen gekoppelt an die Bauvorgaben des Betreibers.
• Energie und Versorger: Einbau von Smart Metern, Inbetriebnahme von Solar- und Wärmepumpenanlagen, Wartungsschritte in Umspannwerken, Gas- und Wasseranschlüsse (vgl. VIS-003 für drohnengestützte Anlagenprüfung).
• Bau und Gebäudedienste: Brandabschottung, Abdichtung, Kabeltrassen und Übergabe- Nachweise vor dem Verschließen (siehe VIS-040 für scanbasierte Bestandsaufnahme).
• Zahlungsfreigabe für Subunternehmer: Das Fotourteil löst die Meilensteinzahlung aus.
• Privat/Haushalt: Fotonachweis durch Hausbesitzer oder Installateur für Förderanträge (Wärmepumpe, PV); leichtere Prüfungen.

So funktioniert es

1. technician takes photo in field app (guided capture: required shots per job type)
2. on-device quality gate (blur, darkness, framing) + metadata check (GPS, time, device)
3. classification: correct photo type for this step?
4. detection/VLM rule checks per job type (component present, labelled, seated, closed, tidy)
5. OCR of labels, serial numbers, port IDs (see VIS-018) matched to work order
6. duplicate / reuse / screen-recapture detection (perceptual hash, embeddings, EXIF)
7. verdict + reasons shown on phone; retake or fix before closing the job
8. results to field-service / GIS / payment system; low-confidence cases to QA reviewer

• Regelspezifische Detektoren: kleine Objektdetektoren und Klassifikatoren werden je Regel trainiert; ein VLM übernimmt Regeln im „Long Tail“ („ist die Hülse abgedichtet und der Kabelbiegeradius zulässig?“) über Prompts mit Referenzbildern, wobei die Detektorergebnisse das prüffeste Signal liefern.
• Inferenz auf dem Gerät gibt Technikern Rückmeldung ohne Netzverbindung; die Cloud prüft später erneut und ergänzt ein Betrugs-Screening.
• Mensch-in-der-Schleife (Human-in-the-Loop): QS-Prüfer bearbeiten unsichere oder durchgefallene Aufträge, Streitfälle und die Pflege der Regeln; sicherheitskritische oder hochwertige Freigaben bleiben bei einer qualifizierten Person.

Datenaufbereitung

• Benötigte Daten: Arbeitsaufträge und Auftragsarten (Field-Service-/GIS-System), die Fotos, die Techniker ohnehin machen (Außendienst-App, Handygalerien, E-Mail ans Backoffice), Checklisten und Installationsstandards (PDF, Intranet) sowie frühere QS-Prüfergebnisse mit Gründen für Bestehen/Nichtbestehen.
• Typische Lücken: Regeln existieren nur als lange PDFs oder als implizites Wissen des QS-Teams, keine Referenzfotos für „richtig“ und „fast richtig“, Fotos ohne verlässlichen Geotag oder Auftragsbezug, gemischte Qualität bei Subunternehmern, keine festgehaltenen Ablehnungsgründe und Techniker-Kennungen in den Foto-Metadaten.
• Aufbereitungsschritte: (1) Standards in kurze, prüfbare Regeln je Auftragsart mit Referenzfotos überführen (PREP-016); (2) Arbeitsaufträge und Foto-Links aus dem Field-Service-System exportieren (PREP-005); (3) frühere QS-Entscheidungen als Labels auswerten (PREP-020) und schwierige Negativbeispiele ergänzen; (4) mit den QS-Prüfern ein Testset von einigen hundert Fotos je Regel zusammenstellen (PREP-018); (5) Techniker-Kennungen und Gesichter Unbeteiligter in den Trainingsdaten entfernen oder pseudonymisieren (PREP-022) und Zweck sowie Rechtsgrundlage prüfen (PREP-025).
• Werkzeuge: Label Studio oder CVAT zum Labeln, Export-APIs der Außendienst-App, Skripte für Perceptual Hashes zur Dublettenprüfung.
• Aufwandsanteil: etwa 30 Prozent; Regeldefinition und Referenzbeispiele zählen mehr als die Menge. Bei Weg A überwiegend Regelkonfiguration.

Umsetzungswege

Welcher Weg für wen

• Großunternehmen: B - Regeln je Auftragsart, Außendienst-App und Zahlungsfreigabe sind Kernprozesse mit hohem Fotovolumen; eigene Regelmodelle auf Cloud-KI-Diensten (mit Spezialplattformen als Beschleuniger) vermeiden Abhängigkeit und Gebühren je Foto.
• KMU: A - eine ausgereifte, in der EU gehostete Spezialplattform oder ein Zusatzmodul der vorhandenen Field-Service-Suite bringt Regeln in Wochen live; eigene Regelmodelle lohnen sich für einen kleinen Installateur selten.
• Entwickler: C - offene Detektoren, Embeddings und VLMs mit Export auf das Handy geben Kontrolle über Regeln, Kosten und Datenstandort.

Weg A — Kaufen (empfohlen)

• Spezialplattformen: Deepomatic (Frankreich, EU; von IQGeo übernommen und heute als NetLux AI vermarktet, früher Deepomatic Lens) ist die Referenz für Telekom-Außendienstprüfung und lässt sich mit IQGeo GIS und Außendienst-Apps integrieren; DAC.digital hat einen Fall zur Validierung von Glasfaserinstallationen veröffentlicht [4][6].
• Angrenzende Produkte: Field-Service-Suiten (z. B. SAP Field Service Management, Salesforce Field Service, ServiceNow FSM, IFS, Dynamics 365 Field Service) decken Einsatzplanung und Fotoaufnahme ab; KI-Prüfungen sind meist Zusatz- oder Partnermodule. Prüfen Sie EU-Hosting, Modus auf dem Gerät, Regelerstellung durch Nicht-Entwickler und API-Zugriff auf die Urteile.
• Wählen Sie A, wenn: eine etablierte Auftragsart (Glasfaser, Zähler) im Mittelpunkt steht und Regeln schnell live sein müssen.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Multimodale Modelle: Vision-Modelle von Gemini, Claude, GPT oder Mistral (EU-Anbieter) mit strukturierter Ausgabe (JSON-Urteil je Regel) und Referenzbildern; Azure AI Custom Vision/Azure AI Vision, Google Vertex AI, AWS Rekognition Custom Labels für trainierte Detektoren, jeweils in EU-Regionen.
• Integration: ereignisgesteuerte Funktion, die beim Foto-Upload startet; Urteile werden per REST in die Außendienst- App zurückgeschrieben; n8n oder Power Automate für die Weiterleitung von Ausnahmen.
• Wählen Sie B, wenn: Sie die Außendienst-App besitzen und eigene Regeln bei moderatem Fotovolumen brauchen.

Weg C — Selbst betreiben (Open Source)

• Modelle: Ultralytics YOLO (AGPL, Lizenz prüfen) oder RT-DETR/RF-DETR zur Erkennung; DINOv2-/SigLIP- Embeddings für Dubletten- und Ähnlichkeitsprüfung; Qwen-VL-Familie oder offene VLMs der Klasse Gemma/PaliGemma für Regelfragen; PaddleOCR für Etiketten. Bereitstellung mit vLLM oder Triton; Export nach ONNX/TFLite/Core ML für Inferenz auf dem Handy.
• Hardware: HW2 bewältigt den Fotostrom eines mittelgroßen Betreibers; HW1-Handys/Edge-Geräte für den Qualitätsfilter.
• Aufwand: ein kleines ML-Team plus MLOps für versionierte Regelmodelle.

Weg D — Eigenes Training

Lohnt sich für Auftragsarten mit hohem Volumen: Detektoren je Regel auf einigen hundert bis einigen tausend gelabelten Fotos je Regel trainieren, einschließlich schwieriger Negativbeispiele (fast richtige Arbeit). Entscheidungen der Prüfer und Neuaufnahmen der Techniker sind natürliche Trainingsdaten. Bei Änderungen an Hardware oder Standards neu trainieren.

Stand der Technik (2026)

• VLMs beantworten heute freie Checklistenfragen zu Handyfotos ohne Beispiele (Zero-Shot) und verkürzen die Regelerstellung von Wochen auf Tage, sind aber bei feinen räumlichen Details (Biegeradius, Drehmoment- Markierungen, kleine Etiketten) weniger zuverlässig als trainierte Detektoren; Hybridansätze dominieren.
• Kleine Modelle auf dem Gerät geben sofortige Rückmeldung offline; aufwendigere Prüfungen laufen in der Cloud.
• Herkunftsprüfungen (EXIF/GPS, Perceptual Hashing, Embedding-Ähnlichkeit) fangen wiederverwendete oder abfotografierte Bilder ab; C2PA-Inhaltsnachweise in Kameras sind ein aufkommendes Echtheitssignal.
• Grenzen: Licht, Schmutz, ungewöhnliche Blickwinkel und Verdeckung; Übertragung auf neue Geräte; Fotos belegen das Aussehen, nicht die Funktion (Signalpegel, Drehmoment, Dichtheit brauchen weiterhin Messungen); Techniker können ein korrekt aussehendes Foto inszenieren; Regeldrift bei geänderten Standards.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack wie VIS-002 (Montageprüfung), VIS-023 (Schadensfotos), VIS-037 (Zustands- bewertung): Detektoren, VLM, mobile Aufnahme, Etiketten-OCR (VIS-018).
• Anonymisierung von Gesichtern und Kennzeichen in Baustellenfotos: VIS-030.
• Betrugs-/Musteranalyse über Subunternehmer hinweg: Anomalie-Scoring der Urteile im Stil von ANOM-003.
• Scanbasierte Bestandsmodelle: VIS-040; Drohnenprüfungen: VIS-003; Formulardaten: DOC-003.

Aufwand, Kosten & Kennzahlen

• Weg A: Wochen bis zum Pilot; Preise meist je Auftrag oder je Foto plus Plattformgebühr.
• Weg B: 2-4 Monate; Hauptkosten sind Regeldefinition, gelabelte Beispiele und App-Integration.
• Weg C/D: 4-9 Monate inkl. Datenerhebung und MLOps.
• Kennzahlen: Anteil geprüfter Aufträge (Ziel 100 %), Quote „beim ersten Mal richtig“, Quote von Wiederholungsbesuchen/Einsatzfahrten, QS-Prüferstunden je Auftrag, Streitquote und Zahlungszykluszeit, Raten falsch bestanden / falsch durchgefallen je Regel, Neuaufnahmequote, erkannte Dubletten.

Menschen & Veränderung

• Früh einbinden: Geschäftsleitung und die Betriebs- oder Netzbau-Leitung (Prozessverantwortliche), QS-Prüfer, Techniker und Subunternehmer-Manager (Anwender und Lieferanten), die IT für die Außendienst-App, die/den Datenschutzbeauftragte(n) und den Betriebsrat von Anfang an. Siehe GUIDE-001, GUIDE-009 und GUIDE-010 (Anbieterwahl).
• Betriebsrat: ja. Das System verarbeitet Fotos mit Techniker-Kennung, Zeit und Ort und protokolliert Bestanden/Nicht bestanden je Person; es ist damit objektiv zur Leistungsüberwachung geeignet: §87 Abs. 1 Nr. 6 BetrVG greift (BAG), dazu Informationspflichten nach §90 Abs. 1 Nr. 3. Schließen Sie eine Betriebsvereinbarung, die das System auf Arbeitsergebnisse beschränkt, individuelle Leistungsranglisten ausschließt und Aufbewahrungsfristen festlegt; erwägen Sie einen Sachverständigen nach §80 Abs. 3 (GUIDE-004).
• Datenschutz: DSFA wahrscheinlich (systematische Bewertung von Beschäftigten, Geodaten, Unbeteiligte), AVV mit dem Anbieter, Dritte verpixeln und Kundenräume respektieren (GUIDE-005).
• KI-Kompetenz: schulen Sie Techniker in der geführten Aufnahme und darin, wie sie ein Urteil neu aufnehmen oder anfechten; schulen Sie Prüfer zu den Risiken falsch bestandener und falsch durchgefallener Prüfungen (Art. 4 KI-Verordnung; GUIDE-006).
• Pilot und Bedenken: pilotieren Sie mit einer Auftragsart und einem freiwilligen Team als Fürsprechern. Typische Sorge ist heimliche Überwachung: kommunizieren Sie offen, was geprüft wird und was nicht, zeigen Sie die Gründe auf dem Handy, halten Sie einen menschlichen Widerspruchsweg offen, bevor Zahlungen zurückgehalten werden, und lassen Sie das QS-Personal Regeländerungen verantworten (GUIDE-008).

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): meist minimales Risiko (Qualitätsprüfung von Arbeitsergebnissen). Es wird Hochrisiko (Anhang III, Beschäftigung/Verwaltung von Arbeitnehmern), wenn Ausgaben Entscheidungen über einzelne Techniker steuern (Aufgabenverteilung, Leistungsbeurteilung, Kündigung); außerdem sind Art.-5-Praktiken wie Emotionserkennung am Arbeitsplatz zu vermeiden. Beschränken Sie das System auf Arbeitsergebnisse, nicht auf das Verhalten der Beschäftigten; KI-Kompetenz (Art. 4) gilt [5].
• DSGVO und Arbeitsrecht: Fotos zeigen Gesichter, Wohnungsinnenräume, Kennzeichen, Adressen und Ort-/Zeitdaten der Beschäftigten. Führen Sie eine DSFA durch, verpixeln Sie Unbeteiligte (VIS-030), minimieren Sie die Aufbewahrung und beteiligen Sie den Betriebsrat (Deutschland: §87 BetrVG) vor dem Rollout; verwenden Sie Urteile nicht als verdeckte Leistungsüberwachung. Kunden müssen über das Betreten ihrer Räume informiert werden.
• Vertrag/Geschäft: automatische Zahlungsfreigabe braucht für Subunternehmer einen Widerspruchsweg.
• Gegenmaßnahmen: menschliche Prüfung bei strittigen Ablehnungen, versionierte Regeln, Prüfprotokolle, regelmäßige Stichproben der bestandenen Aufträge zur Messung der Rate falsch bestandener Prüfungen.

Erste Schritte

1. Wählen Sie eine Auftragsart mit kostspieliger Nacharbeit und schreiben Sie ihre Foto-Checkliste gemeinsam mit dem QS-Personal.
2. Sammeln Sie 500-2.000 historische Fotos mit QS-Ergebnissen; messen Sie die aktuelle Fehlerquote der Stichprobenprüfung.
3. Pilotieren Sie ein Werkzeug für Weg A oder einen VLM-Prompt an diesen Fotos und vergleichen Sie je Regel mit den QS-Entscheidungen.
4. Ergänzen Sie geführte Aufnahme und Rückmeldung vor Ort für einen Subunternehmer; protokollieren Sie Neuaufnahmen.
5. Vereinbaren Sie DSFA, Bedingungen mit dem Betriebsrat und ein Widerspruchsverfahren, bevor Sie Urteile mit der Zahlung verknüpfen.

Quellen

1. Connect Fibre chooses Deepomatic — https://www.connectfibre.co.uk/news/connect-fibre-chooses-deepomatic
2. CityFibre partners with Deepomatic — https://dcnnmagazine.com/infrastructure/cabling/cityfibre-partners-with-deepomatic/
3. Fibre Systems, How one AI platform is revolutionising telecom field operations — https://www.fibre-systems.com/article/revolutionising-field-operations-how-one-ai-platform-transforming-telecoms
4. IQGeo to acquire Deepomatic — https://www.fibre-systems.com/article/iqgeo-acquire-deepomatic-ai-fibre-network-digital-twins
5. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
6. DAC.digital, automated fibre-optic installation validation — https://dac.digital/case-studies/automated-fibre-optic-installation-validation-with-computer-vision-and-machine-learning/
7. Ultralytics YOLO — https://github.com/ultralytics/ultralytics