Visuelle Produkterkennung & kassenloser Einzelhandel

Barcodes erfordern pro Artikel eine Handbewegung. Computer Vision macht sie auf zwei Wegen überflüssig: durch punktuelle Erkennung (eine Kamera an Waage, Kiosk, Bäckereitheke oder Smart Cart erkennt den davor abgelegten Artikel) und durch kassenlose Läden (Deckenkameras und Regalsensoren verfolgen, welche Artikel jede Kundin und jeder Kunde mitnimmt, und buchen beim Verlassen automatisch ab). Die punktuelle Erkennung ist etabliert und risikoarm; vollständig kassenlose Läden sind betrieblich anspruchsvoll, kapitalintensiv und mit den meisten Datenschutzpflichten verbunden.

Problem & Nutzen

• Heute: Warteschlangen an den Kassen, Personalzeit für das Scannen, Obst und Gemüse per PLU-Code erfasst (oft falsch), Artikel aus Bäckerei und Kantine ohne Barcode sowie Schwund durch nicht gescannte Artikel.
• KI-Nutzen: schnellerer Durchsatz, weniger Warteschlangen, korrekte Preisermittlung bei Artikeln ohne Barcode (Backwaren, Obst und Gemüse, Kantinentabletts) und als Nebenprodukt ein laufender Überblick über die Bestände auf Regalebene.
• Die Belege sind uneinheitlich. Amazon gab 2024 bekannt, die Just-Walk-Out-Technik aus seinen Fresh-Supermärkten zu nehmen, sie aber an Drittstandorten wie Stadien, Flughäfen und Campus-Anlagen weiter zu betreiben [1]. Im Januar 2026 kündigte Amazon an, fast alle eigenen Amazon-Go- und Amazon-Fresh-Läden zu schließen und sich auf Whole Foods zu konzentrieren [9]. Kassenlos eignet sich am besten für kleine, stark frequentierte Formate mit begrenztem Sortiment (Veranstaltungsorte, Reisehandel, Convenience, Micro-Markets) und nicht als Standardlösung für Supermärkte mit vollem Sortiment. Eine allgemeingültige ROI-Zahl gibt es nicht; erstellen Sie die Wirtschaftlichkeitsrechnung je Standort.

Varianten

• Erkennung von Artikeln ohne Barcode: Eine Kamera an Waage oder Theke erkennt Obst und Gemüse, Backwaren oder Kantinentabletts (z. B. Tablett-Erkennung in Mitarbeiterrestaurants).
• Smart Carts und mobiles Scannen: Die Kamera im Einkaufswagen erkennt hinzugefügte Artikel; Supermärkte nutzen dies für „Scan as you shop“.
• Kassenloser Laden: Deckenkameras im ganzen Laden plus Regal-Gewichtssensoren und ein Zugang per App oder Karte; „Grab and Go“.
• Micro-Markets und Smart Fridges: wenige Kameras in einem Kühlschrank oder unbedienten Kiosk; die für KMU am besten geeignete Variante.

So funktioniert es

1. cameras (ceiling / shelf / cart / scale) + optional weight sensors
2. person detection & multi-camera tracking (anonymous track IDs)
3. interaction detection (hand reaches shelf, picks / returns item)
4. product recognition (detector + embedding match against product catalogue)
5. sensor fusion (weight change, shelf position / planogram prior)
6. virtual cart per track, reconciled at exit gate
7. payment (app account, card tap) + receipt
8. low-confidence events
9. human review queue / post-visit audit

• Die Produkterkennung ist ein feingranulares Open-Set-Problem: Zehntausende SKUs, monatlich neue Verpackungen, nahezu identische Varianten (Geschmacksrichtungen, Größen). Praxistaugliche Systeme nutzen einen Detektor zur Lokalisierung plus ein Embedding-Modell (Retrieval), das mit Referenzbildern je SKU abgeglichen wird. Neue Produkte werden deshalb durch das Einlernen von Bildern ergänzt und nicht durch erneutes Training.
• Die Fusion mit Planogramm und Gewicht löst Mehrdeutigkeiten auf: Eine Entnahme aus der Regalfläche einer bekannten SKU mit passender Gewichtsänderung ist weit sicherer als Bilderkennung allein.
• Mensch-in-der-Schleife (Human-in-the-Loop): Unsichere Warenkörbe klären externe Prüfer oder eine nachträgliche Belegkorrektur nach dem Besuch; Mitarbeitende kümmern sich um altersbeschränkte Waren; Reklamationen gehen an den Kundenservice.
• Inferenz am Netzwerkrand (Edge) ist der Normalfall: Die Videostreams bleiben im Laden, nur Ereignisse und zugeschnittene Artikelbilder verlassen den Standort.

Datenaufbereitung

Die Erkennung braucht saubere Artikelstammdaten (EAN/GTIN, Bezeichnungen, Varianten, Maße, Gewicht) und Referenzbilder für jeden Artikel. In einem KMU liegen diese Stammdaten meist im ERP- oder Kassensystem und in Lieferantenpreislisten; Bilder befinden sich auf Smartphones, im Webshop oder in Lieferantenportalen. Typische Lücken sind doppelte oder uneinheitliche Artikelnummern, fehlende Variantendaten, keine Bilder von loser Ware (Backwaren, Obst und Gemüse), veraltete Verpackungen und keine Referenzdaten dazu, wie Artikel unter dem Licht an Ihrer eigenen Theke aussehen.

Schritte der Aufbereitung: Artikelstamm aus Kasse/ERP exportieren (siehe PREP-005), Dubletten bereinigen und fehlende GTINs ergänzen, jeden Artikel aus mehreren Winkeln unter realem Ladenlicht fotografieren (20-50 Bilder je Artikel sind ein üblicher Startwert), mit der Artikel-ID beschriften und einen Testdatensatz aus realen Warenkörben mit von Menschen geprüftem Ergebnis zusammenstellen (PREP-018). Werkzeuge: eine Tabellenkalkulation oder der ERP-Export, ein einfaches Beschriftungswerkzeug wie Label Studio und die Einlern-App des Anbieters. Planen Sie etwa 30-40 Prozent des Gesamtaufwands für die Daten ein; er sinkt nach dem ersten Sortiment deutlich, weil neue Artikel nur neue Bilder brauchen. Bei Kameranetzen sollten Sie außerdem dokumentieren, wohin Kameras gerichtet sein dürfen und wo Kundinnen und Kunden nicht aufgezeichnet werden dürfen.

Umsetzungswege

Welcher Weg für wen

• KMU: Weg A, weil es einsatzfertige Produkte für Waage, Kiosk und Smart Cart mit Hosting in der EU gibt und der Kassenprozess standardisiert ist.
• Großunternehmen: Weg B, weil Handelsketten die Integration in eigenes ERP, eigene Kassensysteme und Artikelstammdaten brauchen und das Volumen Lizenzen pro Filiale teuer macht.
• Entwickler: Weg C, weil offene Erkennungs- und Embedding-Modelle auf Edge-Hardware den Bau eines Produkterkennungsmoduls ohne Gebühren pro Kamera ermöglichen.

Weg A — Kaufen (Standardsoftware) (empfohlen)

• Plattformen für kassenlose Läden: Amazon Just Walk Out (Technik an Dritte lizenziert) [1], Zippin, Standard AI, AiFi, Trigo (Sitz in Israel, Lebensmitteleinzelhandel-Installationen in Europa), Grabango (USA; Berichten zufolge eingestellt, nachdem die Finanzierung nicht gelang). Vollständig betreute Hardware, Software und Support; prüfen Sie das Datenhosting in der EU und wer Verantwortlicher ist.
• Smart Carts und Waagen: Caper (Instacart), Veeve, Mettler Toledo, Bizerba (DE), Toshiba, NCR Voyix, Diebold Nixdorf (Erkennung von Obst und Gemüse sowie Artikeln an der Waage oder der Selbstbedienungskasse).
• Tablett-Erkennung für Kantine/Bäckerei: spezialisierte Anbieter (z. B. Wasteless, Kioske vom Typ Mashgin für Selbstbedienungsspuren). Bevorzugen Sie EU-Anbieter oder in der EU gehostete Optionen, wo verfügbar.
• Wählen Sie A, wenn: Sie in wenigen Monaten einen funktionierenden Laden oder eine Kassenspur wollen und Anbieterbindung sowie Preise pro Standort akzeptieren.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Katalogabgleich: multimodale Embedding-Endpunkte (Google Vertex AI Multimodal Embeddings / Vision Warehouse Produktsuche [2], Azure AI Vision multimodale Embeddings, Amazon Bedrock Titan multimodale Embeddings, Cohere Embed v4) mit einer Vektordatenbank in einer EU-Region.
• VLM als Rückfallebene für mehrdeutige Ausschnitte (Gemini, Claude, GPT, multimodale Modelle von Mistral): nützlich für den langen Schwanz seltener Artikel und als Prüfhilfe; für die Hauptschleife zu langsam und zu teuer.
• Eignung: Piloten für Kioske, Micro-Markets und Erkennung an der Waage. Echtzeit-Tracking über mehrere Kameras ist wegen Latenz und Bandbreite keine geeignete Last für Cloud-KI-Dienste.

Weg C — Selbst betreiben (Open Source)

• Erkennung und Tracking: Ultralytics YOLO (AGPL, kommerzielle Lizenz verfügbar), RT-DETR, Grounding DINO / YOLO-World für offenes Vokabular, SAM 2 für Segmentierung, ByteTrack oder BoT-SORT fürs Tracking [3].
• Retrieval: DINOv2/DINOv3 oder SigLIP 2 Embeddings plus FAISS, Qdrant oder pgvector für den SKU-Abgleich [4].
• Hardware: Eine Waage oder ein Kiosk läuft auf HW1 (Jetson Orin / Hailo); ein ganzer Laden mit Dutzenden Kameras braucht einen HW3-Server oder mehrere Edge-Boxen. Das kalibrierte Tracking über mehrere Kameras ist der schwierigste Teil der Entwicklung.

Weg D — Eigenes Training

Lohnt sich, wenn das Sortiment besonders ist (frische Backwaren, regionales Obst und Gemüse, Mehrwegkisten) oder die Genauigkeit je SKU sehr hoch sein muss. Dafür braucht es mehrere Bilder je SKU unter realem Ladenlicht und mit Verdeckungen (für ein erstes Modell viele Hundert erfasste Warenkörbe), beschriftete Warenkörbe aus dem Pilotbetrieb und eine Pipeline, um wöchentlich neue SKUs einzulernen. Laufende Korrekturdaten aus geprüften Warenkörben sind die beste Trainingsquelle.

Stand der Technik (2026)

• Retrieval-basierte Erkennung mit Foundation-Embeddings (DINOv2/v3, SigLIP 2, CLIP-Klasse) hat das Einlernen neuer Produkte günstig gemacht; Few-Shot-SKU-Erkennung ist bei Waagen und Kiosken Standard.
• Vision-Language-Modelle dienen als Prüfer und zum Auslesen von Attributen (Variante, Größe, Text auf der Packung), noch nicht als Echtzeit-Tracker.
• Fusion (Bild + Gewicht + Planogramm) bringt kassenlose Läden auf eine wirtschaftlich akzeptable Genauigkeit; reine Bildsysteme haben Probleme mit Verdeckung durch Menschenmengen, identischen Artikeln und Artikeln, die ins falsche Regal zurückgelegt werden.
• Grenzen und Fehlerbilder: Kinder und Gruppen mit gemeinsamem Warenkorb, ähnlich aussehende Packungen, spiegelnde oder durchsichtige Verpackungen, neue saisonale Verpackungen, gezieltes Verbergen von Artikeln, Stoßzeiten mit hohem Andrang, Lichtwechsel und die Abhängigkeit von manueller Prüfung. Berichten Sie die Genauigkeit pro Warenkorb, nicht pro Artikel, denn ein einziger Fehler verdirbt einen Warenkorb.

Gemeinsame Bausteine & Kombinationen

• Gleicher Technologie-Stack: VIS-009 (Regalüberwachung nutzt denselben SKU-Detektor und Embedding-Index), VIS-047 (Verlustprävention an Selbstbedienungskassen), VIS-008 (Besucherfrequenz aus denselben Kameras), VIS-022 (visuelle Suche teilt die Embeddings), VIS-018 (OCR auf Packungsetiketten).
• Die Referenzbild-Bibliothek für Produkte und der Vektorindex sind für alle diese Fälle wiederverwendbar; Kamerakalibrierung und Edge-GPUs (HW1/HW3) sind gemeinsame Infrastruktur.

Aufwand, Kosten & Kennzahlen

• Weg A: Wochen für einen Micro-Market oder Smart Fridge; Monate für den Aufbau eines Ladens. Kostentreiber sind Installation von Kameras und Sensoren, Lizenz pro Filiale und Support. Die Angebote der Anbieter schwanken stark, vergleichen Sie daher mehrere.
• Weg C/D: 6-12+ Monate und ein spezialisiertes Vision-Team für den Maßstab eines ganzen Ladens; Kalibrierung, Beschriftung und der Umgang mit Drift bestimmen den Aufwand.
• Kennzahlen: Warenkorb-Genauigkeit (Anteil korrekt abgerechneter Warenkörbe), Precision/Recall auf Artikelebene, Anteil der Warenkörbe mit manueller Prüfung, Quote der Belegreklamationen, Schwund, Durchsatz pro Stunde, Kosten pro Transaktion, Zeit für das Einlernen einer neuen SKU.

Menschen & Veränderung

Beziehen Sie zuerst die Geschäftsleitung ein (Budget, Umfang, Entscheidung zwischen punktueller Erkennung und vollständig kassenlosem Laden), dann die Abteilungsleitung und die Mitarbeitenden an der Kasse, denn deren Arbeitsablauf ändert sich am stärksten. Die IT betreut Kameras, Netzwerk und Anbindung der Kasse; der Dateneigner der Artikelstammdaten muss die Produktdaten freigeben. Kameras auf der Verkaufsfläche erfassen auch Beschäftigte; deshalb hat der Betriebsrat ein Mitbestimmungsrecht nach §87 Abs. 1 Nr. 6 BetrVG (nach dem BAG genügt die objektive Eignung zur Überwachung) und ist nach §90 Abs. 1 Nr. 3 zu unterrichten; eine Betriebsvereinbarung sollte die Kameras auf die Produktverfolgung beschränken und Leistungsbewertung ausschließen. Wo es keinen Betriebsrat gibt, informieren Sie die Beschäftigten trotzdem offen. Personenbezogene Daten (Bilder von Kundinnen und Kunden, App-Identität) bedeuten: Beziehen Sie die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten früh ein, führen Sie für Deckenkameras eine Datenschutz-Folgenabschätzung (DSFA, Art. 35 DSGVO) durch, schließen Sie mit dem Anbieter einen AVV und bringen Sie deutlich sichtbare Hinweisschilder an.

Fördern Sie die KI-Kompetenz der Beschäftigten nach Art. 4 KI-Verordnung (AI Act) mit einer kurzen Schulung dazu, was das System sieht, wo es Fehler macht und wie man es übersteuert. Beginnen Sie mit einer Theke oder einem Laden als Pilotgruppe, wobei Artikel mit geringer Sicherheit immer an einen Menschen gehen. Typische Befürchtungen sind Überwachung und Arbeitsplatzverlust; begegnen Sie ihnen mit einer schriftlichen Zweckbindung und indem Sie die gewonnene Zeit in den Kundenservice umlenken. Siehe GUIDE-004, GUIDE-005 und GUIDE-008.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): Die meisten Einsätze fallen unter minimales oder begrenztes Risiko. Hinweis zu Art. 5: Das System darf keine Emotionserkennung bei Beschäftigten durchführen und Kundinnen und Kunden nicht anhand sensibler Merkmale biometrisch kategorisieren. Vermeiden Sie biometrische Echtzeit-Fernidentifizierung; nutzen Sie für den Zutritt App- oder Karten-Identität, keine Gesichtserkennung (siehe VIS-016). Prüfen Sie, ob eine Komponente (zum Beispiel Mitarbeiterüberwachung) das System in Anhang III verschiebt. Holen Sie immer eine rechtliche Prüfung ein; dies ist keine Rechtsberatung.
• DSGVO: Das Verfolgen von Kundinnen und Kunden durch einen Laden verarbeitet personenbezogene Daten, auch mit anonymen IDs. Erforderlich sind eine Rechtsgrundlage (typischerweise berechtigtes Interesse mit dokumentierter Abwägung oder Vertrag bei App-Nutzern), Hinweisschilder zur Transparenz, eine DSFA (bei systematischer Überwachung eines öffentlich zugänglichen Bereichs voraussichtlich erforderlich), Datenminimierung (Verarbeitung am Edge, Video rasch löschen, nur Ereignisdaten speichern) und strenge Grenzen für Zweckänderungen wie Marketing-Profiling. Kameras mit Personalbezug lösen zudem die Mitbestimmung des Betriebsrats aus (Deutschland: BetrVG 87 Abs. 1 Nr. 6) [6]. Die Leitlinien des EDSA zu Videogeräten sind die wichtigste Referenz [7].
• Gegenmaßnahmen: Verarbeitung am Edge, keine biometrischen Templates, kurze Aufbewahrung, sichtbare Hinweisschilder, menschliche Prüfung strittiger Warenkörbe, regelmäßige Prüfungen auf Verzerrung und Fehler.

Erste Schritte

1. Wählen Sie das engste Format, das sich rechnet: eine Waage oder Bäckereitheke, einen Micro-Market oder einen Smart Fridge, bevor Sie an einen Rollout im ganzen Laden denken.
2. Führen Sie eine DSFA durch und beziehen Sie Datenschutzbeauftragte(n) und Betriebsrat ein, bevor Kameras aufgehängt werden.
3. Fotografieren Sie Ihre 200-500 wichtigsten SKUs unter realen Bedingungen; bauen Sie eine Referenzbibliothek auf und testen Sie Open-Source-Embeddings dagegen.
4. Fordern Sie von zwei oder drei Anbietern aus Weg A Referenzen und Daten zur Warenkorb-Genauigkeit an; fragen Sie, wo die Daten gehostet werden und wer unsichere Warenkörbe prüft.
5. Pilotieren Sie 8-12 Wochen an einem Standort, messen Sie Warenkorb-Genauigkeit und Reklamationsquote und entscheiden Sie dann über Go oder No-Go.

Quellen

1. Amazon - Just Walk Out technology (official page) - https://justwalkout.com/
2. Google Cloud - Vertex AI Vision Warehouse and Multimodal Embeddings - https://cloud.google.com/vertex-ai/generative-ai/docs/embeddings/get-multimodal-embeddings
3. Ultralytics YOLO documentation - https://docs.ultralytics.com/
4. DINOv2 (Meta AI) - https://github.com/facebookresearch/dinov2
5. Wei et al., RPC: A Large-Scale Retail Product Checkout Dataset (arXiv 1901.07249) - https://arxiv.org/abs/1901.07249
6. Betriebsverfassungsgesetz section 87 (Mitbestimmung, Ueberwachung) - https://www.gesetze-im-internet.de/betrvg/__87.html
7. EDPB - Guidelines 3/2019 on processing of personal data through video devices - https://www.edpb.europa.eu/our-work-tools/our-documents/guidelines/guidelines-32019-processing-personal-data-through-video_en
8. Regulation (EU) 2024/1689 (AI Act) - https://eur-lex.europa.eu/eli/reg/2024/1689/oj
9. AP via ABC7 - Amazon to close Amazon Go, Amazon Fresh locations to concentrate on Whole Foods (27 Jan 2026) - https://abc7.com/post/amazon-stores-closing-close-go-fresh-locations-concentrate-foods-grocery-delivery/18486641/