Visuelle Suche (Suche per Bild)

Kunden können oft nicht benennen, was sie wollen („dieser Stuhl aus dem Café“), und Mitarbeitende finden das passende Ersatzteil oder Foto in einem großen Archiv per Stichwort nicht. Die visuelle Suche bettet Bilder in einen Vektorraum ein, sodass ein Foto, ein Ausschnitt oder ein Screenshot die ähnlichsten Treffer liefert. Typische Vorteile sind bessere Produktfindung im E-Commerce, schnellere Wiederverwendung von Assets in Marketing und Medienarchiven sowie schnellere Teileidentifikation in Service und Instandhaltung.

Problem & Nutzen

• Heute: Die Katalogsuche stützt sich auf Textattribute, die unvollständig, uneinheitlich oder in der falschen Sprache sind. Medien- und DAM-Teams verlassen sich auf manuelle Tags; Servicetechniker blättern durch Kataloge. Duplikate und Beinahe-Duplikate (erneut hochgeladene, zugeschnittene Bilder) sind schwer zu finden.
• KI-Nutzen: sprachunabhängige Suche, „Ähnliches finden“, „Shop the Look“, Duplikaterkennung und kombinierte Bild+Text-Anfragen („dieses Kleid, aber in Grün“). Außerdem sinkt die Abhängigkeit von der Tag-Qualität.
• Belege: Anbieter veröffentlichen Steigerungen bei Konversion und Engagement durch visuelle Suche, doch diese sind selbst berichtet und shopspezifisch; messen Sie mit einem eigenen A/B-Test, statt sich auf zitierte Zahlen zu verlassen. Pinterest hat seine produktive Architektur für visuelle Suche früh veröffentlicht [5].

Varianten

• E-Commerce „Suche per Foto“ / Shop the Look: Mode, Möbel, Wohnen und Deko, Heimwerken.
• Ersatzteil- und Technikkatalog-Suche: Foto eines verschlissenen Teils zur Artikelnummer (Etiketten/OCR siehe VIS-018).
• Digital Asset Management (DAM) und Medienarchive: ähnliche Aufnahmen finden, lizenzierte Bilder wiederverwenden, Beinahe-Duplikate erkennen (Audio/Video siehe KNOW-016).
• Marken- und Schutzrechtsschutz: Fälschungen oder unlizenzierte Nutzung eigener Bilder per umgekehrter Bildersuche finden.
• Öffentliche Hand / Kultur: Sammlungen von Museen und Archiven (z. B. offene Sammlungen im Stil von Europeana).
• Private Nutzung: umgekehrte Bildersuche für Fotos (Pflanze, Produkt, Ort) mit Verbraucherwerkzeugen.
• Ausgeschlossen: Die Suche nach Personen per Gesicht ist Gesichtserkennung (VIS-016) und unterliegt strengen Regeln; bauen Sie sie nicht als Funktion der „visuellen Suche“ (siehe Risiken).

So funktioniert es

1. Katalog-/Asset-Bilder
2. (optional) Artikel erkennen & ausschneiden (Objekterkennung / Segmentierung)
3. Bild-Embedding (CLIP/SigLIP-Klasse oder multimodale Embedding-API)
4. Vektorindex (HNSW/IVF) + Metadatenspeicher Anfragefoto (+ Text)
5. gleiches Embedding (+ optional Ausschnitt des relevanten Artikels)
6. ANN-Suche + Metadatenfilter (Bestand, Preis, Kategorie, Rechte)
7. Rerank (modalübergreifender Reranker / VLM / Geschäftsregeln)
8. Ergebnisoberfläche mit Feedbacksignalen (Klick, In den Warenkorb)

• Embedding-Modell: Ein kontrastiv trainiertes Bild-Sprach-Modell bildet Bilder und Text in einen gemeinsamen Raum ab, sodass sowohl Bild- als auch Textanfragen funktionieren. Domänen-Feintuning verbessert feine Unterscheidungen (Stoffe, Teile).
• Erkennungsschritt: Bei Fotos mit mehreren Objekten den Artikel erkennen und ausschneiden, sonst dominiert der Hintergrund das Embedding.
• Reranking: Die Top-k werden nach Attributübereinstimmung (Farbe, Material) oder durch ein VLM neu bewertet; Filter stellen sicher, dass nur kaufbare Artikel mit geklärten Rechten erscheinen.
• Mensch-in-der-Schleife (Human-in-the-Loop): Merchandiser pflegen Synonyme, fixieren oder sperren Treffer und prüfen gescheiterte Anfragen; DAM-Nutzer bestätigen Treffer, bevor lizenzierte Bilder wiederverwendet werden.

Datenaufbereitung

Benötigte Daten: Produkt-, Asset- oder Archivbilder mit Kennungen und grundlegenden Metadaten. Im Mittelstand liegen sie im Shopsystem, im ERP oder PIM, auf Dateiablagen (oft mit Namen wie IMG_0042.jpg), in Lieferantenportalen und manchmal nur in Papierkatalogen.

Typische Lücken: Duplikate und Beinahe-Duplikate, uneinheitliche Bildgrößen und Hintergründe, fehlende oder falsche Artikelnummern, Varianten ohne Fotos, veraltete Produkte, unklare Bildrechte sowie Fotos von Personen oder Kennzeichen im Hintergrund.

Aufbereitungsschritte: 1. Bilder und Stammdaten aus ERP oder Shop exportieren (PREP-005). 2. Duplikate entfernen und Größen, Formate und Hintergründe mit einfachen Skripten (ImageMagick, Python) vereinheitlichen. 3. Jedes Bild mit einer stabilen Artikel-ID verknüpfen und grundlegende Attribute ergänzen (PREP-010). 4. Bei Bedarf Papierkataloge einscannen (PREP-006). 5. 50 bis 100 Testanfragen mit erwarteten Treffern aufbauen (PREP-018). 6. Bildrechte prüfen und Gesichter oder Kennzeichen unkenntlich machen, wo personenbezogene Daten auftreten (PREP-022).

Aufwand: typischerweise ein Drittel des Projekts; das Embedding selbst läuft automatisch, aber saubere IDs und Metadaten entscheiden über die Ergebnisqualität.

Umsetzungswege

Welcher Weg für wen

• KMU: Weg A, weil Shopsysteme und Marktplätze ausgereifte Plugins für visuelle Suche zu moderaten Monatspreisen anbieten und der Prozess Standard ist.
• Großunternehmen: Weg B, da die Katalogsuche ein zentraler Hebel für die Konversion ist und Embedding-APIs sich im großen Maßstab in das eigene PIM und den Such-Stack integrieren lassen.
• Entwickler: Weg C, weil offene Embedding-Modelle (z. B. CLIP-Varianten) und Vektordatenbanken auf bescheidener Hardware ohne Kosten pro Anfrage laufen.
• Öffentliche Hand: Weg C, da Archive und Museumssammlungen souveränes Hosting brauchen und offene Modelle Beschaffungs- und Lock-in-Probleme vermeiden.

Weg A — Kaufen (Standardsoftware; für die meisten KMU empfohlen)

• SaaS für visuelle Suche / Produktentdeckung: Algolia (NeuralSearch, EU-Rechenzentren), Bloomreach, Constructor, Klevu, Syte, ViSenze, Vue.ai, Lucidworks; mit Sitz in der EU: Empathy.co (ES), Findologic (DE), Doofinder (ES); die meisten anderen genannten Anbieter sitzen außerhalb der EU, prüfen Sie daher den Datenstandort.
• Plattform-Plugins: Suchanwendungen für Shopify und Adobe Commerce, Salesforce Commerce Cloud.
• DAM: Adobe Experience Manager Assets, Bynder (NL), Canto, Frontify, Cloudinary und Pimcore (AT) bieten Suche nach ähnlichen Bildern oder KI-Tagging.
• A wählen, wenn: Sie einen Standard-Shop oder ein DAM betreiben und in Wochen Ergebnisse ohne ML-Personal wollen.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Embedding-APIs: Google Vertex AI Multimodal Embeddings (EU-Regionen), Amazon Titan Multimodal Embeddings auf Bedrock (Frankfurt/Irland), Azure AI Vision Multimodal Embeddings, Cohere Embed v4 (multimodal), Jina-AI-Embeddings (in Berlin gegründet, jetzt Teil von Elastic; multimodal v4), Voyage Multimodal Embeddings.
• Vektorspeicher: verwaltetes OpenSearch, Elasticsearch (kNN), MongoDB Atlas Vector Search, pgvector auf verwaltetem Postgres, Qdrant Cloud (in Deutschland gegründet, EU-Regionen), Weaviate Cloud, Pinecone.
• Reranking / Erklärung: Ein VLM der Spitzenklasse (Claude, Gemini, GPT, Mistral Pixtral) prüft die Top-10- Kandidaten und schreibt eine Attributerklärung.
• B wählen, wenn: Sie ein Entwicklerteam haben und Kontrolle über Ranking, Filter und Bedienung wollen.

Weg C — Selbst betreiben (Open Source)

• Modelle: OpenCLIP, SigLIP / SigLIP 2 (Google, offene Gewichte), Meta DINOv2 / DINOv3 für Ähnlichkeit auf Instanzebene, Jina CLIP v2, Nomic Embed Vision, Modelle im Stil von ColPali für Seitenbilder.
• Erkennung/Segmentierung zum Ausschneiden: YOLO-Familie (Lizenz prüfen, z. B. AGPL bei Ultralytics), RT-DETR, Grounding DINO, SAM 2.
• Index: Qdrant, Milvus, FAISS, pgvector, OpenSearch; Modelle über Triton, vLLM oder ONNX Runtime bereitstellen.
• Hardware: HW1 für das Embedding kleiner Modelle zur Anfragezeit; HW2 (eine 24-GB-GPU) indiziert problemlos Millionen Bilder in Tagen und bedient mit kleinen ViT-Modellen Hunderte Anfragen pro Sekunde.
• C wählen, wenn: Daten Ihr Haus nicht verlassen dürfen (Archive, unveröffentlichte Produktbilder) oder die Kataloggröße die API-Kosten in die Höhe treibt.

Weg D — Eigenes Training

Das Embedding-Modell mit Metric Learning (Triplet- oder kontrastiver Verlust) auf dem eigenen Katalog feintunen, wenn feine Unterschiede zählen (Ersatzteile, Textilien, Kunst). Benötigt Tausende passender Paare (Klick-Logs, „gleiche Artikelnummer, anderes Foto“, nutzererstellte vs. Studiobilder). Ein leichtgewichtiger Adapter auf einem eingefrorenen Backbone genügt oft und ist günstiger als ein vollständiges Training.

Stand der Technik (2026)

• Foundation-Embeddings (SigLIP 2, DINOv3, multimodale API-Embeddings) liefern starke Zero-Shot- Suche; Merkmale im DINO-Stil (selbstüberwacht) sind besser beim Instanz-Abgleich, CLIP/SigLIP-Stil beim semantischen Abgleich und bei Textanfragen. Viele Systeme kombinieren beides.
• Komponierte Suche (Bild + Textänderung) und multimodales RAG (Bilder abrufen, um VLM-Antworten zu untermauern) sind inzwischen Standardoptionen; Late-Interaction-Modelle verbessern die Suche in Dokumentbildern.
• Hybridsuche (Vektor + BM25 + Filter) mit Reranking schlägt reine Vektorsuche im Handel.
• Grenzen und Fehlerbilder: Hintergrund- und Kontextverzerrung; Unterschiede bei Blickwinkel und Licht zwischen Nutzerfotos und Studioaufnahmen; schwache Ergebnisse bei sehr ähnlichen Teilen; Text in Bildern wird nur schwach erfasst (mit OCR kombinieren, VIS-018); Embedding-Drift: Beim Modellwechsel ist eine Neuindizierung nötig; Bevorzugung beliebter Artikel; manipulierte oder gefälschte Bilder.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack (VLM + Embeddings + Vektordatenbank): KNOW-005 semantische Produktsuche, KNOW-016 multimodale Archivsuche, DOC-014 Dokumentenparsing für RAG; eine Vektordatenbank und ein Embedding-Dienst können alle bedienen.
• Vor-/nachgelagert: VIS-017 visuelle Produkterkennung, VIS-009 Regalüberwachung (Abgleich erkannter Produkte mit dem Katalog), VIS-025 Video-Tagging, VIS-030 Anonymisierung nutzerhochgeladener Fotos vor der Speicherung, VIS-018 OCR für Text auf Teilen.
• Hardware: Die HW2-GPU-Box, die für die Erkennung genutzt wird (VIS-001, VIS-009), deckt auch Embedding-Jobs ab.

Aufwand, Kosten & Kennzahlen

• Weg A: Tage bis wenige Wochen; SaaS-Gebühren skalieren meist mit Anfrage- oder Katalogvolumen.
• Weg B: 1–3 Monate einschließlich Indexierungs-Pipeline, Oberfläche und Evaluierung; Kostentreiber sind das einmalige Embedding des Katalogs, der Vektorspeicher und die Embedding-Aufrufe pro Anfrage.
• Weg C: 2–4 Monate; GPU für Batch-Indexierung, Betrieb der Vektordatenbank und Überwachungsaufwand.
• Weg D: zusätzlich 1–3 Monate für Datensammlung und Training.
• Kennzahlen: Recall@k / NDCG auf einem beschrifteten Anfrage-Satz, Rate der Nulltreffer, Klickrate und In-den-Warenkorb-Rate aus der visuellen Suche, Konversion gegenüber Kontrollgruppe, Latenz (p95), Aktualität des Index, Anteil der Anfragen mit Rückfall.

Menschen & Veränderung

Wer und wann: Die Geschäftsleitung entscheidet über den Umfang; die Fachbereichsleitung (E-Commerce, Vertrieb oder Archiv) verantwortet die Relevanzkriterien; die Dateneigentümer von PIM und Bildbibliotheken bereinigen zuerst den Katalog; die IT integriert die Suche; die/der Datenschutzbeauftragte wird einbezogen, wenn von Nutzern hochgeladene Fotos verarbeitet werden. Binden Sie Endnutzer, etwa aus Vertrieb und Service, früh mit echten Suchbeispielen ein.

Betriebsrat: In der Regel nein, da die Funktion Kunden dient und Beschäftigte nicht bewertet (§87 Abs. 1 Nr. 6 BetrVG). Ausnahme: Wird die interne Nutzung je Beschäftigtem protokolliert, etwa in Service-Desks, kann Mitbestimmung greifen. Informieren Sie den Betriebsrat dennoch nach §90 Abs. 1 Nr. 3 BetrVG, wenn sich Arbeitsabläufe ändern.

Datenschutz: Kunden-Uploads können Gesichter, Orte oder Dokumente enthalten; löschen Sie Anfragen zeitnah, nutzen Sie sie ohne Rechtsgrundlage nicht für Training und schließen Sie mit dem Anbieter einen AVV (Art. 28 DSGVO) ab (GUIDE-005).

KI-Kompetenz: Unterstützen Sie die Mitarbeitenden mit einer kurzen Einweisung, was Ähnlichkeitssuche kann und was nicht (Art. 4 KI-Verordnung, GUIDE-006).

Pilot und Kommunikation: Pilotieren Sie in einer Produktkategorie und vergleichen Sie mit der Textsuche (GUIDE-009).

Typische Bedenken: falsche Treffer und die Angst, Produktexperten zu ersetzen. Lassen Sie die Experten die Kontrolle über Feinabstimmung und Synonyme behalten und zeigen Sie einen Rückfall auf die klassische Suche.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): minimales Risiko bei Produkt- und Asset-Suche; die Pflicht zur KI-Kompetenz (Art. 4) gilt. Warnung zu Art. 5: Eine Funktion „Suche per Bild“, die Personen anhand des Gesichts identifiziert oder Gesichts- datenbanken durch ungezieltes Auslesen von Internet- oder Überwachungskamerabildern aufbaut (Art. 5 Abs. 1 Buchst. e), ist verboten; biometrische Echtzeit-Fernidentifizierung und andere biometrische Anwendungen sind eingeschränkt oder Hochrisiko (Anhang III). Schließen Sie Personen-/Gesichtssuche aus der visuellen Verbrauchersuche aus, filtern oder verwischen Sie Gesichter in Indizes (VIS-030) und bieten Sie keine gesichtsbasierten Werkzeuge für die umgekehrte Suche an [7].
• DSGVO: Von Nutzern hochgeladene Fotos können Personen, Wohnungen, Kennzeichen oder Standort-Metadaten zeigen; Zweck festlegen, Speicherdauer minimieren (Anfragebilder nach der Suche löschen), EXIF entfernen, Nutzer in der Datenschutzerklärung informieren, mit API-Anbietern einen AVV abschließen, EU-Regionen bevorzugen. Archivbilder mit erkennbaren Personen können besondere Kategorien von Daten (Art. 9) berühren, wenn Gesichter durch Rückschluss sensible Merkmale offenbaren.
• Urheberrecht und Rechte: Das Indizieren von Bildern Dritter kann Urheber- oder Datenbankrechte verletzen; Ergebnisse auf Assets mit geklärten Rechten beschränken; die EU-Ausnahmen für Text und Data Mining (DSM-Richtlinie Art. 3/4) sind wichtig, wenn eigene Modelle trainiert werden.
• Weitere Risiken: verzerrtes oder manipuliertes Ranking, Bewerbung von Fälschungen, DSA-Transparenzpflichten für Empfehlungsparameter auf großen Plattformen.
• Gegenmaßnahmen: Ausschluss von Gesichtern/Personen, Filter nach Rechte-Metadaten, Anfrageprotokolle mit kurzer Aufbewahrung, Offline-Evaluierung je Kategorie, Eingriffsmöglichkeit für Merchandiser.

Erste Schritte

1. Die Anfragetypen festlegen (Shop the Look, Teilesuche, DAM) und 200 echte Testanfragen mit erwarteten Ergebnissen aufbauen.
2. Einen repräsentativen Ausschnitt des Katalogs mit zwei Embedding-Modellen indizieren (eines per API, eines mit offenen Gewichten) und Recall@10 vergleichen.
3. Erkennung/Ausschneiden und Metadatenfilter ergänzen; eine hybride Text+Bild-Anfrage hinzufügen.
4. Den Start hinter einem A/B-Test in einer Kategorie durchführen; Klicks und Anfragen ohne Treffer protokollieren.
5. Vor dem allgemeinen Rollout eine Prüfung im Stil einer DSFA für Uploads durchführen (Speicherdauer, EXIF, Gesichter).

Quellen

1. Google Cloud — Vertex AI multimodal embeddings API — https://cloud.google.com/vertex-ai/generative-ai/docs/embeddings/get-multimodal-embeddings
2. AWS — Amazon Titan Multimodal Embeddings (Bedrock) — https://docs.aws.amazon.com/bedrock/latest/userguide/titan-multiemb-models.html
3. SigLIP 2: Multilingual Vision-Language Encoders (paper) — https://arxiv.org/abs/2502.14786
4. DINOv3 (Meta AI, paper) — https://arxiv.org/abs/2508.10104
5. Pinterest Engineering — visual search at Pinterest (paper) — https://arxiv.org/abs/1505.07647
6. OpenCLIP project — https://github.com/mlfoundations/open_clip
7. Regulation (EU) 2024/1689 (AI Act), Art. 5 — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
8. Qdrant documentation — https://qdrant.tech/documentation/
9. Regulation (EU) 2016/679 (GDPR) — https://eur-lex.europa.eu/eli/reg/2016/679/oj