Foto- und Videobibliothek ordnen und durchsuchen

Ein typischer Haushalt besitzt Zehntausende Fotos und Videos, verteilt auf Smartphones, Laptops, Messenger und alte Backups. Ordnernamen und Datum reichen nach einigen Jahren nicht mehr aus. Mit Bild-Sprach-Embeddings suchen Menschen, indem sie beschreiben, woran sie sich erinnern; die Gesichtsgruppierung fasst dieselben Personen zusammen, und die Duplikatbereinigung räumt das Durcheinander auf. Das meiste läuft heute auf dem Smartphone selbst oder auf einem kleinen Heimserver, sodass Fotos nicht in die Cloud eines Dritten müssen.

Problem & Nutzen

• Heute: Fotos sammeln sich in Kamerarollen, WhatsApp-/Signal-Exporten, Cloud-Diensten und externen Festplatten. „Das Foto vom roten Fahrrad in Lissabon“ zu finden, heißt scrollen. Duplikate, Screenshots und Serienbilder verschwenden Speicherplatz, und viele Menschen fürchten den Verlust von Erinnerungen oder die Bindung an eine Plattform.
• KI-Nutzen: Suche nach Bedeutung statt nach Dateinamen, automatische Gruppierung nach Ereignis, Person und Ort, schnelles Aufräumen von Duplikaten und unscharfen Aufnahmen, erzeugte Bildunterschriften/Alternativtexte sowie automatische Erinnerungen oder Highlight-Videos.
• Nutzenzahlen: Dem Autor sind keine verlässlichen unabhängigen Zahlen zur Zeitersparnis bekannt; messen Sie lieber Ihren eigenen Sucherfolg und Aufräumaufwand, statt sich auf Herstellerangaben zu verlassen.

Varianten

• In die Plattform integriert (Standard für die meisten): Google Fotos, Apple Fotos, Microsoft OneDrive Fotos, Samsung Galerie.
• Selbst betriebene Foto-Cloud: Immich, PhotoPrism, Ente (EU-freundlich, Ende-zu-Ende-verschlüsselt), LibrePhotos.
• Familien-/gemeinsame Bibliothek: geteilte Alben mit Gesichtserkennung pro Person und Freigaberegeln.
• Berufsfotografen und kleine Studios: KI-gestützte Vorauswahl, Verschlagwortung und DAM-Tagging (Adobe Lightroom, Capture One, Excire) — branchenübergreifende Überschneidung mit GEN-001 und KNOW-016.
• Video: Szenen-/Highlight-Erkennung und Sprachtranskripte für die Suche, siehe VIS-025.
• Archivierung / Digitalisierung: gescannte Familienabzüge und alte Dias, Verbindung zu PERS-010 (Ahnenforschung).
• Barrierefreiheit: automatische Alternativtexte und Szenenbeschreibung, siehe PERS-007.

So funktioniert es

1. ingest (phone auto-upload, folder watch, import)
2. metadata extraction (EXIF, GPS, time zone, live-photo/burst grouping)
3. perceptual hashing (exact + near-duplicate detection)
4. image embeddings (CLIP/SigLIP-style) + optional VLM captions + object/scene labels
5. face detection
6. face embeddings
7. clustering into "people" (user names clusters)
8. video: keyframe sampling, scene splits, optional speech-to-text
9. index (vector DB + metadata filters, reverse geocoding)
10. search UI (text, person, place, date) · albums/memories · clean-up suggestions

• Semantische Suche: Ein kontrastiver Dual-Encoder (CLIP, SigLIP 2) bettet Bilder und Textanfragen in denselben Vektorraum ein; die Suche ist eine Nächste-Nachbarn-Abfrage, optional kombiniert mit Filtern nach Datum, Ort und Person. Mehrsprachige Textencoder sind in der EU wichtig, weil Anfragen in vielen Sprachen gestellt werden.
• Dialogsuche: Neuere Assistenten (z. B. Googles „Ask Photos“, Gemini-basiert) beantworten Fragen wie „Wie hieß das Restaurant, in dem wir in Rom waren?“ mithilfe eines VLM über die Bibliothek. Die Verfügbarkeit unterscheidet sich je nach Region; prüfen Sie den aktuellen Stand für Ihr Land.
• Gesichter: Detektor plus Gesichts-Embedding-Modell, danach Clustering. Dies ist eine biometrische Verarbeitung jeder abgebildeten Person, einschließlich Passanten und Kindern (siehe Risiken).
• Mensch-in-der-Schleife (Human-in-the-Loop): Die Nutzerin oder der Nutzer benennt oder verschmilzt Personengruppen, bestätigt das Löschen von Duplikaten (niemals automatisch löschen) und korrigiert falsche Tags; Änderungen fließen in den lokalen Index zurück.

Datenaufbereitung

Das Material sind Fotos und Videos, verteilt auf Smartphones, alte Laptops, externe Festplatten, Speicherkarten, Messenger-Downloads und Cloud-Konten. Typische Lücken: Duplikate und Beinahe-Duplikate über mehrere Geräte hinweg, fehlende oder falsche Datumsangaben und GPS-Daten, von Messengern entfernte Metadaten, unter Fotos gemischte Screenshots, gescannte Abzüge ganz ohne Metadaten und eine unklare Ordnerstruktur. Zugriffsrechte spielen eine Rolle, wenn Familienmitglieder oder andere Personen auf den Bildern zu sehen sind.

Schritte der Aufbereitung: - Zuerst alles an einem Ort zusammentragen (ein NAS-Ordner oder eine einzige Bibliothek); das ist der größte Teil der Arbeit. - Exakte Duplikate per Hash entfernen, danach Beinahe-Duplikate mit der Gruppierung des Werkzeugs prüfen (PREP-007 behandelt ungewöhnliche Altformate wie HEIC oder alte Camcorder-Dateien). - Datumsangaben aus Dateinamen oder EXIF mit Werkzeugen wie ExifTool reparieren; alte Abzüge mit 300-600 dpi scannen (PREP-006). - Eine einfache Ordner- oder Albumkonvention festlegen und die Originale unangetastet lassen; Tags und Gesichtsgruppen von der KI in einem separaten Index erzeugen lassen (PREP-010). - Vor jeder Massenoperation ein Backup anlegen (3-2-1-Regel).

Grober Anteil am Aufwand: 50-70 Prozent des Gesamtaufwands, da die KI-Indexierung selbst unbeaufsichtigt läuft, während das Sammeln, Entfernen von Duplikaten und Korrigieren von Metadaten manuelle Aufmerksamkeit braucht. Rechnen Sie mit einem Wochenende für einige tausend Fotos und mehreren Wochenenden für Archive über Jahrzehnte.

Umsetzungswege

Welcher Weg für wen

• private: A, weil ausgereifte Foto-Apps (Apple Fotos, Google Fotos, Ente, Synology Photos) Verschlagwortung, Suche und Duplikatbereinigung mit wenig Aufwand abdecken; für sensible Unterlagen verschlüsselte oder EU-Angebote wählen.
• developer: C, weil Immich, PhotoPrism oder eine eigene CLIP-/SigLIP-Pipeline auf einem NAS oder Mini-PC die volle Kontrolle über Gesichts- und Standortdaten behält und erweitert werden kann.

Weg A — Kaufen (Standardsoftware) (für die meisten empfohlen)

• Foto-Apps der Plattformen: Google Fotos, Apple Fotos (Intelligenz auf dem Gerät, mit iCloud-Synchronisierung), Microsoft OneDrive; Samsung Galerie. Am einfachsten, beste Smartphone-Integration, aber die Daten liegen bei einem US-Anbieter.
• EU / datenschutzorientiert: Ente Photos (Sitz in der EU, Ende-zu-Ende-verschlüsselt, ML läuft auf dem Gerät), Synology Photos und QNAP QuMagie (NAS-basiert, Hersteller in Taiwan, Daten bleiben zu Hause), Proton Drive als verschlüsselter Backup-Speicher (Schweiz).
• A wählen, wenn: Bequemlichkeit am wichtigsten ist und die Datenverarbeitung des Anbieters akzeptabel ist; für sensibles Material verschlüsselte oder lokale Optionen bevorzugen.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Für Einzelpersonen selten nötig. Entwickler können eine multimodale API (Claude, Gemini, GPT, Mistral der Pixtral-Klasse) für Bildunterschriften und Fragebeantwortung mit einem Embedding-Modell und beliebigem Vektorspeicher kombinieren.
• Die Kosten wachsen mit der Bildanzahl; Bilder vor dem Senden verkleinern. Das Senden von Familienfotos an eine Cloud-API ist eine Verarbeitung personenbezogener Daten durch die Nutzerin oder den Nutzer als Verantwortlichen gegenüber dem Anbieter; EU-Regionen und Zero-Retention-Bedingungen nutzen, wo angeboten.
• B wählen, wenn: Sie ein Produkt bauen (z. B. eine Foto-Such-App) oder eine besondere Logik für Bildunterschriften brauchen.

Weg C — Selbst betreiben (Open Source)

• Immich (quelloffene Alternative zu Google Fotos mit CLIP-basierter intelligenter Suche, Gesichtserkennung, automatischem Backup vom Smartphone, optionalem hardwarebeschleunigtem ML-Worker) und PhotoPrism (Go, TensorFlow-basierte Klassifikation, Gesichtserkennung, Karten) sind die führenden Projekte; LibrePhotos ist eine leichtere Alternative. Bereitstellung mit Docker Compose auf einem NAS oder Mini-PC.
• Modelle: OpenCLIP / SigLIP 2 für Embeddings (mehrsprachige Varianten für nicht englische Anfragen), Modelle im Stil von InsightFace oder ähnliche für Gesichter, Qwen-VL / offene VLMs der Gemma-Klasse über Ollama oder llama.cpp für Bildunterschriften und Chat über die Bibliothek, Whisper für Videosprache.
• Hardware: HW1 genügt (CPU, Mini-PC der N100-Klasse oder NAS); die erste Indexierung einer großen Bibliothek dauert auf der CPU Stunden bis Tage, eine bescheidene GPU (HW2) verkürzt das stark und ermöglicht lokale VLM-Bildunterschriften. Speicher und Backups (3-2-1-Regel) sind wichtiger als Rechenleistung.
• Betriebsaufwand: einige Stunden für die Einrichtung; laufend Updates und Überwachung der Backups. Fernzugriff über VPN (im Stil von WireGuard/Tailscale) statt über offene Ports.

Weg D — Eigenes Training

Fast nie. Das Feintuning eines Embedding-Modells auf eine persönliche Sammlung bringt wenig. Ausnahmen: Archive mit ungewöhnlichen Inhalten (z. B. historische Glasnegative) oder ein kommerzielles DAM, das fachspezifische Verschlagwortung braucht.

Stand der Technik (2026)

• Dual-Encoder-Retrieval (CLIP, SigLIP 2) ist der Standard für die Text-zu-Bild-Suche und ist günstig genug für Smartphones und NAS-Geräte. Mehrsprachige und besser lokalisierende Varianten haben die Zero-Shot-Suchqualität verbessert [4].
• VLMs über Bibliotheken: Dialogbasierte Fotosuche und automatische Bildunterschriften werden inzwischen in Verbraucherprodukten ausgeliefert; die Qualität ist gut bei Objekten, Szenen und Text in Fotos (OCR), schwächer bei genauen Zählungen, kleinem Text, feiner Identifikation und räumlichen Beziehungen.
• Verarbeitung auf dem Gerät: Mobile NPUs führen Embeddings, Gesichtsgruppierung und Duplikaterkennung lokal aus (Apple Fotos, Ente) und verringern so die Datenschutzexposition.
• Video: Keyframe-Embeddings plus Spracherkennung ergeben eine brauchbare Suche; zeitliches Schlussfolgern über lange Videos ist weiterhin schwächer als die Bildsuche.
• Grenzen und Fehlerbilder: falsche Personengruppen (Geschwister, Altern, Kinder), verzerrte Gesichtserkennung über Hautfarben und Altersgruppen hinweg, erfundene Bildunterschriften, falsch gesetzte Geotags, zu aggressives Zusammenführen von Beinahe-Duplikaten bei Serienbildern und Datenverlust, wenn der Cloud-Index als einziges Backup gilt. Erzeugte „Erinnerungen“ können schmerzhafte Ereignisse (Trauerfall, Trennung) wieder hervorholen — bieten Sie Funktionen zum Ausblenden/Ausschließen an.

Gemeinsame Bausteine & Kombinationen

• Derselbe Stack (vlm + embeddings + vector-db): KNOW-016 (multimodale Archivsuche), VIS-025 (Videoverschlagwortung), VIS-030 (Anonymisierung von Gesichtern/Kennzeichen vor dem Teilen).
• Gemeinsame Hardware: Ein Heimserver (HW1/HW2) kann zusätzlich PERS-005 (privater lokaler Assistent) betreiben; dasselbe VLM erzeugt hier Bildunterschriften und anderswo Screenshots/Dokumente.
• Naheliegende Kombinationen: PERS-017 (Lifelogging-Aufnahmen speisen die Bibliothek), PERS-010 (digitalisierte Familienfotos), PERS-007 (Alternativtext und Szenenbeschreibung), PERS-009 (gemeinsame Familienorganisation), VIS-016 als Gegenbeispiel zur (geschäftlichen) Gesichtserkennung.

Aufwand, Kosten & Kennzahlen

• Weg A: Minuten für die Einrichtung; kostenlose Stufen, danach grob ein monatliches Speicherabo je Kapazitätsstufe.
• Weg C: ein Wochenende für eine erste funktionierende Installation; die Hardwarekosten bestehen hauptsächlich aus NAS/Mini-PC plus Festplatten und einem externen Backup.
• Weg B: Entwicklungsaufwand von Wochen; Bezahlung pro verarbeitetem Bild.
• Kennzahlen: Zeit bis zum Finden eines Zielfotos, Anteil der Bibliothek mit brauchbaren Tags, Anteil entfernter Duplikate, Genauigkeit der Gesichtsgruppen nach Korrektur, bestandener Test der Backup-Wiederherstellung, ML-Indexierungsdurchsatz (Bilder/Stunde).

Menschen & Veränderung

Dies ist überwiegend ein privater Anwendungsfall, daher ist der Haushalt der relevante Kreis. Vereinbaren Sie mit den Familienmitgliedern, wem die Bibliothek gehört, wer welche Alben sehen darf und ob die Gesichtserkennung überhaupt eingeschaltet ist; auch abgebildete Personen haben Rechte, veröffentlichen Sie daher keine Gruppen von Dritten und löschen Sie Gesichtsdaten auf Verlangen. Holen Sie eine Einwilligung ein, bevor Sie Fotos von Gästen oder Kindern anderer indexieren.

Betriebsrat: nein, da es kein Beschäftigtensystem ist. Übernimmt ein Verein, eine Schule oder ein Unternehmen den Ansatz für Fotos von Beschäftigten oder Mitgliedern, sollte die Datenschutzbeauftragte bzw. der Datenschutzbeauftragte die Rechtsgrundlage prüfen (Gesichtserkennung betrifft biometrische Daten und braucht in der Regel eine ausdrückliche Einwilligung oder sollte ausgeschaltet bleiben), und ein Betriebsrat wäre nach § 87 Abs. 1 Nr. 6 und § 90 BetrVG zu beteiligen, wenn Beschäftigte identifizierbar sind (GUIDE-004, GUIDE-005).

KI-Kompetenz: Eine kurze Unterweisung der Familie genügt: was die App in die Cloud sendet, was lokal läuft, dass Tags und Gesichtsgruppen falsch sein können und dass erzeugte Bildunterschriften Vorschläge sind (GUIDE-006). Beginnen Sie mit einem Pilotalbum zu einem Ereignis oder einem Jahr, prüfen Sie die Genauigkeit gemeinsam und weiten Sie dann auf die gesamte Bibliothek aus. Typische Sorgen sind Datenschutz, Bindung an einen Anbieter und Verlust von Fotos; ihnen begegnen Sie mit lokalen oder Ende-zu-Ende-verschlüsselten Optionen, einem Exportweg (GUIDE-002) und geprüften Backups. Der Mensch entscheidet stets, was gelöscht wird, denn das automatische Löschen von Duplikaten sollte eine manuelle Bestätigung bleiben.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): minimales Risiko bei privater Fotoverwaltung. Pflichten gelten für Anbieter/Betreiber, und KI-Kompetenz (Art. 4) ist für Anbieter relevant. Verbot nach Art. 5 Abs. 1 Buchst. e: Das Erstellen oder Erweitern von Gesichtserkennungsdatenbanken durch ungezieltes Auslesen von Bildern aus dem Internet oder von Überwachungskameras ist verboten — eine private Bibliothek mit einwilligungsbasierten, vom Nutzer bereitgestellten Fotos ist ein anderer Fall, aber ein Produkt darf niemals Gesichtsdatenbanken durch Scraping aufbauen. Biometrische Kategorisierung, die sensible Merkmale ableitet (Rasse, Religion, sexuelle Orientierung usw., Art. 5 Abs. 1 Buchst. g), ist ebenfalls verboten; ergänzen Sie daher keine Funktionen, die solche Merkmale aus Gesichtern ableiten. Öffentlich geteilte erzeugte oder bearbeitete Medien können für Anbieter generativer Funktionen unter Transparenzpflichten fallen (Art. 50).
• DSGVO: Rein persönliche oder familiäre Tätigkeiten sind ausgenommen (Art. 2 Abs. 2 Buchst. c), doch das gilt nicht für den Anbieter einer Cloud oder App, der Verantwortlicher oder Auftragsverarbeiter ist. Gesichtsvorlagen, die zur eindeutigen Identifizierung einer Person dienen, sind biometrische Daten (besondere Kategorie nach Art. 9) — Anbieter brauchen eine ausdrückliche Einwilligungsgrundlage, und der EDSA behandelt Fotos nur dann als biometrische Daten, wenn sie mit technischen Mitteln verarbeitet werden, die eine eindeutige Identifizierung erlauben [6]. Das Veröffentlichen von Fotos anderer im Internet, insbesondere von Kindern, oder der Betrieb einer gemeinsamen/Community- oder Vereinsbibliothek kann die Haushaltsausnahme verlassen, sodass Einwilligung, Zweckbindung und Löschung gelten. Betroffenenrechte (Auskunft, Löschung) gelten gegenüber Anbietern.
• Fotos von Kindern: Datenminimierung anwenden; öffentliches Teilen vermeiden; Regeln der Plattformen und der nationale Jugendschutz gelten.
• Sicherheit: Selbst betriebene Server brauchen Patches, starke Authentifizierung, TLS, keine öffentliche Erreichbarkeit und getestete Backups; E2EE-Dienste verzichten dafür auf serverseitige ML-Funktionen.
• Gegenmaßnahmen: lokale Verarbeitung, wo möglich, Gesichtserkennung nur per Opt-in, niemals automatisch löschen, Freigabekontrollen pro Album, Cloud-Nutzung gegenüber Familienmitgliedern offenlegen, die in der Bibliothek vorkommen.

Erste Schritte

1. Quellen erfassen (Smartphones, Messenger-Exporte, alte Festplatten) und vor jeder KI-Bereinigung ein geprüftes Backup anlegen.
2. Die integrierte App (Apple/Google Fotos) ausprobieren und entscheiden, ob die Verarbeitung durch den Anbieter akzeptabel ist; die Gesichtsgruppierung ausschalten, falls nicht.
3. Für mehr Kontrolle: Immich oder PhotoPrism per Docker auf einem NAS/Mini-PC installieren, eine Stichprobe von 1.000 Fotos importieren und Suchen in der eigenen Sprache testen.
4. Die Personengruppen benennen, Duplikatvorschläge manuell prüfen und ein externes verschlüsseltes Backup einrichten.
5. Familienregeln für das Teilen von Fotos von Kindern und anderen Personen vereinbaren.

Quellen

1. Immich project documentation (smart search, facial recognition, machine learning) — https://immich.app/docs/overview/introduction
2. PhotoPrism user guide — https://docs.photoprism.app/user-guide/
3. Ente Photos (end-to-end encrypted, on-device ML) — https://ente.io/
4. Tschannen et al., "SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features" — https://arxiv.org/abs/2502.14786
5. Radford et al., "Learning Transferable Visual Models From Natural Language Supervision" (CLIP) — https://arxiv.org/abs/2103.00020
6. EDPB Guidelines 3/2019 on processing of personal data through video devices (biometric data) — https://www.edpb.europa.eu/our-work-tools/our-documents/guidelines/guidelines-32019-processing-personal-data-through-video_en
7. Regulation (EU) 2024/1689 (AI Act), Art. 5 and Art. 50 — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
8. Regulation (EU) 2016/679 (GDPR), Art. 2(2)(c) and Art. 9 — https://eur-lex.europa.eu/eli/reg/2016/679/oj
9. OpenCLIP — https://github.com/mlfoundations/open_clip