Assistive KI für blinde und sehbehinderte Menschen (Szenenbeschreibung)

Blinde und sehbehinderte Menschen verlassen sich seit Langem auf Screenreader, OCR-Apps und sehende Helfer. Bild-Sprach-Modelle lassen nun ein Smartphone oder eine Smartbrille eine Szene beschreiben, ein Etikett vorlesen, ein Diagramm erklären und Folgefragen in natürlicher Sprache beantworten, binnen Sekunden und zu jeder Tageszeit. Das Ergebnis ist mehr Selbstständigkeit bei alltäglichen Aufgaben, aber mit echten Grenzen: Beschreibungen können falsch sein und dürfen niemals die alleinige Absicherung bei Mobilität, Medikation oder anderen sicherheitskritischen Entscheidungen sein.

Problem & Nutzen

• Wer: Die WHO schätzt, dass weltweit mindestens 2,2 Milliarden Menschen eine Seebehinderung in der Nähe oder Ferne haben [5]. In der EU sind Millionen Menschen blind oder sehbehindert; die Europäische Blindenunion ist die wichtigste Interessenvertretung [6].
• Heute: eine Mischung aus Screenreadern (VoiceOver, TalkBack, NVDA, JAWS), OCR-Apps, Blindenstock und Blindenführhund sowie sehender Hilfe von Familie, Freiwilligen oder bezahlten Diensten. Bilder ohne Alternativtext, unbeschriftete Verpackungen, Briefe auf Papier und unbekannte Räume bleiben wiederkehrende Barrieren.
• KI-Nutzen: Beschreibung beliebiger Bilder und Szenen auf Abruf, Nachfragen im Gespräch („Ist das Haltbarkeitsdatum zu sehen?“, „Welche Farbe hat dieses Hemd?“), Vorlesen von gedrucktem und handschriftlichem Text sowie automatische Alternativtexte in allen Apps. Dienste auf Freiwilligenbasis zeigen die Nachfrage bereits: Be My Eyes berichtet von einer sehr großen Gemeinschaft blinder Nutzerinnen und Nutzer und sehender Freiwilliger und hat darauf aufbauend mit Be My AI einen KI-Sehassistenten ergänzt [1].
• Regulatorischer Sog (EU): Der European Accessibility Act (Richtlinie 2019/882) gilt seit dem 28. Juni 2025 unter anderem für E-Commerce, Bankdienstleistungen und E-Books [3].

Varianten

• Smartphone-Assistenten: Fragen und Antworten zu Fotos oder zur Live-Kamera (Be My AI, Microsoft Seeing AI, Google Lookout, Envision) [1][2].
• Betriebssystemebene, Brillen, Bildung: Bildbeschreibungen von VoiceOver/TalkBack, Smartbrillen (zu Alternativtexten siehe DOC-026), Beschreibung von Diagrammen und Folien.
• Smartbrillen und Wearables: freihändige Beschreibung über Kamerabrillen mit Sprachsteuerung (z. B. Envision-Brille, Ray-Ban Meta mit Barrierefreiheitsfunktionen) — siehe PERS-017.
• Mensch + KI hybrid: zuerst KI, per Fingertipp Weiterleitung an eine geschulte Freiwillige oder einen professionellen Agenten (Aira, Be My Eyes) — siehe CONV-027.

So funktioniert es

1. Kamerabild / Bild / Screenshot / PDF + gesprochene Frage
2. Erfassung & optionale Vorverarbeitung auf dem Gerät (Unschärfeprüfung, Texterkennung, Gesichter verpixeln)
3. ASR (Sprache
4. Text) für die Frage
5. VLM (+ OCR für dichten Text) mit auf blinde Nutzende abgestimmtem Systemprompt (räumliche Anordnung, Gefahren, kein Raten)
6. Antwortgenerierung mit Unsicherheitsangaben („Das Datum kann ich nicht deutlich lesen“)
7. TTS oder Braillezeile; Folgefragen behalten den Bildkontext
8. optional: Eskalation an menschliche Freiwillige / Beschreibung im persönlichen Gedächtnis speichern

• Zentrale Komponenten: ein multimodales Modell, das Bilder und in Echtzeitvarianten auch Audioströme verarbeitet; ein eigener OCR-/Dokumentenparser für dichten Druck; Sprache-zu-Sprache mit geringer Latenz für das Gespräch.
• Mensch-in-der-Schleife (Human-in-the-Loop): Die Nutzerin oder der Nutzer ist die letzte Instanz; bei Medikamenten, Gefahren, Geld und rechtlichen Dokumenten sollte die App dazu auffordern, mit einer Person oder einer zweiten Quelle gegenzuprüfen. Die Weiterleitung an einen Menschen ist das Sicherheitsnetz.

Datenaufbereitung

Dieser Anwendungsfall braucht fast keine Trainingsdaten: Die Eingaben sind Live-Kamerabilder, Fotos, Screenshots und Dokumente, die die Nutzerin oder der Nutzer im Moment aufnimmt. Die Aufbereitung betrifft daher die Einrichtung, nicht Archive. Wichtig sind Bildqualität (Licht, Bildausschnitt, Unschärfe), klare Prompts in der Sprache der Nutzenden und eine Möglichkeit zur ruhigen Aufnahme, zum Beispiel ein Smartphone an der Brust, eine Brille oder ein Dokumentenständer.

Typische Lücken: schlechter Bildausschnitt, weil die Nutzerin oder der Nutzer den Sucher nicht sehen kann, falsch gelesene Texte und Zahlen, fehlender Kontext zu Zuhause und Routinen der Nutzenden sowie sensible Szenen (Gesichter, Post, Medikamente), die das Gerät verlassen. Für Organisationen, die einen eigenen Dienst aufbauen (Bibliotheken, Verbände, öffentliche Stellen): - Gemeinsam mit blinden Nutzenden einen kleinen Testsatz realer Situationen (Etiketten, Speisekarten, Post, Anzeigen im öffentlichen Nahverkehr) sammeln und als Evaluationsset aufbewahren (PREP-018, PREP-016). - Festlegen, welche Inhalte in die Cloud gesendet werden dürfen und welche auf dem Gerät bleiben müssen, und wo möglich Gesichter verpixeln oder pseudonymisieren (PREP-022, PREP-024). - Für das Dokumentenlesen häufige Formulare vorab scannen und per OCR erfassen (PREP-006, DOC-026). - Ein kurzes Glossar lokaler Ortsnamen und persönlicher Kontakte schreiben, damit der Assistent die richtigen Begriffe verwendet (PREP-015).

Grober Anteil am Aufwand: gering, etwa 10-20 Prozent; der meiste Aufwand fließt in Tests mit blinden Nutzenden und in barrierefreies Design.

Umsetzungswege

Welcher Weg für wen

• private: A, weil erprobte Apps (Be My Eyes, Seeing AI, Envision, Lookout) kostenlos oder günstig sind, mit Screenreadern funktionieren und von blinden Nutzenden validiert wurden.
• developer: B, weil Bild-Sprach-APIs der Spitzenklasse mit EU-Region die beste Beschreibungsqualität für eigene oder eingebettete barrierefreie Apps liefern; C ergänzen, wo Offline-Nutzung wichtig ist.
• public: B, in einer souveränen EU- oder deutschen Cloud, weil Behörden, Bibliotheken und Verbände kontrollierbare Datenflüsse und Barrierefreiheitspflichten nach dem Vergaberecht benötigen; eine Standard-App (A) nur mit klarer Erklärung zur Datenverarbeitung.

Weg A — Kaufen (Standardsoftware) (empfohlen)

• Apps: Be My Eyes / Be My AI (in Dänemark gegründet; für Nutzende kostenlos) [1], Microsoft Seeing AI (kostenlos) [2], Google Lookout (Android), Envision-App und Envision-Brille (Niederlande, EU), Aira (menschliche Agenten plus KI), Apple VoiceOver-Bildbeschreibungen und Erkennungsmodi der Lupe, Ray-Ban-Meta-Brille mit sprachgesteuerter Szenenbeschreibung.
• Wann richtig: fast immer für Einzelpersonen; die Produkte sind kostenlos oder günstig und mit blinden Nutzenden getestet. Prüfen Sie den Datenstandort, ob Bilder gespeichert oder für Trainingszwecke verwendet werden und ob die App offline funktioniert.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Modelle: Claude, Gemini, GPT und Mistral (EU-Anbieter, Pixtral-/Vision-Modelle) per API mit Bildeingabe; Azure AI Vision (Bildbeschreibung, dichte Beschreibungen, OCR) in EU-Regionen; Google Cloud Vision und Document AI; AWS Rekognition und Textract in Frankfurt.
• Sprache in Echtzeit: Echtzeit-/Live-APIs der führenden Anbieter für Sprache-zu-Sprache; Ausweichkette ASR → VLM → TTS (z. B. Azure Speech, Google Cloud Speech, Modelle der Whisper-Klasse, Mistral Voxtral).

Weg C — Selbst betreiben (Open Source)

• Modelle: offene VLMs wie Qwen2.5-VL / Qwen3-VL, Gemma 3 (multimodal), Llama 3.2 Vision, SmolVLM, PaliGemma und Florence-2 für Bildbeschreibung und OCR; Whisper oder faster-whisper für die Spracherkennung; Piper, Kokoro oder Modelle der Coqui-Klasse für die Sprachausgabe; Tesseract oder PaddleOCR für Druckschrift.
• Hardware: HW1 genügt für kompakte Modelle (2–4B-VLM auf einem aktuellen Smartphone oder Laptop-NPU) mit langsameren, kürzeren Antworten; HW2 liefert nahezu Echtzeitqualität für ein 7–8B-VLM auf einem Heimserver.

Weg D — Eigenes Training

Nur bei speziellen Anforderungen sinnvoll: Innenraumnavigation für ein Gelände, eine lokale Sprache oder ein Dialekt oder Fachvokabular (Medikamentenpackungen, Beschilderung im Nahverkehr). Ausgangspunkte sind öffentliche Datensätze aus Fotos blinder Nutzender wie VizWiz [4] sowie die eigenen Bilder der Organisation, für die eine Einwilligung vorliegt. Ein kleines VLM mit LoRA feintunen und mit blinden Testerinnen und Testern evaluieren, nicht nur mit Benchmarks.

Stand der Technik (2026)

• Allgemeine VLMs beschreiben Alltagsszenen, lesen Text in vielen Sprachen und beantworten Folgefragen gut; Sprachdialog in Echtzeit mit einer Live-Kamera ist inzwischen in mehreren Assistenten ein Standardmerkmal. Smartbrillen machen das freihändig nutzbar.
• Benchmarks: Auf VizWiz basierende Aufgaben (VQA, Bildbeschreibung, Grounding) sind die realistischsten Tests, weil die Fotos von blinden Nutzenden aufgenommen wurden und oft unscharf, schlecht ausgerichtet oder schlecht beleuchtet sind [4].
• Grenzen und Fehlerbilder:
• Halluzination: selbstsicher vorgetragene, aber falsche Details (Text, Farben, Anzahlen, Haltbarkeitsdaten, Medikamentennamen).
• Räumliche Fehler: links/rechts, Entfernungen und Tiefe sind oft unzuverlässig; die Modelle sind keine Mobilitätshilfen und dürfen weder Blindenstock, Blindenführhund noch Orientierungstraining ersetzen.
• Verzerrung: Beschreibungen von Personen können stereotyp sein, und Anbieter schränken Aussagen zu Identität oder sensiblen Merkmalen mitunter bewusst ein, was Nutzende frustrieren kann, die solche Informationen wünschen.

Gemeinsame Bausteine & Kombinationen

Teilt vlm + ocr + asr + tts mit CONV-027, DOC-026, PERS-006, PERS-008, PERS-017, PERS-018; ergänzt LANG-030, SPEECH-004, SPEECH-006. Ein HW2-VLM-Server kann mehrere davon bedienen.

Aufwand, Kosten & Kennzahlen

• Weg A: Minuten für die Installation; überwiegend kostenlose Apps; die Brillenhardware kostet mehrere hundert Euro, und einige Dienste verlangen Abonnements. Zeit für Schulung und Orientierung einplanen.
• Weg B: 1–3 Monate für eine eigene App einschließlich Barrierefreiheitstests mit blinden Nutzenden; die API-Kosten pro Bild sind gering, aber Echtzeit-Videositzungen treiben die Kosten.
• Weg C: Tage für ein Hobby-Setup; 1–2 Monate für einen belastbaren Vereinsserver; laufende Wartung.
• Kennzahlen: Aufgabenerfolgsquote in Tests mit blinden Nutzenden, wahrgenommene Selbstständigkeit und Vertrauen (Umfrage), Beschreibungsgenauigkeit bei kritischen Merkmalen (Text, Zahlen, Gefahren), Latenz, Weiterleitungsquote an Menschen, Fehlermeldungen pro 1000 Sitzungen.

Menschen & Veränderung

Die wichtigste Interessengruppe ist die blinde oder sehbehinderte Person: Beziehen Sie Nutzende ab der ersten Skizze ein, testen Sie mit ihnen und lassen Sie sie entscheiden, wann eine Beschreibung vertrauenswürdig ist. Bei einer Organisation (öffentliche Bibliothek, Verband, Arbeitgeber mit Arbeitsplatzassistenz) binden Sie zusätzlich die Abteilungsleitung und die IT für Geräte und Konten, Recht und Compliance für Barrierefreiheitspflichten und die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten ein: Bilder der Umgebung enthalten Dritte und oft gesundheitsbezogenen Kontext, daher sind eine Prüfung der Rechtsgrundlage und, bei einem Dienst in größerem Umfang, eine DSFA ratsam, dazu ein AVV mit jedem Cloud-Anbieter (GUIDE-005).

Betriebsrat: abhängig vom Einzelfall. Die private Nutzung braucht keinen. Stellt ein Arbeitgeber das Werkzeug als Arbeitsplatzanpassung bereit, können Kamera- und Nutzungsprotokolle zur Verhaltensüberwachung geeignet sein, sodass § 87 Abs. 1 Nr. 6 BetrVG greifen kann und der Betriebsrat oder Personalrat rechtzeitig zu unterrichten ist (§ 90 Abs. 1 Nr. 3) und, gemeinsam mit der Schwerbehindertenvertretung, früh einzubinden ist (GUIDE-004).

KI-Kompetenz: Bieten Sie kurze Schulungen zu den Grenzen an (erfundene Details, falsch gelesene Zahlen, kein Ersatz für Blindenstock oder Blindenführhund im Straßenverkehr), um die Pflicht aus Art. 4 KI-Verordnung zu unterstützen (GUIDE-006). Beginnen Sie mit einer kleinen Pilotgruppe von 5-10 Freiwilligen und benennen Sie Peer-Trainer (GUIDE-008). Typische Sorgen sind Datenschutz, übermäßiges Vertrauen und Fehler in sicherheitskritischen Situationen; ihnen begegnen Sie mit klaren Hinweisen („Verlassen Sie sich bei Gefahren nicht darauf“), einer einfachen Möglichkeit, eine freiwillige Helferin oder einen Helfer anzurufen, und lokaler Verarbeitung, wo machbar.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): in der Regel begrenztes oder minimales Risiko. Transparenzpflichten (Art. 50) gelten, wenn das System mit Menschen interagiert oder synthetische Inhalte erzeugt — Nutzende müssen wissen, dass sie mit einer KI sprechen. Ein als Medizinprodukt oder als Sicherheitssystem zur Navigation vermarktetes Produkt könnte unter die MDR und die Hochrisiko-Kategorie (Anhang I) fallen, daher sind Aussagen sorgfältig zu formulieren. Vorsicht bei Art. 5: biometrische Fernidentifizierung und Emotionsableitung aus Gesichtern sind verbotene oder eingeschränkte Kontexte; Assistenten dürfen weder Fremde anhand des Gesichts identifizieren noch am Arbeitsplatz oder in der Bildung Emotionen ableiten. KI-Kompetenz (Art. 4) gilt für das Personal der Anbieter [7].
• DSGVO: Kamerabilder zeigen Umstehende, Wohnräume, Dokumente und Gesundheitsinformationen; eine Sehbehinderung ist selbst ein Gesundheitsdatum (Art. 9). Datenminimierung anwenden, keine Speicherung oder Nutzung zum Training ohne Einwilligung, EU-Regionen und ein AVV. Die Haushaltsausnahme deckt die private Nutzung ab, doch Anbieter sind Verantwortliche. Die Gesichtserkennung bekannter Personen braucht eine ausdrückliche Einwilligung und sollte auf dem Gerät stattfinden.
• Barrierefreiheitsrecht: EAA (Richtlinie 2019/882) und EN 301 549 stellen Anforderungen an Anbieter von Produkten und Diensten; Assistenten sollten selbst WCAG 2.2 befolgen [3].

Erste Schritte

1. Zwei kostenlose Apps (Be My Eyes mit Be My AI, Seeing AI oder Lookout) an typischen Aufgaben ausprobieren: Post, Verpackungen, Kleidung, Screenshots.
2. Eingebaute Betriebssystemfunktionen einschalten (VoiceOver-Bildbeschreibungen, TalkBack mit Gemini) und mit der Nutzerin oder dem Nutzer vereinbaren, was sie oder er vertraut und was eine zweite Quelle braucht.
3. Datenschutzeinstellungen prüfen: Bildspeicherung, Nutzung zum Training, Region, Offline-Modus; keine Bank- oder medizinischen Dokumente an Dienste ohne klare Bedingungen senden.
4. Für Organisationen: früh einen eigenen Assistenten (Weg B) mit 5–10 blinden Testenden pilotieren, die oben genannten Kennzahlen messen und die Weiterleitung an Menschen beibehalten.
5. Für technikaffine Nutzende: ein lokales VLM (Weg C) für private Dokumente und die Offline-Nutzung einrichten.

Quellen

1. Be My Eyes — Be My AI — https://www.bemyeyes.com/
2. Microsoft — Seeing AI — https://www.microsoft.com/en-us/ai/seeing-ai
3. Directive (EU) 2019/882 (European Accessibility Act) — https://eur-lex.europa.eu/eli/dir/2019/882/oj
4. VizWiz — datasets and challenges from blind users — https://vizwiz.org/
5. WHO — Blindness and vision impairment fact sheet — https://www.who.int/news-room/fact-sheets/detail/blindness-and-visual-impairment
6. European Blind Union — https://www.euroblind.org/
7. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
8. Google — Lookout — https://play.google.com/store/apps/details?id=com.google.android.apps.accessibility.reveal
9. Qwen-VL open-weight models — https://github.com/QwenLM/Qwen2.5-VL
10. UploadVR — Ray-Ban Meta glasses get Meta AI detailed responses for blind and low-vision users — https://uploadvr.com/ray-ban-meta-glasses-meta-ai-detailed-responses-blind-low-vision