Visueller Assistent für Heimwerker-Reparaturen und Fehlersuche im Haushalt

Eine Waschmaschine zeigt den Fehler "E18", ein tropfender Wasserhahn braucht eine neue Kartusche, die Kettenschaltung eines Fahrrads schaltet nicht. Heute durchsuchen Menschen Foren und Videos und raten oft. Ein multimodaler Assistent sieht das Gerät, liest das Typenschild, ruft das passende Handbuch oder die passende Reparaturanleitung ab und führt die Nutzerin oder den Nutzer durch jeden Schritt – mit ausdrücklichen Sicherheitsschranken (Netzspannung, Gas, Wasser, tragende Teile) und einer klaren Regel "aufhören und eine Fachkraft rufen". Die EU-Richtlinie zum Recht auf Reparatur macht das Thema noch wichtiger, weil Reparatur künftig Vorrang vor dem Austausch erhalten soll.

Problem & Nutzen

• Heute: Verbraucherinnen und Verbraucher suchen Handbücher von Hand (bei älteren Geräten oft nicht vorhanden), sehen sich allgemeine Videos zum falschen Modell an oder werfen funktionsfähige, aber fehlerhafte Geräte weg. Falsche Anleitungen können Verletzungen (Stromschlag, Gas, Verbrühungen) oder einen größeren Schaden verursachen.
• KI-Nutzen: (1) Geräteidentifikation anhand eines Fotos des Geräts oder des Typenschilds, (2) Zuordnung der genauen Dokumentation zum Modell, (3) interaktive Diagnose mit Rückfragen, (4) freihändige Anleitung, solange die Hände beschäftigt sind, (5) durchgängige Sicherheitseskalation.
• Politischer Rückenwind: Die Richtlinie (EU) 2024/1799 zur Förderung der Reparatur von Waren ergänzt die gesetzliche Gewährleistung um eine Reparaturpflicht der Hersteller, eine europäische Online-Reparaturplattform und Informationspflichten zur Reparatur; die Mitgliedstaaten müssen sie ab dem 31. Juli 2026 anwenden [1].

Varianten

• Decoder für Fehlercodes von Haushaltsgeräten: Weiße Ware, bei Heizkesseln nur Prüfungen auf Nutzerebene, Wärmepumpen, Drucker.
• Elektronik und Gadgets: Smartphones, Laptops, Spielkonsolen (Zerlegeanleitungen, Ersatzteile).
• Instandhaltung im Haushalt: Wasserhähne, Silikonfugen, Trockenbau, einfache Sanitärarbeiten; Mieterinnen und Mieter erhalten Hilfe, Mängel für den Vermieter zu dokumentieren (siehe PERS-015).

So funktioniert es

1. camera / photo / voice
2. device identification (type plate OCR, VLM, barcode)
3. manual & guide retrieval (RAG over manuals, repair-guide sites, parts catalogues; web search)
4. symptom dialogue + diagnosis (reasoning LLM, asks for a photo or measurement)
5. step plan with safety classification of every step
6. live guidance (step-by-step, re-checks progress via camera)
7. escalation gate: stop / call professional / contact manufacturer repair service

• Identifikation: Die Texterkennung (OCR) auf dem Typenschild liefert Marke, Modell und Seriennummer und ist deutlich zuverlässiger als die Erkennung am Aussehen; das VLM dient als Rückfalloption.
• Verankerung in Quellen: Antworten sollten die Seite des Handbuchs oder den Schritt der Anleitung nennen. Fehlt eine Quelle für das genaue Modell, muss der Assistent das sagen, statt zu improvisieren.
• Sicherheitsschicht: Ein Regelwerk stuft jeden Schritt ein (gering / erfordert Abschalten und Prüfen der Spannungsfreiheit / reglementiertes Gewerk). Schritte an Gas, fest installierter Netzverdrahtung, Sicherungskästen, druckbeaufschlagten Kältemittelkreisläufen, aufgeblähten Lithium-Akkus oder tragenden Bauteilen werden nicht angeleitet; der Assistent verweist an eine zugelassene Fachkraft. Diese Schicht ist deterministisch (Richtlinien sowie Schlüsselwort- und Klassifikatorregeln) und wird nicht allein dem LLM überlassen.
• Mensch-in-der-Schleife (Human-in-the-Loop): Die Nutzerin oder der Nutzer bestätigt vor dem nächsten Schritt jede Sicherheitsvoraussetzung (Gerät vom Netz getrennt, Wasser abgestellt); die endgültige Entscheidung, aufzuhören oder weiterzumachen, trifft der Mensch.

Datenaufbereitung

Die Qualität hängt von den Handbüchern und dem Servicewissen hinter der Kamera ab. Für Privatpersonen sind das öffentliche PDFs der Hersteller; in einem KMU liegen sie im DMS, auf Dateiablagen, in E-Mail-Anhängen, im ERP (Ersatzteile, Seriennummern) und teils auf Papier im Servicefahrzeug oder in der Werkstatt. Typische Lücken: gescannte Handbücher ohne Textebene, mehrere Versionen desselben Handbuchs, fehlende Modellnummern in den Dateinamen, in Bildern versteckte Fehlercodelisten und das stille Wissen erfahrener Techniker, das nirgends aufgeschrieben ist. Schritte: (1) Handbücher je Gerätefamilie und Modell erfassen (PREP-001); (2) alte Scans per OCR lesbar machen (PREP-006, DOC-014); (3) Dubletten entfernen und jedes Dokument mit Hersteller, Modell, Baujahr und Sprache kennzeichnen (PREP-010); (4) Handbücher für den Abruf nach Kapitel und Fehlercode teilen; (5) das Know-how der Techniker als kurze Lösungskarten festhalten (PREP-013) und echte Fotos mit korrekter Diagnose als Testmenge sammeln (PREP-018); (6) dem Assistenten nur Lesezugriff auf freigegebene Dokumente geben (PREP-023). Grober Anteil am Aufwand: 30-40 Prozent bei einem KMU, für Privatpersonen nahezu keiner. Einen schnellen Reifegrad-Check finden Sie in GUIDE-003.

Umsetzungswege

Welcher Weg für wen

• KMU: Weg B. Service- und Facility-Management-Unternehmen brauchen Antworten aus eigenen Handbüchern, Ersatzteillisten und der Ticket-Historie, und kein Standardprodukt verbindet diese mit den eigenen Systemen.
• Privat: Weg A. Verbraucher-Apps mit Kameraeingabe und Handbuchsuche sind ausgereift und günstig, und ein Haushalt hat keine Daten, die den Aufwand des Selbstbetriebs rechtfertigen.
• Entwickler: Weg B. Vision-Language-Schnittstellen plus eine Abrufschicht über Herstellerhandbücher sind der schnellste Weg zu einem Produkt; der Selbstbetrieb lohnt sich erst bei hohem Volumen.

Weg A — Kaufen (empfohlen für Privatpersonen)

• Allgemeine multimodale Assistenten mit Live-Kamera: Gemini Live (Kamera- und Bildschirmfreigabe), ChatGPT Advanced Voice mit Video, Claude-Apps für Mobilgeräte mit Bildeingabe. Schnell, ohne Einrichtung, aber nicht am genauen Handbuch verankert.
• Reparaturspezifisch: die Bibliothek mit Reparaturanleitungen von iFixit und dessen KI-Assistent (FixBot); eigene Apps der Hersteller (z. B. Bosch Home Connect, Miele, Samsung SmartThings mit Diagnose) sowie Reparatur-Community-Seiten wie die Netzwerke der Repair Cafés (ehrenamtliche Hilfe).
• EU-Perspektive: Die nach der Richtlinie 2024/1799 vorgeschriebene EU-Online-Reparaturplattform wird Reparaturbetriebe auflisten [1]. Wählen Sie Anbieter mit Verarbeitung in der EU, wenn Fotos das Wohnungsinnere zeigen könnten.
• A wählen, wenn: einmalige Reparaturen anstehen; akzeptieren Sie, dass allgemeine Assistenten bei modellspezifischen Details falsch liegen können.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Modelle: multimodale Spitzenmodelle über API (Claude, Gemini, GPT; die Vision-Modelle von Mistral als Anbieter aus der EU) mit Bildeingabe und Werkzeugnutzung; die Gemini Live API und die OpenAI Realtime API unterstützen Audio- und Video-Streaming für die freihändige Anleitung.
• Abruf: Handbücher (PDF per Dokumentenanalyse) und offene Reparaturanleitungen in einer Vektordatenbank mit hybrider Suche indizieren; ein Werkzeug für Teilekatalog-Abfragen ergänzen.
• Orchestrierung: ein Agent mit den Werkzeugen identify_device, search_manual, lookup_error_code, find_part, find_repairer; Leitplanken für die Sicherheitseinstufung.
• B wählen, wenn: ein Hersteller, Händler, Versicherer oder Betreiber eines Reparaturnetzwerks einen Service-Assistenten unter eigener Marke anbieten will.

Weg C — Selbst betreiben (Open Source)

• Modelle: VLMs mit offenen Gewichten wie Qwen2.5-VL/Qwen3-VL, Gemma 3 (multimodal), Pixtral oder Llama-Vision-Varianten, betrieben über Ollama oder vLLM; Whisper für Sprache; Piper für TTS.
• Abruf: Docling oder PaddleOCR zur Analyse der Handbücher, ein offenes Embedding-Modell, Qdrant oder pgvector.
• Hardware: HW2 (eine GPU mit 16-32 GB oder ein Apple-Silicon-Rechner zu Hause) für ein VLM mit 7-30 Mrd. Parametern; kleine VLMs laufen auf Geräten der Smartphone-Klasse für einfache Identifikation (HW1). Passt zum Heimserver-Aufbau in PERS-005.
• C wählen, wenn: der Schutz von Fotos aus der Wohnung wichtig ist oder für Reparaturprojekte in Gemeinschaften.

Weg D — Eigenes Training

Lohnt sich für einen Hersteller: Feintuning eines VLM auf die eigene Servicedokumentation, Fehlerfotos und Lösungen der Techniker oder ein Bildklassifikator zur Erkennung von Bauteilen. Erfordert kuratierte, beschriftete Bilder je Modellfamilie sowie gelöste Servicefälle. Für Verbraucher: nicht nötig.

Stand der Technik (2026)

• Multimodale Live-Sitzungen (Streaming von Kamera und Sprache mit geringer Latenz) sind in den großen Verbraucher-Assistenten verfügbar; das ist die neue Interaktionsform für "Zeig mir das Problem".
• Stärken: Fehlermeldungen und Typenschilder lesen, ein sichtbares Bauteil erklären, Handbücher übersetzen, allgemeine Fehlerbäume, Teilesuche.
• Grenzen und Fehlerbilder: halluzinierte modellspezifische Schritte, Verwechslung ähnlich aussehender Modelle oder Revisionen, schwache Einschätzung elektrischer oder statischer Gefahren anhand eines Fotos, keine Sicht in verschlossene Gehäuse, übermäßig selbstsichere Aussagen wie "das ist sicher" und veraltete Handbücher. Videos liefern wenig Tiefeninformation, daher müssen Messwerte (Spannung, Maße) von der Nutzerin oder dem Nutzer mit einem Messgerät kommen.

Gemeinsame Bausteine & Kombinationen

• Gleicher Technologie-Stack wie: KNOW-004 (Handbuch-Assistent für Techniker: gleiches RAG über Handbücher, aber für Fachleute), DOC-014 (Dokumentenanalyse für RAG), PERS-007 (Szenenbeschreibung und sprachbasierte Interaktion), PERS-006 (Bildindizierung).
• Kombinierbar mit: PERS-011 (Ersatzteil finden oder Reparatur und Neukauf vergleichen), PERS-015 (Gewährleistung und Verbraucherrechte, wenn die Reparatur verweigert wird), PERS-005 (lokaler Heimassistent), VIS-023 (Schadensdokumentation für Versicherungsfälle), PERS-009 (Wartungspläne im Haushalt).

Aufwand, Kosten & Kennzahlen

• Weg A: Minuten; Abonnement oder kostenlose Stufe.
• Weg B: 1-3 Monate für einen Assistenten unter eigener Marke mit Handbuch-Indizierung und Sicherheitsregeln; die Kosten richten sich nach Bild-/Video-Tokens und der Abdeckung der Handbücher.
• Weg C: Wochen für ein Hobby-Setup; der Hauptaufwand liegt in der Kuratierung der Handbücher.
• Kennzahlen: Quote der richtigen Geräteidentifikation, Erstlösungsquote (von Nutzenden gemeldet), Präzision/Trefferquote der Sicherheitseskalation an einer Testmenge, Anteil der Antworten mit Quellenangabe, vermiedene Serviceeinsätze oder Rücksendungen, Nutzerzufriedenheit.

Menschen & Veränderung

Binden Sie bei einem KMU die Geschäftsleitung (Budget, Haftung bei falschem Rat), die Serviceleitung als Prozessverantwortliche, die Techniker, die das Werkzeug täglich nutzen, die IT für den Zugriff und die Datenverantwortlichen von DMS und ERP ein. Holen Sie die Techniker früh ins Boot: Sie liefern das beste Lösungswissen und entscheiden, ob dem Werkzeug vertraut wird. Betriebsrat: in der Regel nein, weil der Assistent Fragen beantwortet und kein Verhalten aufzeichnet; werden jedoch Nutzungsprotokolle je Techniker geführt oder ausgewertet, gilt § 87 Abs. 1 Nr. 6 BetrVG, und § 90 Abs. 1 Nr. 3 verlangt rechtzeitige Unterrichtung bei Änderungen von Arbeitsabläufen (GUIDE-004). Eine Datenschutz-Folgenabschätzung (DSFA) ist selten nötig, aber Fotos können Personen oder Kundenwohnungen zeigen; beziehen Sie daher die/den Datenschutzbeauftragte(n) ein, schließen Sie einen Auftragsverarbeitungsvertrag (AVV) ab und machen Sie Gesichter unkenntlich (GUIDE-005). KI-Kompetenz: Art. 4 der KI-Verordnung (AI Act) verlangt Maßnahmen zur Förderung der KI-Kompetenz der Beschäftigten; führen Sie daher eine kurze Schulung zu Fotoqualität, Grenzen und Sicherheit durch (GUIDE-006). Starten Sie einen Pilot mit drei bis fünf Technikern an einer Gerätefamilie über vier bis sechs Wochen (GUIDE-009). Typische Sorgen sind, ersetzt oder kontrolliert zu werden: Stellen Sie den Assistenten als zweites Augenpaar dar und schließen Sie Tickets nie automatisch. Der Mensch behält die Kontrolle: Bei Gas, Netzspannung und sicherheitsrelevanten Arbeiten muss der Assistent raten, aufzuhören und eine Fachkraft zu rufen.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act, Verordnung 2024/1689): minimales Risiko für einen Informationsassistenten für Verbraucher; keine Nutzung nach Anhang III. Relevant würde sie nur, wenn der Assistent als Sicherheitskomponente in ein reguliertes Produkt eingebettet wird (dann über das Produktrecht). Die KI-Kompetenz (Art. 4) gilt für Anbieter und Betreiber. Eine Praxis nach Art. 5 ist nicht betroffen.
• DSGVO: Kamerabilder aus einer Wohnung können Personen, Dokumente, Adressen und Kinder erfassen; minimieren Sie (Hintergrund unkenntlich machen oder zuschneiden, Vorverarbeitung auf dem Gerät), standardmäßig keine Speicherung, Verarbeitung möglichst in der EU, klarer Hinweis bei einem Dienst unter eigener Marke.
• Produkthaftung und Sicherheit: Die überarbeitete Produkthaftungsrichtlinie (EU) 2024/2853 erfasst auch Software einschließlich KI; Anbieter von Assistenten unter eigener Marke sollten Sicherheitsregeln, Haftungsausschlüsse und Eskalationslogik dokumentieren [3]. Für reglementierte Gewerke (Gas, Elektroinstallation) gelten je Mitgliedstaat Zulassungsregeln.
• Typische Risiken: Stromschlag, Gaslecks, Brand beim Umgang mit Akkus, Stürze und erlöschende Gewährleistung. Gegenmaßnahmen: deterministische Gefahrenschranke, verpflichtende Bestätigung der Abschaltung, Ablehnung bei reglementierten Gewerken, Quellenangabe, sichtbarer Hinweis "kein Ersatz für eine qualifizierte Fachkraft", Testmenge mit gefährlichen Szenarien.

Erste Schritte

1. Wählen Sie 5 Geräte, die Sie besitzen, und testen Sie einen allgemeinen Assistenten mit Live-Kamera; notieren Sie, wo er falsch liegt oder unsicher ist.
2. Sammeln Sie die Handbücher dazu (Herstellerseiten, iFixit) und bauen Sie einen kleinen RAG-Test mit Quellenangaben.
3. Schreiben Sie eine Sicherheitsrichtlinie: Welche Reparaturklassen darf der Assistent anleiten, welche lehnt er ab.
4. Ergänzen Sie vor jeder gefährlichen Handlung einen Bestätigungsschritt und eine klare Eskalationsmeldung mit dem Hinweis, wie man einen Reparaturbetrieb findet.
5. Messen Sie an 30 echten Fällen: Lösungsquote, Fehler beim Modell, Sicherheitsverstöße; verbessern Sie iterativ.

Quellen

1. Directive (EU) 2024/1799 on common rules promoting the repair of goods — https://eur-lex.europa.eu/eli/dir/2024/1799/oj
2. Regulation (EU) 2024/1781, Ecodesign for Sustainable Products — https://eur-lex.europa.eu/eli/reg/2024/1781/oj
3. Directive (EU) 2024/2853 on liability for defective products — https://eur-lex.europa.eu/eli/dir/2024/2853/oj
4. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
5. iFixit repair guides — https://www.ifixit.com
6. Gemini Live API documentation — https://ai.google.dev/gemini-api/docs/live
7. Docling project — https://github.com/docling-project/docling
8. Qwen-VL models — https://github.com/QwenLM/Qwen2.5-VL