Privater lokaler KI-Assistent auf eigener Hardware (Heimserver)

Cloud-Chatbots sind bequem, aber jede Eingabe, jeder gescannte Brief und jede Gesundheitsfrage wird an einen Dritten gesendet. Ein Heimserver-Assistent betreibt Sprachmodelle sowie Sprach- und Bildmodelle mit offenen Gewichten auf Hardware, die dem Haushalt gehört: einem Gaming-PC, einem kleinen GPU-Server, einem Mini-PC oder einem Mac mit Unified Memory. Mit wenigen Containern bietet er Chat, „Fragen an meine Dokumente“, Diktat, Sprachsteuerung und Automatisierungen; die Daten bleiben im Haus, und es fallen keine Kosten pro Token an. Der Preis sind Hardware, etwas Pflegeaufwand und ein Qualitätsabstand zu den größten Cloud-Modellen.

Problem & Nutzen

• Heute: Menschen fügen sensible Unterlagen (Steuerbescheide, medizinische Befunde, Verträge, Familienfotos) in Cloud-Assistenten ein oder verzichten gerade bei diesen Aufgaben auf KI. Die Bedingungen der Verbraucher-Clouds unterscheiden sich bei Speicherdauer und Nutzung für Trainingszwecke; die Daten verlassen vielfach die EU.
• KI-Nutzen: Datenschutz durch Architektur (keine Verarbeitung durch Dritte), Offline-Fähigkeit, keine Abo- oder Nutzungsgebühren, volle Kontrolle über Modelle, Gedächtnis und Integrationen sowie ein gemeinsamer Assistent für den ganzen Haushalt.
• Warum jetzt: Open-Weight-Modelle der Klasse 8-30B (Qwen3, Gemma 3, Mistral, gpt-oss-20b) laufen auf handelsüblichen GPUs und sind gut genug für Entwürfe, Zusammenfassungen, Übersetzungen, Extraktion und Fragen zu Dokumenten [1][3][4]. Schlussfolgern auf Spitzenniveau und sehr lange, komplexe Agentenaufgaben gelingen in der Cloud weiterhin besser.
• Für diesen Anwendungsfall gibt es keine belastbaren aggregierten Nutzenzahlen; der Wert ist überwiegend qualitativ (Datenschutz, Kosten, Autonomie).

Varianten

• Chat- und Schreibzentrale: eine Weboberfläche für die Familie mit getrennten Konten (Open WebUI, LibreChat).
• Privates Dokumentengedächtnis: lokales RAG über Scans, PDFs und Notizen (paperless-ngx plus Embeddings) - siehe PERS-008, DOC-014, KNOW-002.
• Sprachassistent: lokales Aktivierungswort, Spracherkennung, LLM und Sprachausgabe über Home Assistant Assist - siehe ROBO-012 [5].
• Foto- und Medienintelligenz: lokales Verschlagworten und Suchen - siehe PERS-006.
• Familiensicherer Tutor / Kinderprofil: eingeschränkte Modelle und Filter - siehe PERS-019.
• Kleinstunternehmen / Freiberufler: derselbe Aufbau für Mandanten- und Kundenunterlagen unter Verschwiegenheitspflicht (Anwälte, Ärzte, Steuerberater) auf einem kleinen Büroserver.
• Hybrid: standardmäßig lokal, nur für schwierige Fragen ein datenschutzgefilterter Aufruf eines EU-Cloud-Modells.

So funktioniert es

clients (phone, laptop, browser, voice satellite)
  -> reverse proxy + VPN (WireGuard/Tailscale/Headscale), auth, TLS
  -> UI / orchestration (Open WebUI, Home Assistant, n8n)
  -> inference server (Ollama / llama.cpp / vLLM) serving chat LLM, embedding model, VLM
  -> tools: document index (vector DB), speech (Whisper-class ASR, Piper-class TTS), smart-home API, calendar
  -> answers with citations; actions only after confirmation
  -> encrypted local storage + backups

• Inferenz-Engine: llama.cpp / Ollama führen quantisierte GGUF-Modelle auf CPU, GPU oder Apple Silicon aus; vLLM eignet sich für hohen Durchsatz bei mehreren Nutzern [2].
• RAG: Dokumente werden eingelesen (OCR), in Abschnitte zerlegt, eingebettet und in einem lokalen Vektorspeicher abgelegt (in Open WebUI integriert oder Qdrant/pgvector); das Modell antwortet mit Quellenangaben.
• Mensch-in-der-Schleife (Human-in-the-Loop): Schreibende Aktionen (E-Mail senden, Türen öffnen, Dateien löschen) erfordern eine ausdrückliche Bestätigung durch die Nutzerin oder den Nutzer; Antworten zu rechtlichen, medizinischen oder steuerlichen Unterlagen sind Entwürfe, keine Beratung.

Datenaufbereitung

Der Assistent ist nur so nützlich wie die Dokumente, die er lesen kann. In einem Haushalt sind das gescannte Briefe, Verträge, PDFs, Notizen und exportierte E-Mails; in einem kleinen Unternehmen liegen sie auf Dateifreigaben, im DMS, in Postfächern, im ERP und oft noch auf Papier. Typische Lücken: Scans ohne Textebene, Duplikate und alte Versionen, kryptische Dateinamen, Wissen, das nur in den Köpfen der Mitarbeitenden existiert, und zu offene Zugriffsrechte (alle können den Personalordner lesen).

Konkrete Schritte: - Umfang festlegen: mit einem Ordnerbaum beginnen, nicht mit „allem“ (siehe GUIDE-003 und PREP-001). - Papierarchive mit Paperless-ngx oder einem vergleichbaren Werkzeug scannen und per OCR erfassen (PREP-006, DOC-014), Altformate und Mailarchive konvertieren (PREP-007). - Duplikate entfernen, Dateien sinnvoll benennen und mit grundlegenden Schlagwörtern versehen (PREP-009, PREP-010). - Die Zugriffsrechte der Quellen im Index nachbilden oder pro Gruppe einen eigenen Index aufbauen und personenbezogene sowie vertrauliche Daten in getrennten Sammlungen halten (PREP-023, PREP-024). - Bei Unternehmen wenn möglich pseudonymisieren (PREP-022) und eine kurze Liste mit Fachbegriffen und Abkürzungen anlegen (PREP-015).

Grober Anteil am Aufwand: etwa 20-30 Prozent des Gesamtprojekts für einen Haushalt, 30-40 Prozent für ein Unternehmen, denn die Infrastruktur selbst (ein Container-Stack) ist schnell aufgesetzt, saubere Dokumente dagegen nicht. Die Aktualisierung des Index als wiederkehrende Aufgabe einplanen.

Umsetzungswege

Welcher Weg für wen

• private: C, weil ein Gaming-PC oder Mini-PC mit Ollama und Open WebUI Briefe, Gesundheits- und Familiendaten ohne Kosten pro Token im Haus hält.
• developer: C, weil der offene Stack (llama.cpp/Ollama, Qdrant, n8n) das natürliche Labor ist und sich frei erweitern lässt.
• smb: C, weil ein kleines Team mit sensiblen Dokumenten (Verträge, Kunden- oder Personaldaten) von einer HW1/HW2-Box aus mehrere Anwendungsfälle bedienen kann; kein Produkt ersetzt diese lokale Plattform zu KMU-Preisen (Baukasten-Effekt).

Weg A — Kaufen (Standardsoftware)

• Apps mit Modellen auf dem Gerät: Desktop-Apps wie LM Studio, Jan, GPT4All; Apple Intelligence und Windows-Copilot+-PCs führen kleine Modelle auf dem Gerät aus.
• Plug-and-Play-Boxen: Heimserver-Betriebssysteme und Appliance-Angebote (z. B. Olares, Umbrel, App-Stores von Unraid oder TrueNAS, KI-Pakete von Synology/QNAP) bündeln Ollama und Open WebUI [6].
• EU-Bezug: Mistral (Le Chat, EU-Anbieter) und Nextcloud Assistant (deutsch, läuft auf der eigenen Nextcloud) sind datenschutzorientierte EU-Optionen, wobei Erstgenannter weiterhin in der Cloud verarbeitet.
• A wählen, wenn: eine Person nutzt, wenig Technikinteresse besteht und die Nutzung leicht ist.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Nur hybrid: Ein lokales Gateway (LiteLLM, Open-WebUI-Verbindungen) leitet einfache Eingaben an lokale Modelle und schwierige an EU-gehostete APIs (Mistral, Aleph Alpha / Schwarz STACKIT AI Model Serving, OVHcloud AI Endpoints, Scaleway) oder globale Anbieter mit EU-Datenhaltung weiter.
• Vor jedem externen Aufruf personenbezogene Daten entfernen oder pseudonymisieren; protokollieren, was das Haus verlässt.
• B wählen, wenn: Sie gelegentlich Spitzenqualität wünschen, sensible Dateien aber lokal bleiben sollen.

Weg C — Selbst betreiben (Open Source) (empfohlen)

• Modelle (offene Gewichte): Qwen3-Familie, Gemma 3, Mistral Small, Llama 3.x, gpt-oss-20b / gpt-oss-120b (Apache 2.0), DeepSeek-R1-Distillate; Embeddings wie bge-m3 oder nomic-embed; VLMs wie Qwen-VL oder Gemma 3 für Scans und Fotos. Jeweils die Lizenz prüfen.
• Stack: Ollama oder llama.cpp-Server; Open WebUI als Oberfläche [1]; paperless-ngx plus Docling/PaddleOCR für Dokumente; faster-whisper / whisper.cpp für die Spracherkennung; Piper für die Sprachausgabe; Home Assistant Assist für Sprache [5]; n8n für Automatisierungen; Docker Compose; verschlüsselte Backups mit Restic/Borg.
• Hardware: HW1 (Mini-PC, 16-32 GB RAM, kleine 3-8B-Modelle, langsam, aber nutzbar); HW2 (eine GPU mit 16-32 GB VRAM, quantisierte 14-30B-Modelle mit interaktiver Geschwindigkeit, empfohlenes Minimum); HW3 (Mac Studio oder GPU mit 48-96 GB) für Modelle mit ~70-120B. Speicherbandbreite und VRAM, nicht die reine Rechenleistung, bestimmen die Geschwindigkeit.
• Betriebsaufwand: ein Wochenende für die Ersteinrichtung; etwa eine Stunde im Monat für Updates, Backups und Modellwechsel. Der Stromverbrauch ist ein echter Kostenfaktor (im Leerlauf 20-60 W bei einer GPU-Box).

Weg D — Eigenes Training

Zuhause selten sinnvoll. LoRA-Feintuning eines kleinen Modells auf den persönlichen Schreibstil oder ein Nischenthema ist auf einer 24-GB-GPU möglich, doch Retrieval (RAG) und gute Prompts decken nahezu alle Bedürfnisse eines Haushalts ab. Niemals ohne Rechtsgrundlage mit personenbezogenen Daten Dritter trainieren.

Stand der Technik (2026)

• Leistungsfähige kleine Modelle: Open-Weight-Modelle mit 20-30B bewältigen inzwischen alltägliche Entwürfe, Zusammenfassungen, Übersetzungen und Werkzeugaufrufe; Mixture-of-Experts-Modelle liefern die Qualität großer Modelle bei moderatem aktivem Rechenaufwand, benötigen aber weiterhin den Speicher für alle Gewichte.
• Quantisierung (4-Bit-GGUF, AWQ) lässt 20-30B-Modelle bei geringem Qualitätsverlust in 16-24 GB passen; OpenAI gibt an, dass gpt-oss-20b mit 16 GB Speicher auskommt und gpt-oss-120b auf einer einzelnen 80-GB-GPU läuft [4].
• Werkzeuge sind gereift: Modellverwaltung mit einem Befehl (Ollama), OpenAI-kompatible lokale APIs, MCP-Werkzeuganbindungen und lokale Sprach-Pipelines.
• Grenzen: schwächer als Cloud-Modelle der Spitzenklasse bei anspruchsvollem Schlussfolgern, langem Kontext, Coding-Agenten und mehrsprachigen Nuancen; Halluzinationen bleiben (RAG mit Quellenangaben verringert sie); kleine Modelle sind anfälliger für Prompt-Injection, wenn sie nicht vertrauenswürdige E-Mails oder Webinhalte lesen; kein eingebautes Webwissen (eine lokale SearXNG-Suche nur bewusst ergänzen).
• Sicherheit liegt bei Ihnen: Das realistische Risiko sind offene Ollama-/Open-WebUI-Ports, Standardpasswörter und ungepatchte Container, nicht das Modell.

Gemeinsame Bausteine & Kombinationen

• Derselbe GPU- und Inferenzserver bedient PERS-008 (amtliche Schreiben), PERS-016 (Datenrechte-Agent), PERS-006 (Fotosuche), PERS-014 (medizinischer Erklärer), PERS-019 (Kindersicherheit) und PERS-017 (Lifelogging).
• Teilt Fähigkeiten (ocr-docparse, embedding-text, vector-db, llm-general) mit DOC-014, KNOW-002, SPEECH-001; derselbe Stack skaliert auf ein kleines Büro (HW2-HW3).
• Smart-Home-Sprache und -Automatisierung verbinden sich mit ROBO-012; energiebewusste Planung der GPU-Last mit OPT-032.

Aufwand, Kosten & Kennzahlen

• Weg A: Stunden; kostenlos bis geringes Abo.
• Weg C: 600-1.500 EUR für ein gebrauchtes oder neues System mit 16-24-GB-GPU, 2.000-5.000 EUR für Mac Studio / Klasse mit 48 GB (typische Marktpreisspannen, aktuelle Preise prüfen); Strom 3-15 EUR/Monat je nach Nutzung; Einrichtung 1-2 Tage.
• Kennzahlen: Token/s und Zeit bis zum ersten Token, Antwortqualität an einem persönlichen Testsatz mit 20-50 echten Fragen, Anteil der lokal bearbeiteten gegenüber eskalierten Aufgaben, Verfügbarkeit, monatliche Stromkosten, bestandener Test der Backup-Wiederherstellung.

Menschen & Veränderung

Private Haushalte brauchen kein formales Verfahren, sollten die Einrichtung aber mit den Familienmitgliedern abstimmen, die den Assistenten nutzen, und vereinbaren, was gespeichert werden darf (Daten von Kindern, Gäste, Sprachaufnahmen). In einem KMU zuerst die Geschäftsführung einbinden (Umfang, Budget, KI-Richtlinie, GUIDE-007), danach IT und IT-Sicherheit (Hosting, VPN, Backups, Patching, GUIDE-013), die Datenverantwortlichen der Dokumentquellen und frühzeitig die Datenschutzbeauftragte(n): Personenbezogene Daten in Dokumenten erfordern in der Regel eine Prüfung der Rechtsgrundlage und, bei Personal- oder Kundendaten in größerem Umfang, eine DSFA; ein AVV ist nicht nötig, solange nichts Ihren eigenen Server verlässt, jeder Cloud-Rückgriff braucht aber einen (GUIDE-005).

Betriebsrat: abhängig vom Einzelfall. Protokolliert der Assistent Eingaben pro Nutzer oder analysiert er Mitarbeiterdokumente oder -sprache, greift § 87 Abs. 1 Nr. 6 BetrVG (die objektive Eignung zur Überwachung genügt), und § 90 Abs. 1 Nr. 3 verlangt rechtzeitige Unterrichtung; eine kurze Betriebsvereinbarung mit einer Klausel gegen Leistungskontrolle räumt die meisten Bedenken aus (GUIDE-004). In öffentlichen Stellen ist der Personalrat beteiligt.

KI-Kompetenz: eine kurze Einführung geben, was der Assistent kann und was nicht, zu Halluzinationen und dazu, was nicht eingegeben werden sollte, zur Unterstützung der Pflicht aus Art. 4 KI-Verordnung (GUIDE-006). Mit einer Pilotgruppe von 3-5 neugierigen Nutzern beginnen und eine KI-Botschafterin oder einen KI-Botschafter benennen (GUIDE-008). Typische Sorgen sind Arbeitsplatzverlust, Überwachung und falsche Antworten; ihnen begegnen Sie mit Transparenz, Quellenangaben in jeder Antwort und Bestätigung bei allen schreibenden Aktionen, damit der Mensch die Kontrolle behält.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): minimales Risiko bei privater Nutzung. Die Verordnung gilt für Betreiber, die beruflich handeln; rein persönliche, nicht berufliche Nutzung liegt außerhalb der Betreiberpflichten (Art. 2 Abs. 10 schließt Pflichten natürlicher Personen aus, die KI im Rahmen einer rein persönlichen, nicht beruflichen Tätigkeit nutzen). Ein Kleinstunternehmen, das sie für Kundenarbeit nutzt, ist Betreiber: KI-Kompetenz (Art. 4) und Transparenz (Art. 50), wenn Inhalte erzeugt werden, die anderen gezeigt werden. Anbieter von Open-Weight-Modellen tragen die GPAI-Pflichten, nicht der Haushalt [7]. Eine Praxis nach Art. 5 liegt nicht vor, es sei denn, der Assistent wird für verbotene Zwecke gebaut (z. B. Emotionserkennung bei Beschäftigten, biometrische Kategorisierung).
• DSGVO: Die Haushaltsausnahme (Art. 2 Abs. 2 Buchst. c) deckt rein persönliche Nutzung ab, doch die Verarbeitung von Daten Dritter (von Sprachsatelliten aufgenommene Gäste, Beschäftigtendaten, Kundendateien) außerhalb davon braucht eine Rechtsgrundlage, Informationspflichten und Sicherheit (Art. 32). Lokale Verarbeitung beseitigt die Probleme mit Auftragsverarbeitern und Drittlandübermittlung.
• Berufsgeheimnis: Anwälte, Ärzte und Steuerberater wahren die Vertraulichkeit, indem sie die Verarbeitung lokal halten.
• Sicherheitsrisiken: offene Ports, Prompt-Injection über eingelesene Dokumente, Lieferkette der Modelldateien (safetensors/GGUF von vertrauenswürdigen Herausgebern nutzen, Hashes prüfen), unverschlüsselte Backups.
• Gegenmaßnahmen: Zugriff nur über VPN, Konten pro Nutzer, Festplattenverschlüsselung, keine autonomen zerstörerischen Werkzeuge, Bestätigungsabfragen, regelmäßige Updates, getestete Backups.

Erste Schritte

1. Hardware erfassen; Ollama (oder LM Studio) installieren und ein 8B- und ein 20-30B-Modell laden.
2. Open WebUI per Docker hinzufügen und Konten für die Haushaltsmitglieder anlegen [1].
3. Einen Ordner mit unkritischen Dokumenten für RAG indizieren und mit 20 echten Fragen samt Quellenangaben testen.
4. Sprache hinzufügen (Whisper + Piper oder Home Assistant Assist) und eine Automatisierung mit bestätigter Aktion.
5. Absichern: nur VPN, Festplattenverschlüsselung, Backup, Update-Plan; dann entscheiden, welche Aufgaben (falls überhaupt) an ein Cloud-Modell eskalieren dürfen.

Quellen

1. Open WebUI documentation - Starting with Ollama - https://docs.openwebui.com/getting-started/quick-start/connect-a-provider/starting-with-ollama.md
2. llama.cpp project - https://github.com/ggml-org/llama.cpp
3. Ollama project and model library - https://github.com/ollama/ollama
4. OpenAI - gpt-oss open-weight models announcement - https://openai.com/index/introducing-gpt-oss/
5. Home Assistant - Assist, local voice control - https://www.home-assistant.io/voice_control/
6. Olares documentation - Open WebUI - https://docs.olares.com/one/open-webui.html
7. Regulation (EU) 2024/1689 (AI Act) - https://eur-lex.europa.eu/eli/reg/2024/1689/oj
8. Regulation (EU) 2016/679 (GDPR), Art. 2(2)(c) household exemption - https://eur-lex.europa.eu/eli/reg/2016/679/oj