Einen KI-Pilot durchführen: vom Proof of Concept in den Betrieb (Umfang, Kennzahlen, Go/No-Go)

Eine KI-Demo zu bauen, die in einer Besprechung beeindruckt, ist einfach. Dasselbe System täglich, mit echten Daten, für echte Nutzerinnen und Nutzer und zu bekannten Kosten zum Laufen zu bringen, ist deutlich schwieriger. Dieser Leitfaden zeigt, wie Sie einen Pilot durchführen, der mit einer klaren Entscheidung endet: in den Betrieb gehen, den Umfang ändern oder aufhören. Sie erhalten eine einseitige Pilot-Charta, ein Kennzahlenblatt mit Ausgangswerten und eine Vorlage für die Go/No-Go-Entscheidung.

Warum es wichtig ist

• Viele Piloten erreichen nie den Betrieb. Im Juli 2024 sagte Gartner voraus, dass bis Ende 2025 mindestens 30 % der Projekte mit generativer KI nach dem Proof of Concept abgebrochen werden. Als Gründe nannte Gartner schlechte Datenqualität, unzureichende Risikokontrollen, steigende Kosten und unklaren Geschäftsnutzen [1]. Ein guter Pilot prüft alle vier.
• Deutsche Unternehmen sind über das Ausprobieren hinaus. In der Bitkom-Umfrage unter 603 Unternehmen mit 20 oder mehr Beschäftigten (veröffentlicht am 14. September 2026) nutzen 57 % KI, nach 36 % ein Jahr zuvor. Dennoch sagte keines der KI-nutzenden Unternehmen, es schöpfe das Potenzial bereits voll aus [2]. Der Engpass liegt heute darin, Piloten in den Alltag zu bringen.
• Ein gescheiterter Pilot kann ein gutes Ergebnis sein. Das KI-Handbuch von Mittelstand-Digital behandelt einen Proof of Concept als Machbarkeitsprüfung und ein negatives Ergebnis als nützliche Erkenntnis statt als Rückschlag [6]. Das eigentliche Scheitern ist ein Pilot, der ohne Entscheidung endet.
• Ein Pilot ist von den Regeln nicht ausgenommen. Sobald echte personenbezogene Daten oder echte Beschäftigte betroffen sind, gelten DSGVO, BetrVG und KI-Verordnung (AI Act) vom ersten Tag an.

Wann Sie es brauchen

• Nach der Bedarfsermittlung und Priorisierung (GUIDE-001), sobald ein bis zwei Anwendungsfälle ausgewählt wurden.
• Nach einer ersten Entscheidung über den Umsetzungsweg (GUIDE-002) und einer schnellen Prüfung der Datenreife (GUIDE-003).
• Vor jeder Lizenzbindung, die länger als der Pilotzeitraum läuft, und bevor das Werkzeug mehr als eine kleine Testgruppe erreicht.
• Auch bei „Kaufen“-Fällen: Wer eine KI-Funktion in ERP, DMS oder M365 einschaltet, sollte ebenfalls einen Pilot durchführen.

Typische Dauer: 6–12 Wochen (1–2 Vorbereitung, 4–8 Live-Betrieb, 1–2 Auswertung).

Wer beteiligt ist

In einem Unternehmen mit 50 Beschäftigten übernimmt oft eine Person mehrere Rollen; stellen Sie nur sicher, dass jede Rolle abgedeckt ist.

Schritt für Schritt

1. Schreiben Sie eine einseitige Pilot-Charta (0,5–1 Tag). Nennen Sie einen Prozess und eine Nutzergruppe, das Problem in Zahlen („eine Sachbearbeiterin braucht etwa 6 Minuten je eingehender Rechnung“), was zum Umfang gehört und was nicht, die Dauer, die Budgetobergrenze und den Entscheidungstermin. Passt das Problem nicht auf eine Seite, ist der Umfang zu weit gefasst.

2. Messen Sie die Ausgangslage, bevor die KI kommt (1–2 Wochen, teilweise parallel). Ohne einen Wert „vorher“ können Sie keinen Wert „nachher“ belegen. Messen Sie Durchlaufzeit, Aufwand je Fall, Fehler- oder Nacharbeitsquote und Rückstand über mindestens zwei normale Wochen. Bei geringen Mengen genügen 30–50 gemessene Fälle.

3. Legen Sie vorab 3–5 Kennzahlen mit Schwellenwerten fest. Wählen Sie je eine aus jeder Gruppe: - Qualität: Quote korrekter Extraktionen oder Antworten, gemessen an einem festen Testsatz; Anteil der Ergebnisse, die korrigiert werden müssen. - Effizienz: eingesparte Minuten je Fall, Durchlaufzeit, Anteil der Fälle, die ohne manuelle Arbeit erledigt werden. - Akzeptanz: wöchentlich aktive Pilotnutzer, Anteil der Fälle, die tatsächlich mit dem Werkzeug bearbeitet werden. - Kosten: Kosten je Fall (Lizenz, API-Nutzung, interner Aufwand), hochgerechnet auf das volle Volumen. - Risiko: Zahl kritischer Fehler (falscher Betrag gebucht, falsche Antwort an einen Kunden), Datenschutz- oder Sicherheitsvorfälle. Schreiben Sie für jede Kennzahl die „Go“-Schwelle und die „Stopp“-Schwelle auf, bevor der Pilot beginnt.

4. Bauen Sie einen Testsatz aus Ihren eigenen Daten (2–5 Tage). Sammeln Sie 50–200 echte, repräsentative Fälle mit der richtigen Antwort, darunter schwierige: schlechte Scans, ungewöhnliche Lieferanten, Dialekt in Transkripten, Randfälle. Verwenden Sie für jeden Anbieter und jede Modellversion denselben Satz. Die Aufbereitung von Daten und Testfällen dauert meist länger als die Konfiguration der KI (GUIDE-003).

5. Klären Sie die rechtlichen und mitbestimmungsrechtlichen Punkte, bevor echte Daten fließen (1–3 Wochen Vorlauf). - Datenschutzbeauftragte(r): Rechtsgrundlage, AVV nach Art. 28 DSGVO mit dem Anbieter und die Frage, ob eine DSFA nach Art. 35 DSGVO wahrscheinlich ist (systematische Bewertung von Personen, besondere Kategorien von Daten, neue Technologie in großem Umfang). Die Orientierungshilfe der DSK zu KI und Datenschutz listet die zu prüfenden Punkte auf [5]. - Betriebsrat: Protokolliert das Werkzeug die Aktivitäten der Nutzer, ist es objektiv geeignet, Verhalten oder Leistung zu überwachen. Nach der Rechtsprechung des Bundesarbeitsgerichts genügt das, um die Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG auszulösen, und ein Pilot ist keine Ausnahme. § 90 Abs. 1 Nr. 3 BetrVG verlangt eine rechtzeitige Unterrichtung, wenn Arbeitsverfahren unter Einsatz von KI geplant werden [9]. Eine kurze Pilotvereinbarung ist oft der schnellste Weg: zeitliche Begrenzung, benannte Nutzer, keine Leistungsbewertung einzelner Personen und Regeln zur Löschung der Daten. Im öffentlichen Dienst ist stattdessen der Personalrat zuständig. - KI-Verordnung (AI Act): Prüfen Sie früh, ob der Anwendungsfall ein Hochrisiko-System ist (zum Beispiel KI bei Einstellung oder Leistungsbewertung). Die Pflichten nach Anhang III gelten ab dem 2. Dezember 2027. Die Transparenzpflichten nach Art. 50, etwa den Nutzern mitzuteilen, dass sie mit einem Chatbot sprechen, gelten seit dem 2. August 2026 (GUIDE-014). - Nach Art. 4 der KI-Verordnung müssen Sie Maßnahmen ergreifen, um die KI-Kompetenz der Beschäftigten zu fördern, die das System nutzen. Eine kurze Einweisung der Pilotnutzer zu Fähigkeiten, Fehlerarten und zulässigen Eingaben ist eine solche Maßnahme (GUIDE-006).

6. Richten Sie den Pilot mit Blick auf den Betrieb ein. Verwenden Sie echte Konten mit Single Sign-on statt gemeinsamer Zugänge, setzen Sie Zugriffsrechte so, wie sie später im Betrieb gelten, und aktivieren Sie die Protokollierung von Eingaben, Ausgaben und Korrekturen. Setzen Sie bei jeder Ausgabe mit Wirkung nach außen einen Menschen in die Schleife (Human-in-the-Loop). Das BSI empfiehlt, vor der Einbindung großer Sprachmodelle in Arbeitsabläufe eine Risikoanalyse für den konkreten Anwendungsfall durchzuführen [3]. Für Cloud-KI-Dienste ist der Kriterienkatalog BSI AIC4 ein nützlicher Fragenkatalog an den Anbieter [4].

7. Führen Sie den Pilot durch und sammeln Sie jede Woche Feedback (4–8 Wochen). Halten Sie jede Woche eine 30-minütige Abstimmung mit den Pilotnutzern ab: Was hat funktioniert, was nicht, und welche Beispiele gehören in den Testsatz? Verfolgen Sie die Kennzahlen wöchentlich, nicht erst am Ende. Dokumentieren Sie jede Änderung an Prompts, Konfiguration oder Prozess.

8. Berechnen Sie die Kosten des Betriebs ehrlich. Die Pilotkosten sind nicht die Betriebskosten. Rechnen Sie die Integration in ERP oder DMS, die Benutzer- und Rechteverwaltung, Überwachung, Support, Schulung aller Nutzer, Lizenz- oder Nutzungsgebühren bei vollem Volumen und die Zeit der internen Verantwortlichen hinzu. Vergleichen Sie das mit den gemessenen Einsparungen aus Schritt 3, nicht mit den Angaben des Anbieters.

9. Halten Sie die Go/No-Go-Besprechung zu dem in der Charta festgelegten Termin ab. Entscheiden Sie sich für eines von drei Ergebnissen und halten Sie es schriftlich fest: - Go: Die Kennzahlen haben ihre Schwellenwerte erreicht, und es gibt keine offenen rechtlichen oder sicherheitsrelevanten Punkte. Legen Sie Einführungsplan, Budget, Verantwortliche(n) und die Übergabe in den Betrieb fest (GUIDE-011). - Pivot: Vielversprechende Ergebnisse mit einem behebbaren Problem, etwa ein engerer Umfang, ein anderer Anbieter oder bessere Daten. Führen Sie eine weitere kurze, zeitlich begrenzte Iteration mit denselben Kennzahlen durch. - Stopp: Schwellenwerte verfehlt, oder der Betrieb würde mehr kosten, als er einspart. Dokumentieren Sie, was Sie gelernt haben, beenden Sie die Lizenzen und löschen Sie die Pilotdaten wie vereinbart.

10. Planen Sie die Einführung in Stufen. Führen Sie das System Abteilung für Abteilung ein, lassen Sie die Kennzahlen weiterlaufen und weiten Sie Betriebsvereinbarung, DSFA und Schulung der Beschäftigten vom Pilotumfang auf den Betriebsumfang aus. Kommunikation mit allen Beschäftigten: GUIDE-008.

Checkliste

• [ ] Einseitige Charta mit Umfang, Dauer, Budgetobergrenze und Entscheidungstermin
• [ ] Ausgangslage über mindestens zwei Wochen oder 30–50 Fälle gemessen
• [ ] 3–5 Kennzahlen mit schriftlichen Go- und Stopp-Schwellen
• [ ] Testsatz mit 50–200 echten Fällen, auch schwierigen
• [ ] AVV unterzeichnet; DSFA-Frage vom Datenschutzbeauftragten beantwortet
• [ ] Betriebsrat informiert; Pilotvereinbarung liegt vor, falls § 87 Abs. 1 Nr. 6 BetrVG greift
• [ ] Pilotnutzer eingewiesen (Maßnahme zur KI-Kompetenz nach Art. 4 KI-Verordnung)
• [ ] Protokollierung, Zugriffsrechte und menschliche Prüfung eingerichtet
• [ ] Wöchentliche Kennzahlenverfolgung und Feedbackrunde
• [ ] Betriebskosten bei vollem Volumen berechnet
• [ ] Schriftliche Go-/Pivot-/Stopp-Entscheidung mit Verantwortlichem

Vorlagen & Werkzeuge

• Kennzahlenblatt: eine Zeile je Kennzahl; Spalten für Ausgangswert, Go-Schwelle, Stopp-Schwelle, Wochen 1–8, Endwert.
• KI-Handbuch von Mittelstand-Digital (Mittelstand-Digital Zentrum Kaiserslautern): ein Vorgehen zur Einführung von KI in KMU, einschließlich der Rolle des Proof of Concept [6].
• Mittelstand-Digital Zentren: kostenlose, herstellerneutrale Unterstützung, auch mit praktischen Umsetzungsprojekten in Unternehmen [7]. Das aktuelle Netzwerk wird neu aufgestellt, die Förderung der bestehenden Zentren läuft spätestens Ende 2026 aus, ein neues Netzwerk ist ab 2027 geplant [8]. Zur Förderung siehe GUIDE-012.
• BSI: „Generative KI-Modelle – Chancen und Risiken“ für die Risikoanalyse [3]; der Kriterienkatalog AIC4 für Fragen an Anbieter von Cloud-KI [4].
• DSK: Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ als Checkliste für den Datenschutzbeauftragten [5].

Typische Fehler

• Demo statt Pilot. Anbieter zeigen ihre besten Beispiele. Testen Sie immer mit Ihrem eigenen Testsatz.
• Keine Ausgangslage. Ohne Werte „vorher“ läuft das Ergebnis auf Bauchgefühl hinaus, und die lauteste Stimme in der Go/No-Go-Besprechung entscheidet.
• Schleichende Ausweitung des Umfangs. Stellen Sie zusätzliche Wünsche für eine spätere Phase zurück; nehmen Sie sie nicht in den laufenden Pilot auf.
• Pilot, der nie endet. Ohne Entscheidungstermin wird er zum inoffiziellen Betrieb ohne Budget, Verantwortliche und Betriebsvereinbarung.
• Datenaufbereitung unterschätzen. Das Bereinigen von Stammdaten und das Kennzeichnen von Testfällen dauert oft länger als der KI-Teil.
• Nur handverlesene Begeisterte. Nehmen Sie mindestens eine skeptische Person auf, die den Prozess gut kennt (GUIDE-008).
• Den Betriebsrat übergehen, weil es „nur ein Test“ ist. Die Mitbestimmung umfasst die Einführung eines zur Überwachung geeigneten Systems, auch als Pilot. Eine späte Vereinbarung kann einen erfolgreichen Pilot kurz vor der Einführung stoppen.
• Pilotkosten mit Betriebseinsparungen vergleichen. Kostenlose Testlizenzen beschönigen die Wirtschaftlichkeitsrechnung.

Quellen

1. Gartner: "Gartner Predicts 30% of Generative AI Projects Will Be Abandoned After Proof of Concept By End of 2025", Pressemitteilung, 29. Juli 2024. https://www.gartner.com/en/newsroom/press-releases/2024-07-29-gartner-predicts-30-percent-of-generative-ai-projects-will-be-abandoned-after-proof-of-concept-by-end-of-2025
2. Bitkom: "Erstmals nutzt die Mehrheit der Unternehmen KI", Pressemitteilung, 14. September 2026 (n=603 Unternehmen mit 20+ Beschäftigten). https://www.bitkom.org/Presse/Presseinformation/Erstmals-nutzt-Mehrheit-Unternehmen-KI
3. BSI: Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden (englische Ausgabe: Generative AI Models). https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.pdf
4. BSI: AI Cloud Service Compliance Criteria Catalogue (AIC4). https://www.bsi.bund.de/EN/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Kuenstliche-Intelligenz/AIC4/aic4.html
5. Datenschutzkonferenz (DSK): Orientierungshilfe "Künstliche Intelligenz und Datenschutz", Version 1.0, 6. Mai 2024. https://www.datenschutz-bayern.de/dsbk-ent/DSK_OH_KI_und_Datenschutz.pdf
6. Mittelstand-Digital Zentrum Kaiserslautern: Handbuch Künstliche Intelligenz. https://www.ptw.tu-darmstadt.de/media/fachgebietptw/dokumente_3/wissenssammlung_ptw/leitfaeden_2/Handbuch-Kuenstliche-Intelligenz_Mittelstand-Digital-Zentrum-Kaiserslautern.pdf
7. IHK Cottbus: "Mittelstand-Digital Zentrum Spreeland gut aufgestellt" (kostenlose, herstellerneutrale Unterstützung und Umsetzungsprojekte). https://www.ihk.de/cottbus/presse/pressemitteilungen/mittelstand-digital-zentrum-spreeland-gut-aufgestellt-7100164
8. NRW.BANK: Unterstützungsangebote Mittelstand-Digital (Neuaufstellung des Netzwerks). https://www.nrwbank.de/de/unternehmen/nrw-bank-innovationspartner/aktuelles/unterstuetzungsangebote-mittelstand-digital.html
9. Betriebsverfassungsgesetz (BetrVG), §§ 87, 90. https://www.gesetze-im-internet.de/betrvg/

Abgerufen 2026-10.