Kaufen, Cloud-Dienst oder selbst betreiben: den Umsetzungsweg wählen (TCO, Abhängigkeit, Datensensibilität)

Die meisten KMU bekommen KI gleichzeitig aus drei Richtungen: als Funktionen in bereits genutzter Software, als Cloud-Modell-APIs in eigenen Abläufen und manchmal als Modell auf dem eigenen Server. Jeder Weg hat andere Kosten, Risiken und Ausstiegsmöglichkeiten. Dieser Leitfaden gibt Ihnen ein wiederholbares Verfahren, um den Weg für jeden Anwendungsfall zu wählen. Er liefert nicht eine einzige Antwort für das ganze Unternehmen.

Warum es wichtig ist

Der Umsetzungsweg entscheidet über drei Dinge, die sich später nur teuer ändern lassen:

• Wohin Ihre Daten gehen. Ein Cloud-Dienst ist ein Auftragsverarbeiter nach Art. 28 DSGVO und braucht einen Auftragsverarbeitungsvertrag (AVV). Sitzen der Anbieter oder seine Unterauftragsverarbeiter in den USA, stützt sich die Übermittlung auf das EU-US Data Privacy Framework (DPF) oder auf Standardvertragsklauseln. Das Gericht der EU hat das DPF am 3. September 2025 bestätigt (T-553/23, Latombe), beim Gerichtshof ist jedoch ein Rechtsmittel anhängig (C-703/25 P) [4][5]. Die Vorgänger wurden für ungültig erklärt. Planen Sie daher für US-basierte Dienste, die personenbezogene Daten verarbeiten, eine Rückfalllösung ein.
• Wie schwer der Ausstieg ist. Nach dem EU Data Act müssen Cloud-Anbieter Hindernisse beim Anbieterwechsel beseitigen. Ab dem 12. Januar 2027 dürfen sie keine Wechselentgelte mehr erheben, auch keine Entgelte für die Datenübertragung beim Wechsel. Bis dahin sind die Entgelte auf die direkten Kosten des Anbieters begrenzt [3]. Vertragsstrafen bei vorzeitiger Kündigung in befristeten Verträgen sind nicht erfasst. Abhängigkeit entsteht auch durch Prompts, Abläufe und Integrationen, die um einen einzelnen Anbieter herum gebaut wurden – dazu sagt der Data Act nichts.
• Wer welche Rolle nach der Regulierung trägt. Wenn Sie ein System nur nutzen, sind Sie nach der KI-Verordnung (AI Act) in der Regel Betreiber (Deployer). Wenn Sie ein KI-Modell mit allgemeinem Verwendungszweck wesentlich verändern, können Sie zu dessen Anbieter werden. Die GPAI-Leitlinien der Kommission sehen als Richtwert eine Änderung, die mehr als ein Drittel der ursprünglichen Trainingsrechenleistung einsetzt [7]. Typisches Feintuning im Mittelstand bleibt weit darunter, große Neutrainings dagegen nicht. Bei Hochrisiko-Systemen kann es ebenfalls zur Anbieterrolle führen, wenn Sie ein System unter eigenem Namen vertreiben oder seine Zweckbestimmung ändern (Art. 25 KI-Verordnung). Die Pflichten für Hochrisiko-Systeme nach Anhang III gelten ab dem 2. Dezember 2027.

Wann Sie es brauchen

• Nach der Bestandsaufnahme und Bewertung (GUIDE-001), sobald Sie eine Auswahlliste von Anwendungsfällen haben und bevor Sie Angebote bei Anbietern einholen.
• Vor einem Pilotprojekt (GUIDE-009). Der Weg bestimmt, welche Daten Sie im Pilotprojekt verwenden dürfen.
• Immer dann, wenn ein Anbieter KI-Funktionen in bestehender Software einführt, zum Beispiel in M365, DATEV, ERP, CRM oder Ticketsystemen. Das ist eine Kaufentscheidung, auch wenn niemand einen neuen Vertrag unterschrieben hat.
• Bei der Vertragsverlängerung und vor dem 12. Januar 2027, wenn Sie Cloud-Verträge neu verhandeln.

Wer beteiligt ist

• Geschäftsführung: verantwortet Entscheidung, Budget und akzeptiertes Risiko.
• Fachabteilungsleitung und Anwenderinnen und Anwender: beschreiben den Prozess, das Volumen und die Qualitätsanforderung. Sie beurteilen auch, ob eine Standardfunktion „gut genug" ist.
• IT: kümmert sich um Integrationsaufwand, Betrieb, Identitäten und Zugriffe sowie um Hardware, wenn Sie selbst betreiben.
• IT-Sicherheit: prüft die Prüfberichte der Anbieter (C5, ISO 27001) und das Bedrohungsmodell für den Eigenbetrieb (GUIDE-013).
• Datenschutzbeauftragte(r): prüft Rechtsgrundlage, AVV, Drittlandübermittlungen und ob eine Datenschutz-Folgenabschätzung (DSFA) nötig ist (GUIDE-005).
• Datenverantwortliche: bestätigen, welche Daten welches System verlassen dürfen (GUIDE-003).
• Recht/Compliance: prüft Vertragsbedingungen, Ausstiegsklauseln und Branchenregeln.
• Betriebsrat: Wenn das System Nutzeraktivitäten protokolliert, gilt § 87 Abs. 1 Nr. 6 BetrVG unabhängig vom Weg. Auch der Eigenbetrieb umgeht die Mitbestimmung nicht (GUIDE-004).

Schritt für Schritt

1. Beschreiben Sie den Anwendungsfall auf einer Seite (1–2 Stunden je Anwendungsfall). Halten Sie Prozess, Nutzer, monatliches Volumen, beteiligte Systeme und die schlimmste realistische Folge einer falschen Ausgabe fest.

2. Klassifizieren Sie die Daten (ein halber Tag mit den Datenverantwortlichen und der/dem Datenschutzbeauftragten). Verwenden Sie drei oder vier Klassen, zum Beispiel: - öffentlich - intern - vertraulich (Verträge, Preise, Konstruktionen) - personenbezogene Daten, mit gesondertem Merkmal für besondere Kategorien (Art. 9 DSGVO: Gesundheit, Gewerkschaftszugehörigkeit und Ähnliches)

Die höchste Klasse im Anwendungsfall bestimmt die Entscheidung. Prüfen Sie, ob sich die Daten anonymisieren oder schwärzen lassen, bevor sie das Modell erreichen (DOC-018). Dieser Schritt macht aus einem Fall „nur selbst betreiben" oft einen Fall „Cloud ist in Ordnung".

3. Stellen Sie die drei Wege gegenüber. Die meisten KMU-Fälle sind „Kaufen" oder „Zusammenbauen".

Eine nützliche Zwischenlösung ist, den Ablauf selbst zu betreiben, zum Beispiel n8n auf dem eigenen Server, und ein Cloud-Modell nur mit geschwärzten Daten aufzurufen. So behalten Sie Steuerung, Protokolle und Konnektoren im Haus, ohne GPUs zu betreiben.

4. Wenden Sie die Entscheidungsregeln an. - Wenn ein ausgereiftes Standardprodukt 80 % des Bedarfs abdeckt, kaufen Sie es. Eine eigene Rechnungserfassung oder Transkription lohnt sich für ein KMU selten. - Wenn der Wert aus Ihrem Prozess und Ihren Daten kommt (Auftragsformate, Produktwissen, interne Regeln), bauen Sie zusammen. - Erwägen Sie den Eigenbetrieb nur, wenn mindestens eine dieser Bedingungen zutrifft: - die Daten dürfen vertraglich oder nach Richtlinie Ihre Kontrolle nicht verlassen - das Volumen ist hoch und stetig genug, um die Hardware auszulasten - Sie brauchen Betrieb ohne Internetzugang

Außerdem brauchen Sie jemanden, der den Betrieb leisten kann. Ein Server, den niemand patcht, ist ein größeres Risiko als ein gut geprüfter Cloud-Dienst. - Überlassen Sie besondere Kategorien und verdeckte Mitarbeiterbewertung vor der Wahl eines Weges der/dem Datenschutzbeauftragten. Eine DSFA wird voraussichtlich in jedem Fall nötig sein.

5. Berechnen Sie die Gesamtbetriebskosten (TCO) über drei Jahre, nicht den Lizenzpreis. Berücksichtigen Sie für jeden Weg: - Lizenzen oder Token bei realistischem Volumen sowie ein Spitzenszenario - Tage für Integration und Konfiguration - Datenaufbereitung, oft der größte Posten (GUIDE-003) - Schulung und Veränderungsbegleitung - Betrieb: Überwachung, Modell-Updates, Support (GUIDE-011) - beim Eigenbetrieb: Hardware, Strom, Hosting, Datensicherung und Personalzeit für Sicherheitsupdates - Ausstiegskosten: Datenexport, Neuaufbau von Prompts und Integrationen

Vergleichen Sie die Wege auf gleichem Qualitätsniveau. Ein günstiges Modell, das ständig manuell korrigiert werden muss, ist nicht günstig. Fragen Sie Anbieter nach Nutzungszahlen aus einem Pilotprojekt, statt sich auf Listenpreise zu verlassen.

6. Prüfen Sie den Anbieter (Cloud- und Kaufweg). - Datenschutz: Holen Sie den AVV, die Liste der Unterauftragsverarbeiter mit ihren Standorten und die Grundlage für jede Drittlandübermittlung ein. Lassen Sie sich schriftlich bestätigen, dass Ihre Eingaben nicht für Training verwendet werden. - Sicherheit: Fordern Sie das BSI-C5-Testat oder das ISO-27001-Zertifikat an. Das BSI rät Cloud-Kunden, den C5-Bericht bei der Auswahl anzufordern, jährlich zu prüfen und selbst auszuwerten, da das BSI die Berichte nicht bewertet. C5 zeigt auch, welche Sicherheitsaufgaben bei Ihnen als Kunde bleiben. Neben C5:2020 ist eine überarbeitete Ausgabe, C5:2026, erschienen [1]. - Modelländerungen: Fragen Sie, wie Sie über Modelländerungen informiert werden und ob Sie eine Version festschreiben können.

Einzelheiten finden Sie in GUIDE-010.

7. Planen Sie den Ausstieg vor der Unterschrift (1 Tag mit Recht und IT). Stellen Sie sicher, dass Folgendes geregelt ist: - Datenexport: in welchem Format und innerhalb welcher Frist. - Selbst erstellte Inhalte: Halten Sie Prompts, Abläufe und Testdatensätze zur Bewertung in einem eigenen Repository. - Modellunabhängigkeit: Bevorzugen Sie eine Abstraktionsschicht oder eine Plattform, die mehrere Modellanbieter unterstützt. - Vertragsbedingungen: Prüfen Sie Kündigungsfristen und ob die Wechselentgelte dem Zeitplan des Data Act folgen [3].

Ein einfacher Test: Könnten Sie das Modell hinter Ihrem RAG-Assistenten innerhalb von vier Wochen wechseln?

8. Dokumentieren Sie die Entscheidung und überprüfen Sie sie. Führen Sie je Anwendungsfall eine Seite mit Datenklasse, gewähltem Weg, TCO, Ausstiegsplan und den Freigaben von Datenschutzbeauftragter/m, IT-Sicherheit und gegebenenfalls Betriebsrat. Überprüfen Sie sie nach dem Pilotprojekt und bei jeder Vertragsverlängerung.

Checkliste

• [ ] Anwendungsfall mit Volumen und Auswirkung des schlimmsten Fehlers beschrieben
• [ ] Daten klassifiziert; Möglichkeit der Anonymisierung/Schwärzung geprüft
• [ ] Wege verglichen: kaufen / zusammenbauen / selbst betreiben
• [ ] Dreijährige TCO einschließlich Datenaufbereitung, Betrieb und Ausstieg
• [ ] AVV, Liste der Unterauftragsverarbeiter und Übermittlungsgrundlage von der/dem Datenschutzbeauftragten geprüft
• [ ] C5- oder ISO-27001-Nachweis von der IT-Sicherheit geprüft
• [ ] Kein Training mit Ihren Eingaben schriftlich bestätigt
• [ ] Benachrichtigung bei Modelländerungen / Versionsfestschreibung geklärt
• [ ] Ausstiegsplan: Exportformat, Prompts und Abläufe im eigenen Haus gespeichert, zweites Modell getestet
• [ ] Rolle nach KI-Verordnung geprüft (Betreiber oder Anbieter, wenn Sie verändern oder unter eigenem Namen vertreiben)
• [ ] Betriebsrat informiert / beteiligt, wenn Nutzeraktivitäten protokolliert werden
• [ ] Entscheidung mit Überprüfungsdatum dokumentiert

Vorlagen & Werkzeuge

• BSI-C5-Kriterienkatalog: die Sicherheitsgrundlage für Cloud-Dienste, mit Hinweisen für Cloud-Kunden zur Nutzung von Prüfberichten [1].
• BSI „Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden": ein fortgeschriebenes Dokument zu Risiken und Gegenmaßnahmen über den Lebenszyklus LLM-basierter Systeme. Nutzen Sie es für das Bedrohungsmodell beim Vergleich Eigenbetrieb gegen Cloud [8].
• DSK-Orientierungshilfe „Künstliche Intelligenz und Datenschutz" (Mai 2024): Kriterien für Auswahl und Einsatz von LLM-Anwendungen als Verantwortlicher [2].
• Mittelstand-Digital Zentrum Chemnitz, „Die Qual der Wahl": ein Leitfaden zur Auswahl eines LLM für KMU, der Cloud- und On-Premises-/Edge-Betrieb sowie KI-Verordnung und Datenschutz behandelt [6]. Die Mittelstand-Digital Zentren bieten kostenlose, herstellerneutrale Beratung.
• Leitlinien der Kommission für GPAI-Anbieter: relevant, wenn Sie wesentliches Feintuning planen [7].

Typische Fehler

• „Selbst betrieben" automatisch für rechtskonform halten. Der Eigenbetrieb ersetzt weder eine Rechtsgrundlage noch eine DSFA, Zugriffsrechte, Protokollierung oder Mitbestimmung. Nur der AVV mit dem Modellanbieter entfällt.
• „EU-Region" für die ganze Antwort halten. Prüfen Sie die Unterauftragsverarbeiter, den Support-Zugriff aus Drittländern und die Übermittlungsgrundlage. Behalten Sie das anhängige Latombe-Rechtsmittel im Blick [5].
• Die Datenaufbereitung nicht im Budget einplanen. Dokumente zu bereinigen, zu strukturieren und mit Zugriffsrechten zu versehen kostet meist mehr als das Modell, egal welchen Weg Sie wählen.
• Schleichende Lizenzkosten. Einen Copilot für alle zu lizenzieren, bevor die Nutzung gemessen wurde. Beginnen Sie mit einer Pilotgruppe.
• Kostensprünge bei Token übersehen. Agentische Abläufe und lange Kontexte vervielfachen die Nutzung. Legen Sie mit dem Anbieter Budgets und Warnungen fest.
• Abhängigkeit durch Bequemlichkeit. Prompts und Abläufe, die nur in der Oberfläche eines Anbieters liegen, lassen sich nicht exportieren. Versionieren Sie sie selbst.
• Die Menschen vergessen. Anwenderinnen und Anwender sowie der Betriebsrat beurteilen, ob ein „gut genug" Standardwerkzeug wirklich gut genug ist. Beziehen Sie sie in den Vergleich ein, nicht erst bei der Einführung.

Quellen

1. BSI: Kriterienkatalog C5 (Cloud Computing Compliance Criteria Catalogue), incl. C5:2020 and C5:2026, guidance for cloud customers. https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Empfehlungen-nach-Angriffszielen/Cloud-Computing/Kriterienkatalog-C5/kriterienkatalog-c5_node.html
2. Datenschutzkonferenz (DSK): Orientierungshilfe "Künstliche Intelligenz und Datenschutz", Version 1.0, 6 May 2024. https://www.datenschutz-bayern.de/dsbk-ent/DSK_OH_KI_und_Datenschutz.pdf (press release: https://datenschutzkonferenz-online.de/media/pm/2024_05_06_DSK_PM_OH_KI_und_Datenschutz.pdf)
3. Regulation (EU) 2023/2854 (Data Act), Chapter VI switching between data processing services (Art. 23–31), switching charges ending 12 January 2027; overview: DLA Piper, "Cloud exit under the EU Data Act" (2026). https://www.dlapiper.com/insights/publications/law-in-tech/2026/cloud-exit-under-the-eu-data-act and Deloitte Legal https://www.deloittelegal.de/dl/en/services/legal/perspectives/cloud-switching-eu-data-act.html
4. General Court, judgment of 3 September 2025, T-553/23 Latombe v Commission; summary: Clifford Chance, "Transatlantic data transfers: where the DPF stands post-Latombe". https://www.cliffordchance.com/insights/resources/blogs/talking-tech/en/articles/2025/09/transatlantic-data-transfers-where-the-dpf-stands-post-latombe.html
5. Appeal C-703/25 P, Official Journal notice. https://eur-lex.europa.eu/eli/C/2025/6610/oj/eng ; WilmerHale, "European Court of Justice to Review Challenge to EU-U.S. Data Privacy Framework" (1 Dec 2025). https://www.wilmerhale.com/en/insights/blogs/wilmerhale-privacy-and-cybersecurity-law/20251201-european-court-of-justice-to-review-challenge-to-eu-us-data-privacy-framework
6. Mittelstand-Digital Zentrum Chemnitz: "Die Qual der Wahl" – Auswahl eines Large Language Models. https://digitalzentrum-chemnitz.de/downloads/nachgelesen_auswahl-large-language-model/
7. European Commission: Guidelines on the scope of obligations for providers of general-purpose AI models (downstream modification, one-third compute criterion); overview: https://artificialintelligenceact.eu/gpai-guidelines-overview/
8. BSI: Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden. https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.pdf

Abgerufen 2026-10.