Risikoprofiling von Klientinnen und Klienten öffentlicher Dienste (Arbeitsmarktintegration, Triage in der Sozialhilfe)

Arbeitsagenturen und Sozialbehörden haben nur begrenzte Beratungskapazität. Statistisches Profiling schätzt, wer voraussichtlich selbst Arbeit findet, wem Langzeitarbeitslosigkeit droht und wo der Unterstützungsbedarf am größten ist, damit knappe Programme und die Zeit der Sachbearbeitung gezielt eingesetzt werden können. Es gehört zu den in Europa am genauesten beobachteten KI-Anwendungen: Es ist nach der KI-Verordnung (AI Act) hochriskant, hat Streitigkeiten zu Datenschutz und Diskriminierung ausgelöst und ist nur als transparente Entscheidungsunterstützung vertretbar, bei der ein Mensch tatsächlich entscheidet.

Problem & Nutzen

• Heute: Sachbearbeiterinnen und Sachbearbeiter legen Beratungsintensität, Weiterbildung und Förderung meist nach Erfahrung und Faustregeln fest; einige Behörden nutzen statistische Profiling-Werkzeuge. Bei Kinderschutz-Hotlines müssen die Fachkräfte schnell entscheiden, welche Meldungen eine Untersuchung erfordern.
• KI-Nutzen: konsistente, datenbasierte Priorisierung; frühere Intervention bei Personen mit Risiko für Langzeitarbeitslosigkeit; mehr Zeit für Beratung statt für Verwaltung.
• Die Evidenz ist uneinheitlich und umstritten. Dokumentierte Einsätze sind die Klassifikation von Arbeitssuchenden durch das österreichische AMS (drei Gruppen nach Arbeitsmarktchancen; kritisiert wegen negativer Gewichtung für Frauen, Menschen mit Behinderung und Personen über 30 sowie wegen der Veröffentlichung von nur 2 von 96 Modellen) [2] und das Family Screening Tool von Allegheny County (USA), das seit 2016 die Fachkräfte der Hotline mit einem Risikowert aus Hunderten Datenelementen unterstützt, „in Verbindung mit fachlicher Beurteilung“ [3]. Gemessene Nutzenwerte unterscheiden sich je nach Studie und Kontext; hier werden keine ohne geprüfte Quelle genannt.
• Warnende Fälle: Das niederländische System SyRI wurde 2020 nach Artikel 8 EMRK für unzulässig erklärt [4]; der niederländische Kindergeldskandal betraf ein Modell, das die doppelte Staatsangehörigkeit als Risikofaktor nutzte [5]; Amnesty wirft den dänischen Modellen zur Betrugsbekämpfung in der Sozialhilfe vor, womöglich auf Social Scoring hinauszulaufen [6].

Varianten

• Profiling zur Arbeitsmarktintegration: Chance auf Wiederbeschäftigung innerhalb von N Monaten, genutzt zur Wahl der Betreuungsstufe (z. B. intensives Coaching vs. Selbstbedienung). Oft auch Uplift-Modellierung: welches Programm hilft wem – besser vertretbar als reine „Risiko“-Etikettierung.
• Triage von Meldungen im Kinder- und Sozialschutz: Wert zur Priorisierung der Prüfung von Meldungen (Allegheny, Werkzeuge nach Art des flämischen VDAB im Arbeitsmarkt); höchste Tragweite, strengste Aufsicht.
• Assistent für die Sachbearbeitung (LLM): Zusammenfassen von Fallakten und Vorschläge für nächste Schritte; keine Bewertung von Personen – geringeres Risiko, aber weiterhin Anhang III, wenn es Anspruchsprüfung oder Leistungen beeinflusst.
• Außerhalb des Umfangs: Betrugs- und Prüfungsauswahl (PRED-028), Rückfallprognose bei Straftaten (PRED-045), Bonitätsbewertung (PRED-009). Das Risiko-Scoring von Sozialleistungs-Betrug mit breitem Datenabgleich ist das Muster, das dem Verbot von Social Scoring nach Art. 5 am stärksten ausgesetzt ist (siehe unten).

So funktioniert es

1. register data (employment, benefits, education, region) + labour-market context
2. data minimisation, legal-basis check, feature review (no proxies for protected traits)
3. model (gradient boosting / survival model / uplift model), calibrated probabilities
4. explanation (feature contributions, reason codes in plain language)
5. caseworker screen: score is advice; caseworker records agreement/override + reason
6. service allocation decided by human; client informed and can contest
7. monitoring: calibration, subgroup error rates, drift, override analysis, audit log

• Modelle: Klassisches tabellarisches ML ist hier Standard und vorzuziehen – logistische Regression oder gradientenverstärkte Bäume mit monotonen Nebenbedingungen, Überlebenszeitanalyse für die Zeit bis zur Beschäftigung sowie kausale bzw. Uplift-Modelle für die Programmzuweisung. Sie sind prüfbar und erklärbar (SHAP, Begründungscodes).
• LLMs eignen sich nur zum Zusammenfassen von Notizen und zum Formulieren von Erklärungen, nicht zur Erzeugung von Werten.
• Mensch-in-der-Schleife (Human-in-the-Loop): Der Mensch muss Zeit, Schulung und Befugnis haben, abzuweichen; Abweichungen werden protokolliert. Automatisierungsverzerrung ist das zentrale Fehlerbild.

Datenaufbereitung

Die Kerndaten sind Verwaltungsregisterdaten: Erwerbsverlauf, Leistungsepisoden, Qualifikationen, Programmteilnahme und -ergebnisse sowie bei der Triage-Variante Notizen der Sachbearbeitung. Sie liegen typischerweise in spezialisierten Fallbearbeitungssystemen, mehreren Altdatenbanken und bei älteren Fällen in Papierakten oder Scans. Typische Lücken sind uneinheitliche Ergebnisdefinitionen über die Jahre, fehlende oder nach Gesetzesänderungen geänderte Codes, doppelte Klientendatensätze, unstrukturierte Freitextnotizen und strenge Zugriffsrechte je Rechtsgrundlage. Stellvertretervariablen für geschützte Merkmale sind eine weitere Falle.

Konkrete Schritte: (1) Quellen und Verantwortliche erfassen und dem Anwendungsfall zuordnen (PREP-001, PREP-002, PREP-004); (2) Daten per Export oder API extrahieren (PREP-005); (3) Ergebnis- und Label-Definitionen mit den Fachverantwortlichen abstimmen und Labels aus historischen Datensätzen gewinnen (PREP-019, PREP-020); (4) Trainingsauszüge pseudonymisieren und Zweck sowie Rechtsgrundlage prüfen (PREP-022, PREP-025); (5) zeitliche Validierungsmengen gemeinsam mit Fachleuten aufbauen (PREP-018). Werkzeuge: SQL/ETL, pandas, dbt, Great Expectations für Qualitätsprüfungen. Rechnen Sie damit, dass etwa 50 bis 60 Prozent des Gesamtaufwands in die Datenarbeit fließen; siehe GUIDE-003.

Umsetzungswege

Welcher Weg für wen

• Öffentlicher Sektor (Behörden, Ministerien): Weg C, weil Registerdaten die Behörde nicht verlassen dürfen und tabellarische Modelle (XGBoost, Überlebenszeitanalyse) mit Open-Source-Werkzeugen auf souveräner Infrastruktur laufen.
• Unternehmen (große Anbieter, Integratoren): Weg C, weil das Modell zum Kern der Leistung gehört, Prüfbarkeit und vertragliche Prüfrechte wichtig sind und keine Blackbox eines Anbieters akzeptabel ist.
• Entwickler: Weg C, weil scikit-learn, Fairlearn und MLflow volle Kontrolle über Merkmale, Kalibrierung und Fairness-Prüfungen geben.

Weg A — Kaufen (Standardsoftware)

Nur wenige Produkte passen: Die meisten Behörden bauen gemeinsam mit Ministerien, Forschungsinstituten oder Integratoren (zum Beispiel Statistikämter, interne Teams nationaler Arbeitsverwaltungen, IT-Dienstleister der öffentlichen Hand). Allgemeine Fallbearbeitungssuiten (z. B. von Oracle, SAP, Cúram/IBM, Adesso, Sopra Steria) können Werte hosten, liefern aber selten validierte Modelle mit. Kaufen ist nur sinnvoll, wenn der Anbieter vollständige Dokumentation, Bias-Tests, EU-Hosting und vertragliche Prüfrechte liefert; Blackboxen von Anbietern sind ein Beschaffungsrisiko nach Art. 13 und 26 der KI-Verordnung. Konkrete aktuelle Produktaussagen konnte ich in dieser Recherche-Runde nicht verifizieren.

Weg B — Auf Cloud-KI-Diensten aufbauen

Verwaltete ML-Plattformen in EU-Regionen (Azure ML, Google Vertex AI, AWS SageMaker oder EU-Clouds wie OVHcloud, STACKIT, IONOS) zum Training tabellarischer Modelle; Fairness-Werkzeuge wie Fairlearn und AIF360 (Open Source). Öffentliche Stellen müssen oft souveräne oder Verwaltungs-Clouds nutzen (z. B. die deutsche Verwaltungscloud, österreichische/schweizerische Behörden-Clouds). LLM-APIs (in der EU gehostet, Mistral oder andere) nur für die Zusammenfassung von Notizen, mit Auftragsverarbeitungsvertrag und ohne Training mit den Eingaben.

Weg C — Selbst betreiben (Open Source)

scikit-learn, XGBoost / LightGBM, lifelines oder scikit-survival, EconML / CausalML für Uplift, SHAP, Fairlearn, MLflow für Modellregister und Prüfpfad. Läuft auf CPU-Servern (HW1); keine GPU nötig. Der Eigenbetrieb ist der Normalfall bei Registerdaten, die die Behörde nicht verlassen dürfen. Betriebsaufwand: ein kleines Data-Science-Team plus eine Datenschutz- und Rechtsfunktion.

Weg D — Eigenes Training

Weil Zielgruppe, Gesetzgebung und Arbeitsmarkt national geprägt sind, werden Modelle fast immer mit den eigenen historischen Daten der Behörde trainiert (typischerweise viele Jahre Registerdaten mit Ergebnissen). Erforderlich sind: mit den Fachverantwortlichen abgestimmte Ergebnisdefinitionen, zeitliche Validierung, Kalibrierung, Prüfungen nach Teilgruppen sowie ein Pilot mit randomisierter oder gestaffelter Einführung, um die tatsächliche Wirkung auf die Integration zu messen.

Stand der Technik (2026)

• Die Praxis hat sich von der „Risiko-Etikettierung“ zu transparenter Entscheidungsunterstützung und Uplift-Modellierung entwickelt (wer profitiert von welchem Programm), getrieben durch Regulierung und frühere Kontroversen [2][4][5].
• Die Regulierung ist die prägende Entwicklung: KI-Systeme, die Behörden nutzen, um den Anspruch auf wesentliche öffentliche Unterstützungsleistungen und Dienste zu prüfen und diese zu gewähren, zu kürzen, zu widerrufen oder zurückzufordern, sind in Anhang III Nr. 5 Buchst. a der KI-Verordnung aufgeführt [1]. Die Pflichten für Hochrisiko-Systeme nach Anhang III sollten ab August 2026 gelten; das Digital Omnibus zur KI (berichtet als Verordnung (EU) 2026/1744, in Kraft seit Juli 2026) hat sie auf den 2. Dezember 2027 verschoben – am Amtsblatt prüfen.
• Fairness in der Praxis: Keine einzelne Kennzahl erfüllt alle Fairness-Definitionen; Kalibrierung und ausgewogene Fehlerraten über Teilgruppen stehen im Konflikt. Stellvertreter (Postleitzahl, Staatsangehörigkeit, Haushaltsstruktur) können geschützte Merkmale abbilden, wie Amnesty es für die dänischen Modelle darlegt [6].
• Grenzen: Die Vorhersage individueller Lebensverläufe ist ungenau; Werte spiegeln frühere Diskriminierung am Arbeitsmarkt wider; Schwellenwerte werden oft nach technischer Zweckmäßigkeit statt nach politischen Zielen festgelegt [2]; Modelldrift nach wirtschaftlichen Schocks.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack (tabular-ml, causal-inference): PRED-009 Bonitätsbewertung, PRED-012 Fluktuation, PRED-021 Priorisierung im Forderungsmanagement, PRED-028 Auswahl von Prüffällen – eine MLOps- und Fairness-Monitoring-Plattform auf HW1-CPU-Servern.
• Angrenzend: REC-008 Stellenempfehlung (Vermittlung offener Stellen nach dem Profiling), PRED-045 für das Pendant in der Strafjustiz mit gleichwertigem Aufsichtsdesign.
• Bausteine: Feature Store für Registerdaten, Erklärdienst, Speicher für Prüfprotokolle, FRIA- und Dokumentationsvorlagen, die in allen Hochrisiko-Systemen der öffentlichen Hand wiederverwendbar sind.

Aufwand, Kosten & Kennzahlen

• Weg A: Monate, dominiert von Beschaffung und Konformitätsprüfung.
• Weg B/C: 6–12 Monate einschließlich Rechtsgrundlage, Datenschutz-Folgenabschätzung und FRIA.
• Weg D: 12+ Monate einschließlich Evaluierungspilot; die Kosten entstehen überwiegend durch Personal (Data Science, Recht, Ethik, Schulung).
• Kennzahlen: Kalibrierung und AUC in einem zurückgehaltenen späteren Zeitraum, Unterschiede der Fehlerraten zwischen Teilgruppen, Abweichungsquote und -gründe, Integrationsquote und -dauer im Vergleich zur Kontrollgruppe, Beschwerde- und Widerspruchsquote, Zeit pro Fall, Anteil der Klientinnen und Klienten, die eine verständliche Erklärung erhalten.

Menschen & Veränderung

Beziehen Sie Geschäftsleitung und Abteilungsleitung von Anfang an für Mandat und politische Ziele ein; die Datenverantwortlichen und die IT in der Erkundungsphase; die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten und Recht/Compliance, bevor Daten angefasst werden (Rechtsgrundlage, eine DSFA nach Art. 35 DSGVO ist praktisch sicher, AVV mit jedem Auftragsverarbeiter). Der Personalrat (Personalrat nach BPersVG oder Landesrecht) muss früh eingebunden werden: Das System bewertet Personen und protokolliert Zustimmung und Abweichungen der Sachbearbeitung, ist also geeignet, die Leistung der Beschäftigten zu überwachen, und KI-gestützte Arbeitsabläufe lösen Unterrichtungspflichten aus (analog § 90 Abs. 1 Nr. 3 BetrVG); ein Sachverständiger kann hinzugezogen werden (Logik des § 80 Abs. 3 BetrVG). Klientinnen und Klienten sowie ihre Vertretungen brauchen transparente Informationen und eine Möglichkeit zum Widerspruch.

KI-Kompetenz: Die KI-Verordnung (Art. 4) verlangt Maßnahmen zur Förderung der Kompetenz der Beschäftigten; schulen Sie die Sachbearbeitung zur Bedeutung der Werte, zu Unsicherheit und Automatisierungsverzerrung. Starten Sie mit einer Pilotdienststelle oder gestaffelter Einführung mit einer kleinen Champion-Gruppe. Typische Bedenken: „Die Maschine entscheidet“ (die Sachbearbeitung entscheidet, Abweichungen sind willkommen und werden protokolliert), Diskriminierung (Prüfungen nach Teilgruppen werden veröffentlicht), Angst um den Arbeitsplatz (Werte lenken die Aufmerksamkeit, sie steuern nicht die Personalplanung). Halten Sie die Kontrolle beim Menschen, mit verpflichtender Prüfung und der Befugnis abzuweichen. Siehe GUIDE-004, GUIDE-005, GUIDE-008.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): Hochrisiko nach Anhang III Nr. 5 Buchst. a, wenn von oder für Behörden eingesetzt, um den Anspruch auf wesentliche öffentliche Leistungen und Dienste oder deren Zuteilung zu beurteilen [1]. Zu den Pflichten gehören Risikomanagement, Daten-Governance, Protokollierung, Transparenz, menschliche Aufsicht (Art. 14) und eine Grundrechte-Folgenabschätzung vor dem Einsatz durch öffentliche Stellen (Art. 27); betroffene Personen haben ein Recht auf Erläuterung von Entscheidungen (Art. 86). Ob ein reines Werkzeug zur Beratungsintensität eine „wesentliche öffentliche Unterstützung“ ist, hängt von der nationalen Ausgestaltung des Dienstes ab – im Einzelfall prüfen.
• Verbotene Variante: Art. 5 Abs. 1 Buchst. c verbietet die Bewertung von Personen anhand ihres sozialen Verhaltens oder ihrer Persönlichkeitsmerkmale, wenn sie zu nachteiliger Behandlung in unzusammenhängenden Zusammenhängen oder zu ungerechtfertigter oder unverhältnismäßiger Behandlung führt. Breiter behördenübergreifender Datenabgleich, der Lebensstil oder Haushaltsmuster bewertet, um Personen für Ermittlungen wegen Leistungsbetrugs auszuwählen, droht darunter zu fallen (die Kommission hat Leitlinien zu verbotenen Praktiken veröffentlicht [7]); das SyRI-Urteil zeigt die Grenzen der EMRK [4]. Bauen Sie solche Systeme nicht. Zulässige Varianten: nur Daten verwenden, die für den Dienstzweck relevant und unmittelbar an den Entscheidungskontext gebunden sind.
• DSGVO: Art. 6 Abs. 1 Buchst. e mit einer spezifischen nationalen Rechtsgrundlage, Grenzen nach Art. 22 für ausschließlich automatisierte Entscheidungen (menschliche Entscheidung mit echtem Ermessen erforderlich), DSFA, Zweckbindung, Beschränkungen für besondere Datenkategorien; die österreichische Datenschutzbehörde hat den AMS-Algorithmus Berichten zufolge 2020 für rechtswidrig befunden [2], was die Notwendigkeit einer ausdrücklichen gesetzlichen Grundlage zeigt.
• Antidiskriminierungsrecht: Die direkte Verwendung von Geschlecht, Behinderung oder Alter als negative Gewichte ist ein rechtliches Risiko [2].
• Gegenmaßnahmen: gesetzliche Grundlage, veröffentlichte Modelldokumentation, unabhängige Prüfungen, Recht der Betroffenen auf Erläuterung und Widerspruch, regelmäßige Bias-Tests, Schulung der Sachbearbeitung, Befristungs-/Überprüfungsklausel.

Erste Schritte

1. Rechtsgrundlage und politisches Ziel klären (Unterstützung zuteilen, nicht sanktionieren); die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten und ein Ethik-/Fairness-Gremium von Anfang an einbinden.
2. Die Einstufung nach der KI-Verordnung und eine Grundrechte-Folgenabschätzung durchführen.
3. Eine transparente Basislinie (logistische Regression) auf historischen Daten mit zeitlicher Validierung und Teilgruppenanalyse aufbauen, bevor komplexe Modelle versucht werden.
4. Pilot nur als beratende Anzeige, mit Protokollierung der Entscheidungen und Abweichungen der Sachbearbeitung.
5. Die kausale Wirkung auf Integrationsergebnisse mit gestaffelter Einführung evaluieren und die Ergebnisse veröffentlichen.

Quellen

1. AI Act Annex III (artificialintelligenceact.eu) — https://artificialintelligenceact.eu/annex/3/
2. AlgorithmWatch — Austria's employment agency AMS rolls out discriminatory algorithm — https://algorithmwatch.org/en/austrias-employment-agency-ams-rolls-out-discriminatory-algorithm/
3. Allegheny County Analytics — Developing predictive risk models to support child maltreatment hotline screening decisions — https://analytics.alleghenycounty.us/index.php/2019/05/01/developing-predictive-risk-models-support-child-maltreatment-hotline-screening-decisions/
4. Wikipedia — SyRI (District Court of The Hague, 5 Feb 2020) — https://en.wikipedia.org/wiki/SyRI
5. Lighthouse Reports — The algorithm addiction — https://www.lighthousereports.com/investigation/the-algorithm-addiction/
6. Amnesty International — Denmark: AI-powered welfare system fuels mass surveillance (Nov 2024) — https://www.amnesty.org/en/latest/news/2024/11/denmark-ai-powered-welfare-system-fuels-mass-surveillance-and-risks-discriminating-against-marginalized-groups-report/
7. European Commission — Guidelines on prohibited AI practices — https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act
8. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj