KI-gestütztes Datenlabeling und Annotieren (Model-in-the-Loop)

Jedes eigene Bild-, Sprach- oder Sprachmodell braucht gelabelte Daten, und manuelles Labeln ist langsam, teuer und uneinheitlich. Beim Model-in-the-Loop-Labeling schlagen Foundation-Modelle (Segmentierer der SAM-Klasse, Vision-Language-Modelle, LLMs) Labels vor, Active Learning wählt die Fälle aus, bei denen ein Mensch den größten Mehrwert bringt, und QA-Kennzahlen halten die Qualität messbar. Das Ergebnis sind Trainings- und Evaluierungsdatensätze mit einem Bruchteil des manuellen Aufwands: Menschen prüfen, statt jedes Polygon selbst zu zeichnen.

Problem & Nutzen

• Heute: Teams zeichnen Rahmen und Polygone, markieren Textabschnitte oder transkribieren Audio von Hand oder lagern das an Annotationsdienstleister aus. Richtlinien driften auseinander, Annotierende sind unterschiedlicher Meinung und der Nacharbeitsaufwand ist hoch. Das Labeln ist oft der größte Einzelkostenblock und das wichtigste Terminrisiko eines Projekts mit eigenem Modell.
• Nutzen durch KI: Vor-Labels machen aus „von Grund auf zeichnen“ ein „übernehmen oder korrigieren“; Segmentierung per Klick-Prompt ersetzt das Nachzeichnen von Umrissen; LLMs vergeben Textklassen anhand der Richtlinien; Uncertainty Sampling priorisiert, was als Nächstes gelabelt wird; Konsens- und Gold-Set-Prüfungen machen die Qualität messbar.
• Nutzenangaben: Die Segment-Anything-Veröffentlichungen beschreiben interaktive, per Prompt steuerbare Segmentierung als Grundlage solcher Werkzeuge; Herstellerangaben zur Beschleunigung des Labelns schwanken je nach Datentyp und sollten an einem eigenen Pilotstapel überprüft statt vorausgesetzt werden [1][2].
• Zweite Aufgabe: Dieselbe Pipeline baut die Evaluierungssätze (Golden Sets), die LLM- und Agentenanwendungen zum Testen brauchen (siehe CODE-018).

Varianten

• Computer Vision: Rahmen, Masken, Keypoints, Objektverfolgung in Videos mit weitergegebenen Masken (im Stil von SAM 2) [1].
• Text/NLP: Klassifikation, NER, Relationslabels, Präferenz-/Ranking-Daten für das Feintuning von LLMs, LLM als Annotator mit menschlicher Prüfung.
• Audio/Sprache: ASR-Vortranskription (Whisper-Klasse), von Menschen korrigiert, Sprecherwechsel, Geräuschereignisse.
• Dokumenten-KI: Layout- und Feldlabels auf Scans für Extraktionsmodelle (siehe DOC-014).
• Medizin/Industrie: Fachleute in der Schleife mit DICOM- oder Fehlerbildern; weniger, aber teurere Labels (siehe VIS-001).
• Vermittelte Arbeitskräfte: Annotierende des Anbieters auf Basis der Werkzeuge.
• Privat/Hobby: kleine Projekte (Wildkamera, Heimlabor) mit dem kostenlosen CVAT oder Label Studio.

So funktioniert es

1. raw data (images/video/text/audio)
2. ingestion + de-duplication + PII screening
3. guideline + label schema definition (ontology)
4. pre-labelling (SAM-class segmenter / open-vocabulary detector / VLM / LLM / ASR)
5. active learning: uncertainty / diversity sampling picks items for humans
6. human review & correction (annotation UI)
7. QA: gold-set checks, inter-annotator agreement, reviewer sampling
8. export versioned dataset
9. train / evaluate model
10. new predictions feed back to pre-labelling

• Vor-Labeling: Segmentierung per Prompt (SAM 2) [1], Detektoren mit offenem Vokabular (Grounding DINO, OWL-ViT-Klasse), VLMs für Beschreibungen und Attribute, LLMs mit Richtlinien-Prompts für Textklassen.
• Active Learning: Das aktuelle Aufgabenmodell bewertet ungelabelte Daten; Fälle mit niedriger Konfidenz oder neuartige Fälle (im Embedding-Raum weit entfernt) kommen zuerst in die Warteschlange, damit jede Minute menschlicher Arbeit das Modell am stärksten verbessert.
• Qualität: Übereinstimmungsmaße (Cohen/Krippendorff), verdeckte Gold-Elemente, Prüfwarteschlangen, Dashboards je Annotierender bzw. Annotierendem. LLM-Labels werden an einer von Menschen gelabelten Stichprobe validiert, bevor man ihnen in großer Menge vertraut.
• Punkte mit Mensch-in-der-Schleife (Human-in-the-Loop): Erstellung der Richtlinien, Korrektur von Fällen mit niedriger Konfidenz, Entscheidung bei Meinungsverschiedenheiten, finale Freigabe des Datensatzes.

Datenaufbereitung

Das Labeln braucht Rohmaterial (Bilder, Video, Text, Audio, Dokumente), ein Label-Schema mit Annotationsrichtlinien und eine kleine Startmenge. In einem KMU liegt das Material auf Maschinen- und Produktions-PCs, Kamera-SD-Karten, Dateiablagen, in E-Mails und im DMS; die Labels verstecken sich oft in vorhandenen Aufzeichnungen wie Qualitätsberichten, Tickets oder ERP-Buchungscodes. Typische Lücken: Duplikate und Beinahe-Duplikate, unscharfe oder nicht repräsentative Stichproben, keine vereinbarten Kategorien, Gesichter oder personenbezogene Daten in Bildern und niemand, der die Richtlinien verantwortet.

Schritte der Aufbereitung: (1) Daten inventarisieren und sammeln (PREP-001, PREP-002); (2) Duplikate entfernen, Metadaten entfernen, Gesichter unkenntlich machen oder pseudonymisieren (PREP-022); (3) das Kategorienschema vor dem Vor-Labeling mit Fachleuten festlegen (PREP-019); (4) Labels aus vorhandenen Geschäftsdaten gewinnen (PREP-020); (5) mit den Fachleuten ein kleines Gold-Set aufbauen (PREP-018, PREP-016); (6) Korrekturen zurückspielen (PREP-021). Werkzeuge: fdupes oder imagehash, FFmpeg, Whisper für Audio, Label Studio oder CVAT.

Der Aufwandsanteil ist mittel, etwa 30 Prozent: Schema und Gold-Set festzulegen dauert länger als die Werkzeuge. Siehe DATA-003, DATA-008 und DOC-014.

Umsetzungswege

Welcher Weg für wen

• Großunternehmen (B): Vor-Labeling über Cloud-APIs (VLMs, LLMs) fügt sich in bestehende ML-Pipelines ein und skaliert ohne GPU-Betrieb; nutzen Sie Plattformprodukte (A), wenn viele Annotierende und Prüfpfade nötig sind.
• Entwickler (C): Label Studio, CVAT, SAM 2 und Open-Weight-VLMs laufen auf HW2 und geben volle Kontrolle über Datensätze und Formate.
• KMU (C): Rohbilder, Audio oder Dokumente sind oft Produktions- oder Kundendaten; Label Studio oder CVAT mit SAM 2 auf einer einzelnen GPU-Workstation ist einfach, günstig und hält die Daten im Haus, und derselbe Aufbau bedient mehrere Bild- und Dokumentenprojekte.
• Öffentliche Hand (C): Souveränitäts- und Vergaberegeln begünstigen selbst betriebene Werkzeuge oder eine EU-/deutsche Cloud mit AVV gegenüber US-Plattformen.

Weg A — Kaufen (Standardsoftware)

• Plattformen: Labelbox, Encord, V7 (Darwin), SuperAnnotate, Scale AI, Roboflow (Annotate), Kili Technology (EU, Frankreich), Dataloop, Humans in the Loop sowie Cloud-Dienste wie Amazon SageMaker Ground Truth [3]. Prodigy (Explosion, Deutschland) passt für NLP-Teams.
• Prüfen: Hosting in der EU oder On-Premises-Option, SSO, Prüfpfad, SAM-/Foundation-Modell-Assistenten, Unterstützung für Active Learning, Exportformate, ob Ihre Daten zum Training der Modelle des Anbieters verwendet werden, und wo ausgelagerte Annotierende sitzen.
• Wählen Sie A, wenn: mehrere Annotierende beteiligt sind, regulierte Daten Zugriffskontrolle brauchen und Sie QA-Werkzeuge ohne Entwicklungsaufwand wollen.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Vor-Labeling per API: multimodale LLMs (Claude, Gemini, GPT, Mistral Pixtral/Mistral-Modelle als EU-Anbieter) mit strukturierten Ausgaben für Text- und Bildattribute; Cloud-ASR für Audio.
• Orchestrierung: Label Studio (Open Source oder Enterprise) mit einem ML-Backend, das eine API aufruft, oder die Modell-Hooks des Anbieterwerkzeugs; Batch-APIs senken die Kosten beim Labeln großer Mengen.
• Wählen Sie B, wenn: keine sensiblen Bilder oder personenbezogenen Daten die EU-Region verlassen, die Mengen moderat sind und es auf Tempo ankommt.

Weg C — Selbst betreiben (Open Source)

• Werkzeuge: Label Studio (HumanSignal) [3], CVAT (ursprünglich Intel, jetzt unabhängig, unterstützt SAM und automatische Annotation), Doccano, Argilla (Text-/LLM-Feedbackdaten), FiftyOne (Kuratierung von Datensätzen und Fehleranalyse), Cleanlab (Erkennung von Label-Fehlern).
• Modelle: SAM-2-/SAM-3-Familie (Meta, offene Gewichte) [1], Grounding DINO, Detektoren der YOLO-Familie für erste Labels, Whisper oder faster-whisper für Audio, Open-Weight-VLMs (Qwen-VL-Familie) und LLMs (Llama, Mistral, Qwen), bereitgestellt über vLLM.
• Hardware: HW2 (eine GPU mit 24 GB) genügt für interaktive SAM-gestützte Annotation und ein VLM mit 7-8 Mrd. Parametern; HW3 für Video-Propagation in großem Umfang und größere VLMs.
• Betrieb: Postgres, Objektspeicher, SSO und Backup; grob ein DevOps-Teilzeitaufwand.

Weg D — Eigenes Training

Trainieren Sie das Aufgabenmodell selbst auf den gelabelten Daten (der Zweck der Pipeline) und optional einen leichtgewichtigen, domänenspezifischen Vor-Labeler aus den ersten paar Tausend geprüften Labels. Feintunen Sie nur, wenn generische Foundation-Modelle eine Spezialdomäne falsch labeln (Medizin, Fehler in der Industrie); oft genügen für den Start einige hundert von Fachleuten geprüfte Beispiele.

Stand der Technik (2026)

• Segmentierung per Prompt ist Standardware: SAM 2 brachte Videounterstützung mit speicherbasierter Masken-Propagation [1]; spätere Versionen (SAM 3) ergänzen Text- und Konzept-Prompts, und nahezu jede Labeling-Plattform integriert eine SAM-Variante.
• LLM-/VLM-Annotatoren: LLM-Labeling von Text erreicht bei einfachen Aufgaben das Niveau von Crowd-Arbeitskräften, die Qualität schwankt aber mit der Subjektivität der Aufgabe; bewährt ist die Kalibrierung an einer von Menschen gelabelten Gold-Stichprobe plus regelmäßige Audits [4].
• Erkennung von Label-Fehlern (Confident Learning, wie in Cleanlab) findet falsch gelabelte Elemente in bestehenden Datensätzen und bringt oft größere Gewinne als zusätzliche Daten [5].
• Präferenz- und Evaluierungsdaten für LLMs (Rankings, Bewertungen nach Rubrik, Red-Team-Fälle) sind inzwischen eine große Labeling-Aufgabe mit fachkundigen Annotierenden.
• Grenzen: Vor-Labels beeinflussen die Prüfenden (Automation Bias: Menschen übernehmen falsche Vorschläge); Modelle, die Daten labeln, auf denen sie später trainieren, verstärken ihre eigenen Fehler (Bestätigungsschleife); Masken der SAM-Klasse werden bei dünnen, transparenten, kontrastarmen oder domänenspezifischen Objekten (Medizin, Mikroskopie, Röntgen) schlechter; LLM-Labels können systematisch falsch und dennoch konsistent sein, Übereinstimmung allein beweist daher keine Korrektheit.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack: VLM + Segmentierung + Vektorindex wie in VIS-001 (Inspektion); ASR wie in SPEECH-001; OCR/Layout wie in DOC-014.
• Vorgelagert: DATA-003 (Bereinigung und Deduplizierung vor dem Labeln), DATA-005 (synthetische Daten verringern den nötigen Labeling-Umfang; synthetische Daten müssen trotzdem validiert werden).
• Nachgelagert: Modelltraining (Weg D vieler Anwendungsfälle), DATA-008 (Überwachung der Datenqualität; Drift löst erneutes Labeln aus), CODE-018 (Evaluierungssätze für LLM-Anwendungen).
• Ein gemeinsamer GPU-Server für SAM, VLM und ASR bedient die interaktive Annotation und das nächtliche Batch-Vor-Labeling.

Aufwand, Kosten & Kennzahlen

• Weg A: Tage bis Wochen bis zur Einführung; Preise meist je Nutzer, Datenvolumen oder gelabelter Einheit; vermittelte Arbeitskräfte verursachen zusätzliche Gebühren je Label.
• Weg B: 2-6 Wochen für eine Vor-Labeling-Integration; die API-Kosten je Element sind meist gering im Vergleich zu menschlichen Arbeitsminuten.
• Weg C: 1-3 Monate inklusive SSO, Speicher und Modellbereitstellung; GPU-Server plus Betriebsaufwand.
• Kennzahlen: menschliche Sekunden je übernommenem Label, Akzeptanzrate der Vor-Labels, Übereinstimmung der Annotierenden, Genauigkeit am Gold-Set, in Audits gefundene Label-Fehlerquote, Leistungsgewinn des Modells je 1.000 Labels, Kosten je gelabeltem Element, Durchlaufzeit.

Menschen & Veränderung

Beziehen Sie die Abteilungsleitung (Qualität, F&E, Daten) ein, die das Label-Schema verantwortet, sowie die Fachleute als Endanwender: Ihre Korrekturen sind die Qualität. Die IT stellt GPU-Workstation oder -Server, Konten und Speicher bereit; die Datenverantwortlichen geben das Material frei. Enthalten Bilder, Audio oder Text Personen, prüft die bzw. der Datenschutzbeauftragte Rechtsgrundlage und Zweck der Weiterverwendung; bei Videos von Beschäftigten oder besonderen Kategorien ist wahrscheinlich eine DSFA nötig, und jede externe Plattform braucht einen AVV (Art. 28 DSGVO).

Betriebsrat: kommt darauf an. Annotationswerkzeuge protokollieren üblicherweise Geschwindigkeit und Übereinstimmung je Annotierender bzw. Annotierendem und eignen sich damit zur Leistungsüberwachung (§ 87 Abs. 1 Nr. 6 BetrVG, die objektive Eignung genügt). Nutzen Sie anonyme oder teamweite Dashboards und vereinbaren Sie dies in einer Betriebsvereinbarung; Daten aus Kamera- oder Audioaufnahmen von Beschäftigten sind für sich genommen sensibel. Informieren Sie nach § 90 Abs. 1 Nr. 3; in öffentlichen Stellen ist der Personalrat einzubinden.

KI-Kompetenz: Schulen Sie Annotierende zu den Richtlinien und zum Automation Bias, denn das blinde Übernehmen von Vor-Labels senkt die Qualität (GUIDE-006). Starten Sie mit einer Label-Klasse und zwei Prüfenden als Pilot, messen Sie die Übereinstimmung und weiten Sie dann aus. Sorge „Wir labeln uns selbst weg“: Zeigen Sie, dass die fachliche Prüfung zentral bleibt. Siehe GUIDE-008, GUIDE-004 und GUIDE-005.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): Das Labeling-Werkzeug hat minimales Risiko. Die Datensätze können Hochrisikosysteme speisen; dort verlangt Art. 10 für Trainings-, Validierungs- und Testdaten eine dokumentierte Daten-Governance sowie die Prüfung von Relevanz, Repräsentativität und Verzerrungen [6]. Halten Sie Datensatzherkunft, Richtlinien und QA-Nachweise fest. Labeling für verbotene Praktiken (Art. 5, z. B. Emotionserkennung am Arbeitsplatz oder in der Schule, ungezieltes Auslesen von Gesichtsbildern) darf nicht unterstützt werden.
• DSGVO: Bilder, Stimme und Text enthalten oft personenbezogene Daten; legen Sie Rechtsgrundlage und Zweck fest, minimieren Sie (Gesichter oder Kennzeichen unkenntlich machen, wo nicht nötig), führen Sie bei sensiblen Daten (Gesundheit, Biometrie) eine DSFA durch und schließen Sie mit Annotationsdienstleistern Auftragsverarbeitungsverträge und Garantien für Übermittlungen ab, besonders bei Arbeitskräften im Ausland [7].
• Ethik gegenüber den Arbeitskräften: faire Bezahlung und psychologischer Schutz für Annotierende, die belastende Inhalte bearbeiten; prüfen Sie die Arbeitsbedingungen beim Anbieter.
• Urheberrecht: Für ausgelesene Daten sind Prüfungen des Text-und-Data-Mining-Vorbehalts nötig (DSM-Richtlinie Art. 4).
• Gegenmaßnahmen: blinde Prüfung eines Teils der Elemente (ohne angezeigtes Vor-Label), Gold-Sets, versionierte Datensätze, Zugriffskontrolle, Aufbewahrungsfristen, Bias-Audits der Label-Verteilung.

Erste Schritte

1. Legen Sie Aufgabe, Label-Schema und schriftliche Richtlinien mit Beispielen fest; lassen Sie zwei Personen 100 Elemente labeln und messen Sie die Übereinstimmung.
2. Richten Sie Label Studio oder CVAT ein (oder testen Sie eine Plattform nach Weg A) mit einem Vor-Labeler auf Basis von SAM oder LLM.
3. Pilotieren Sie 500-1.000 Elemente: Messen Sie die menschliche Zeit mit und ohne Vor-Labels und prüfen Sie eine blinde Stichprobe.
4. Trainieren Sie ein erstes Modell und aktivieren Sie dann Active Learning, um den nächsten Stapel auszuwählen.
5. Versionieren Sie jeden Datensatz, dokumentieren Sie Herkunft und QA-Ergebnisse und planen Sie ein erneutes Labeln ein, wenn Drift erkannt wird.

Quellen

1. Ravi et al., "SAM 2: Segment Anything in Images and Videos" (Meta) — https://arxiv.org/abs/2408.00714 — and https://github.com/facebookresearch/sam2
2. Kirillov et al., "Segment Anything" — https://arxiv.org/abs/2304.02643
3. Label Studio documentation (ML backend, pre-annotations, active learning) — https://labelstud.io/guide/ml
4. Gilardi et al., "ChatGPT outperforms crowd workers for text-annotation tasks" (PNAS 2023) — https://arxiv.org/abs/2303.15056
5. Northcutt et al., "Confident Learning: Estimating Uncertainty in Dataset Labels" — https://arxiv.org/abs/1911.00068
6. Regulation (EU) 2024/1689 (AI Act), Art. 5 and Art. 10 — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
7. Regulation (EU) 2016/679 (GDPR) — https://eur-lex.europa.eu/eli/reg/2016/679/oj
8. CVAT documentation — https://docs.cvat.ai/
9. Amazon SageMaker Ground Truth — https://docs.aws.amazon.com/sagemaker/latest/dg/sms.html