Mikroskope erzeugen weit mehr Bilder, als Menschen von Hand annotieren oder vermessen können. Moderne Segmentierungs- und Foundation-Modelle (Cellpose, StarDist, Abkömmlinge von Segment Anything) finden heute Zellen, Zellkerne, Organellen, Partikel oder Körner über Bildgebungsverfahren hinweg mit wenig oder ohne Nachtraining und machen aus Pixeln quantitative Tabellen. Typischer Nutzen: Aus Stunden manuellen Umrandens werden Minuten, Messungen werden reproduzierbarer, und Screenings sind in Größenordnungen möglich, die von Auge nicht machbar waren.
Problem & Nutzen
- Heute: Forschende setzen in Fiji/ImageJ Schwellenwerte, zeichnen Objekte von Hand nach oder passen je Experiment eigene klassische Pipelines (CellProfiler) an. Ergebnisse unterscheiden sich zwischen Personen und Geräten; Hochdurchsatz- Screens und 3D-/Zeitrafferdaten (Gigabyte bis Terabyte je Lauf) sind ein Engpass.
- KI-Nutzen: Generalistische Segmentierung funktioniert ohne Anpassung über Färbungen und Zelltypen hinweg, interaktive Werkzeuge machen Korrekturen schnell, und Feintuning auf wenigen Dutzend annotierten Bildern passt ein Modell an eine neue Probe an. Deep-Learning-Restaurierung und Entrauschen erlauben zudem geringere Lichtdosis und schnellere Bildgebung.
- Über die Biologie hinaus: Dieselben Methoden zählen Partikel, messen Korngröße und Porosität in REM-/optischen Gefügebildern von Metallen, Keramiken, Polymeren und Batterien und erkennen Fehler in Qualitätslaboren.
- Veröffentlichte Belege zu Beschleunigungen sind aufgabenspezifisch; messen Sie Ihre eigene Ausgangsbasis (siehe Kennzahlen), statt sich auf Herstellerangaben zu verlassen.
Varianten
- Zellbiologie / Hochdurchsatz-Screening: Segmentierung von Zellkernen und Zellen, phänotypisches Profiling (Cell Painting), Wirkstoff-Antwort-Screens.
- Lebendzell-Tracking: Zeitraffer-Segmentierung plus Tracking und Abstammung (TrackMate, Pipelines im Stil von Ultrack).
- 3D / Volumen-EM / Lichtblatt: Segmentierung von Organellen oder Neuronen in großen Volumina mit blockweiser Verarbeitung.
- Kryo-EM / Kryo-ET: Partikelauswahl und Tomogramm-Segmentierung (Verbindung zu SCI-001 für Strukturarbeit).
- Material- & Industrielabore: Gefüge-, Korn- und Fehleranalyse (SCI-003).
- Lehre / Bürgerwissenschaft: Klassenzimmer-Mikroskope, Biodiversitäts- und Planktonbildgebung mit browserbasierten Werkzeugen.
- Klinische Histopathologie ist ein regulierter Medizinprodukte-Bereich: siehe HLTH-002.
So funktioniert es
- Aufnahme (Mikroskop, OME-TIFF/Zarr, Metadaten)
- Vorverarbeitung (Beleuchtungskorrektur, Entrauschen/Restaurierung, Kachelung großer Bilder)
- Modellinferenz (Instanzsegmentierung | Detektion | Klassifikation | Tracking)
- menschliche Prüfung & Korrektur (interaktive Label-Bearbeitung in napari/QuPath)
- Messung & Merkmalsextraktion (Morphologie, Intensität, Anzahlen, Trajektorien)
- Statistik, QC und Berichte (Tabellen, Diagramme, Herkunftsprotokoll)
- optional: Korrekturen fließen zum Feintuning des Modells zurück
- Segmentierungsmodelle: Cellpose (Generalist, „Cellpose-SAM“/Cellpose 4 baut auf einem Segment-Anything- Encoder auf), StarDist (sternkonvexe Zellkerne), nnU-Net-artige selbstkonfigurierende U-Nets, Mesmer/DeepCell für Gewebe und SAM-basierte interaktive Werkzeuge wie micro-SAM (napari-Plug-in).
- Bild-Sprach-Modelle / Agenten: VLMs und LLM-Agenten helfen bei der Werkzeugwahl, schreiben Fiji-/napari-/Python- Skripte und beschriften Bilder; sie sind Assistenten für den Arbeitsablauf, nicht das Messinstrument.
- Mensch-in-der-Schleife (Human-in-the-Loop): Masken je Platte/Charge stichprobenartig prüfen, Fehler korrigieren und den endgültigen Datensatz freigeben. Größen, die in Veröffentlichungen oder behördliche Unterlagen eingehen, müssen aus validierten, versionierten Pipelines stammen.
Datenaufbereitung
Benötigte Daten: Mikroskopiebilder (2D/3D/Zeitraffer) mit Aufnahme-Metadaten und, für das Feintuning, einigen manuellen Annotationen. In der Praxis liegen sie auf Instrumenten-PCs, lokalen Platten, USB-Laufwerken, NAS oder Dateiablagen, in Herstellerformaten (CZI, ND2, LIF), mit Metadaten in Excel oder Notebooks.
Typische Lücken: verstreute Ablage, uneinheitliche Dateinamen, fehlende Metadaten (Vergrößerung, Färbung, Bedingung), proprietäre Formate, Duplikate, wenige Annotationen und bei Gewebe- oder patientenbezogenen Proben unklare Zugriffsrechte und Einwilligungen.
Aufbereitungsschritte: 1. Inventarisieren, wo die Bilder liegen und wem sie gehören (PREP-001, PREP-004). 2. Über Bio-Formats in OME-TIFF/OME-Zarr konvertieren und in OMERO zentralisieren (PREP-007, PREP-009). 3. Metadaten und eine Namenskonvention ergänzen (PREP-010). 4. Einen kleinen, von Fachleuten annotierten Testsatz erstellen (PREP-018). 5. Proben-IDs bei menschlichem Material pseudonymisieren (PREP-022); für Papier-Laboraufzeichnungen siehe DOC-014.
Werkzeuge: Bio-Formats, OMERO, Fiji, napari.
Aufwandsanteil: etwa 20-30 Prozent.
Umsetzungswege
Welcher Weg für wen
- Enterprise: Weg C, weil Bilddaten und Assays sensibles F&E-Eigentum sind und Cellpose, StarDist und napari auf einer lokalen HW2-GPU gut laufen.
- Developer: Weg C, weil sich offene Modelle feintunen und in eigene Pipelines skripten lassen.
- Öffentlicher Sektor: Weg C, weil Universitäten und Institute offene, reproduzierbare Werkzeuge und OMERO-basiertes On-Premises- oder souveränes Hosting brauchen, wobei patientenbezogene Daten lokal bleiben.
Weg A — Kaufen (Standardsoftware)
- Herstellerplattformen: ZEISS arivis und ZEISS ZEN Intellesis (Deutschland, EU), Leica Aivia / LAS X (Deutschland, EU), Oxford Instruments Imaris und Andor, Thermo Fisher Amira/Avizo, Nikon NIS.ai, Evident cellSens, Molecular Devices MetaXpress/IN Carta, Revvity Harmony/Signals Image Artist, Dassault Systèmes BIOVIA.
- Cloud/KI-zuerst: Aiforia, auf Ilastik basierende kommerzielle Dienste, Biodock, Cytena (Deutschland, EU) und die geräteintegrierte Analyse von Sartorius (Deutschland, EU).
- A wählen, wenn: das Labor ohnehin ein Mikroskop oder Screening-System kauft und validierte, unterstützte Software mit Geräteintegration und GxP-Funktionen braucht.
Weg B — Auf Cloud-KI-Diensten aufbauen
- Verwaltete GPU-Rechenleistung in EU-Regionen (AWS, Azure, Google Cloud, EU-Anbieter wie OVHcloud, STACKIT, Scaleway), auf der offene Modelle als Container laufen; Modelle aus dem BioImage Model Zoo (bioimage.io) und die Ökosysteme BiaPy/DeepImageJ liefern portable, versionierte Modelle.
- Leistungsstarke multimodale LLMs (Claude, Gemini, GPT, Mistral) über Endpunkte in EU-Regionen für Abbildungsbeschreibung, Protokoll-QA und die Erzeugung von Analyseskripten; nicht für die primäre Quantifizierung verwenden.
- Orchestrierung: Nextflow/Snakemake, OMERO für die Bildverwaltung, OME-Zarr für cloudgeeignete Speicherung.
Weg C — Selbst betreiben (Open Source; empfohlener Standard für Forschungslabore)
- Werkzeuge: Fiji/ImageJ, napari, QuPath, CellProfiler, ilastik, Cellpose / Cellpose-SAM, StarDist, micro-SAM, nnU-Net, DeepCell, TrackMate, BiaPy, OMERO (Open Microscopy Environment).
- Hardware: HW2 (eine GPU mit 16-32 GB) bewältigt die meisten 2D- und mittleren 3D-Lasten; HW3 für große Volumina oder Batch-Inferenz im Kohortenmaßstab. Viele Werkzeuge laufen für Piloten auch langsam auf der CPU.
- Betriebsaufwand: gering bis mäßig; Hauptkosten sind Speicher, Datenmanagement und die Schulung der Forschenden.
Weg D — Eigenes Training
Lohnt sich, wenn die Probe, die Färbung oder das Verfahren ungewöhnlich ist (EM eines bestimmten Gewebes, seltene Phänotypen) oder der Durchsatz es rechtfertigt. Cellpose/StarDist/nnU-Net mit typischerweise zehn bis einigen hundert annotierten Bildern oder Ausschnitten feintunen; Korrekturschleifen mit Mensch-in-der-Schleife in Cellpose oder micro-SAM sind der günstigste Weg, Labels zu erzeugen. Für die Auswertung ganze Experimente (nicht zufällige Kacheln) zurückhalten, um Datenlecks zu vermeiden.
Stand der Technik (2026)
- Generalistische Modelle (Cellpose und Cellpose-SAM, das eine starke datensatzübergreifende Verallgemeinerung berichtet) und von SAM abgeleitete Werkzeuge bedeuten, dass viele Projekte gar kein Training brauchen. Unabhängige Vergleiche von Foundation-Modellen zur Zellsegmentierung an Lebendzell-Mikroskopie und räumlicher Omik zeigen, dass die Ergebnisse je nach Verfahren weiter schwanken [1][2].
- Standardisierte Formate und Modellaustausch (OME-Zarr, BioImage Model Zoo) verbessern die Reproduzierbarkeit und lassen Modelle in vielen Oberflächen laufen [5].
- Agentische Assistenten, die Fiji/napari steuern oder Analysecode schreiben, entstehen gerade; behandeln Sie ihre Ausgabe als nicht vertrauenswürdig, bis sie geprüft ist.
- Grenzen und Fehlerbilder: dichte oder überlappende Zellen, unscharfe oder signalarme Bilder, ungewöhnliche Morphologien, 3D-Anisotropie und Domänenverschiebung zwischen Geräten; Modelle können Objekte unbemerkt verschmelzen oder aufspalten. Auf öffentlichen Daten trainierte Foundation-Modelle können Annotationsverzerrungen enthalten. Berichten Sie stets die Segmentierungsqualität (F1 bei IoU-Schwellen) auf Ihren eigenen Daten und validieren Sie gegen manuelle Referenzwerte.
Gemeinsame Bausteine & Kombinationen
- Vision-Stack (segmentation, object-detection, image-classification) wird mit HLTH-001/HLTH-002 und industriellen Prüf-Anwendungsfällen geteilt; ein HW2-/HW3-GPU-Server kann alle bedienen.
- Kombinieren mit: SCI-007 (selbstfahrende Labore: Bildgebung und Entscheidungen im geschlossenen Regelkreis), SCI-017 (Phänotypen als Eingabe für Ziel- und Biomarkersuche), SCI-001 (Kryo-EM zur Struktur), SCI-003 (Gefüge zu Eigenschaftsmodellen), SCI-011 (Agenten, die aus bildabgeleiteten Merkmalen Hypothesen erzeugen), DOC-014 für Literatur-/Protokollabruf.
Aufwand, Kosten & Kennzahlen
- Weg A: Wochen; Lizenz- und Servicevertragskosten dominieren.
- Weg B/C: 2-8 Wochen für eine funktionierende Pipeline für einen Assay; laufende Pflege von Speicher und Modellen.
- Weg D: 1-3 Monate einschließlich Annotation.
- Kennzahlen: Segmentierungs-F1/AP bei festem IoU gegenüber Expertenlabels, Anteil der Bilder, die manuelle Korrektur brauchen, Analystenzeit je Experiment, Varianz zwischen Bedienern, Reproduzierbarkeit über Standorte, Durchsatz (Bilder/Stunde) und Speicherkosten je TB.
Menschen & Veränderung
- Früh einbinden: Labor- oder Abteilungsleitung, Forschende und Analysten als Anwender, IT für Speicher und GPU-Workstations, die/den Datenschutzbeauftragte(n), wenn menschliches Gewebe oder patientenbezogene Daten verwendet werden, Datenverantwortliche der Bildarchive und die Geschäftsleitung für das Speicherbudget.
- Betriebsrat: hängt davon ab. Die Analyse von Bildern ist keine Mitarbeiterüberwachung, aber gemeinsam genutzte Plattformen wie OMERO protokollieren die Nutzeraktivität, was zur Überwachung von Verhalten geeignet sein kann (§87(1) Nr. 6 BetrVG; BAG: objektive Eignung). Informieren Sie nach §90(1) Nr. 3 und siehe GUIDE-004. Universitäten: Personalrat.
- Datenschutz: Eine DSFA (Art. 35 DSGVO) ist wahrscheinlich, wo besondere Kategorien von Daten (Gesundheit, Genom) mit Bildern verknüpft sind; AVV (Art. 28 DSGVO) für jede Cloud-Nutzung; Ethikvotum (GUIDE-005).
- KI-Kompetenz: Nach Art. 4 der KI-Verordnung (AI Act) (seit 27. Juli 2026) müssen Arbeitgeber und Anbieter Maßnahmen ergreifen, um die KI-Kompetenz des Personals zu fördern; planen Sie eine kurze Schulung ein (siehe GUIDE-006).
- Pilot und Kommunikation: mit einem Assay und einigen interessierten Forschenden beginnen; die eingesparte Zeit gegenüber dem Umranden von Hand zeigen und Validierungsergebnisse intern veröffentlichen (GUIDE-009, GUIDE-008).
- Typische Bedenken: Vertrauen in die automatische Segmentierung und Regeln der Forschungsintegrität; begegnen Sie dem mit von Fachleuten annotierten Testsätzen und verpflichtenden Stichprobenprüfungen.
- Menschliche Kontrolle: Forschende prüfen Masken und QC-Markierungen und geben Modellversionen an; keine nicht offengelegte KI-Bildverbesserung in Veröffentlichungen.
Risiken, Regulierung & Compliance
- KI-Verordnung (AI Act): minimales Risiko für Forschungs- und industrielle Bildanalyse (KI-Kompetenz, Art. 4). Wird sie zur Diagnose oder als Teil eines Medizinprodukts oder In-vitro-Diagnostikums (klinische Pathologie) genutzt, wird sie hochriskant und fällt unter MDR/IVDR (siehe HLTH-002). Kein Verbot nach Art. 5 ist einschlägig.
- DSGVO: Forschungsbilder sind meist nicht personenbezogen, doch menschliches Gewebe, patientenbezogene Zellen, Biopsie- Schnitte und verknüpfte Metadaten oder Genomdaten können personenbezogene oder besondere Kategorien von Daten sein (Art. 9); dafür sind Rechtsgrundlage, Ethikvotum, Pseudonymisierung und AVV bei Cloud-Nutzung nötig. EU-Hosting oder On-Premises bevorzugen.
- Forschungsintegrität: Regeln zur Bildmanipulation bei Veröffentlichungen (keine nicht offengelegte KI-Bildverbesserung, Modellversionen und Parameter angeben); KI-restaurierte Bilder dürfen ohne Validierung nicht als quantitativer Beleg dienen.
- GxP / Datenintegrität: Die regulierte Pharmaindustrie braucht validierte Software (ALCOA+, Audit-Trail, 21 CFR Part 11 und EU-Annex 11).
- Risiken: unbemerktes Versagen bei neuen Daten, Überanpassung an ein Gerät, Lizenzbedingungen (manche Modelle oder Datensätze sind nicht kommerziell nutzbar), Lieferkettensicherheit von Python-Paketen. Gegenmaßnahmen: versionierte Container, zurückgehaltene Auswertung und regelmäßige QC-Bilder.
Erste Schritte
- Einen Assay wählen und 20-50 repräsentative Bilder einschließlich Fehlerfällen manuell annotieren; in OME-TIFF/Zarr mit Metadaten ablegen.
- Cellpose-SAM oder StarDist in napari oder Fiji ohne Training ausführen und den F1-Wert gegen Ihre Annotationen bewerten.
- Wenn die Werte nicht reichen, Masken interaktiv korrigieren und feintunen (Weg D light), mit zurückgehaltenen Experimenten zum Testen.
- Die Pipeline mit Nextflow/Snakemake in einen Container packen, Versionen protokollieren und automatische QC-Markierungen ergänzen.
- Freigaberegeln festlegen: wer welchen Anteil der Bilder prüft und wann das Modell neu validiert werden muss.
Quellen
- Pachitariu et al. — Cellpose-SAM: superhuman generalization for cellular segmentation (bioRxiv) — https://www.biorxiv.org/content/10.1101/2025.04.28.651001
- Cellpose documentation — https://cellpose.readthedocs.io/
- Stringer et al. — Cellpose: a generalist algorithm for cellular segmentation (Nature Methods) — https://pubmed.ncbi.nlm.nih.gov/33318659/
- Israel et al. — A Foundation Model for Cell Segmentation (CellSAM) — https://arxiv.org/abs/2311.11004
- BioImage Model Zoo — https://bioimage.io/
- napari — https://napari.org/
- StarDist — https://github.com/stardist/stardist
- Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj