Echtzeit-KI für Endoskopie & Operationsvideo

Bei Koloskopie, Gastroskopie und minimalinvasiver Chirurgie ist der Videostrom die wichtigste Datenquelle, und Ärzte müssen ihn live unter Ermüdung und Zeitdruck deuten. Echtzeit-Computer-Vision hebt verdächtige Polypen hervor, schlägt deren Histologie vor, erkennt Operationsphase, Instrumente und kritische Anatomie und macht aus der Aufzeichnung anschließend einen strukturierten Bericht und ein Qualitäts- oder Schulungsmittel. Der am besten belegte Nutzen ist eine höhere Adenomdetektionsrate (ADR) in der Vorsorgekoloskopie; die Videoanalyse in der Chirurgie ist bei der Evidenz weniger weit, wächst aber schnell.

Problem & Nutzen

• Heute: Endoskopiker erkennen Läsionen ohne Hilfe; die Detektion schwankt stark zwischen den Untersuchern, und übersehene Adenome sind eine Hauptursache für Intervallkarzinome des Darms. Chirurgen diktieren OP-Berichte aus dem Gedächtnis; Videos werden selten angesehen, weil die manuelle Durchsicht Stunden dauert. Unterschiede in Technik und OP-Wechselzeiten lassen sich kaum messen.
• KI-Nutzen: ein zweiter Beobachter, der nie ermüdet (CADe), Entscheidungsunterstützung zum Läsionstyp (CADx), objektive Dokumentation wichtiger Sicherheitsschritte, schnellere Berichte und durchsuchbare Videos für Schulung und Qualität.
• Evidenz: Mehrere randomisierte kontrollierte Studien und Metaanalysen zur CADe-Koloskopie berichten einen signifikanten ADR-Anstieg gegenüber der Standardkoloskopie, wobei der Effekt bei erfahrenen Endoskopikern und bei fortgeschrittenen Adenomen kleiner oder weniger sicher ist; Bedenken betreffen Kompetenzverlust und zusätzliche falsch-positive Resektionen [1][2]. Die ESGE hat ein Positionspapier zu KI in der gastrointestinalen Endoskopie veröffentlicht [3]. In der Chirurgie ist die Phasenerkennung auf Benchmarks wie Cholec80 technisch stark, die Evidenz zu Patientenergebnissen ist aber noch begrenzt.

Varianten

• Koloskopie-CADe (Detektion): Rahmen plus Ton bei verdächtigen Polypen; die ausgereifteste Variante.
• Koloskopie-CADx (Charakterisierung): optische Diagnose (Adenom vs. hyperplastisch) zur Unterstützung von Strategien wie „resect and discard" oder „diagnose and leave"; erfordert strenge Validierung.
• Oberer Magen-Darm-Trakt und weitere: Barrett-Neoplasie, Magenfrühkarzinom, Auswertung der Kapselendoskopie, Bronchoskopie, Zystoskopie.
• Videoanalyse in der Chirurgie: Erkennung von Phasen und Instrumenten, Critical View of Safety bei der laparoskopischen Cholezystektomie, Erkennung von Blutungen oder Rauch, Analysen zu OP-Ablauf und Wechselzeiten.
• Erstellung von OP-Berichten: Zeitverlauf und strukturierter Bericht aus dem Video entworfen, mit Freigabe durch den Chirurgen.
• Spitze der Entwicklung: Führung bei Roboterchirurgie und Automatisierung von Teilaufgaben: Anatomie-Einblendungen, Kameraführung und Forschungssysteme, die Schritte wie das Nähen im Ex-vivo-Umfeld selbstständig ausführen (z. B. SRT-H, Johns Hopkins). Die Roboterplattform ist selbst ein Medizinprodukt; autonome Chirurgie am Menschen ist kein Marktprodukt (siehe HLTH-037).

So funktioniert es

1. endoscope / laparoscope / robot camera
2. video capture (SDI/HDMI frame grabber or vendor video interface, < ~100 ms budget)
3. frame preprocessing (deinterlace, crop, quality gate: blur, bubbles, bile, smoke)
4. on-device inference (detector/segmenter/classifier, temporal model for phases)
5. overlay renderer (boxes, labels, confidence) back to the monitor + optional audio cue
6. human decision (endoscopist/surgeon decides, resects, documents)
7. session recording + metadata (EHR, DICOM, PACS/VNA)
8. offline pipeline: phase timeline, key-event clips, report draft (LLM/VLM), QA dashboards

• Detektion und CADx: Detektoren auf Basis von Faltungs- oder Transformer-Netzen (Klasse YOLO/RT-DETR) mit zeitlicher Glättung und Tracking, sodass ein Polyp einmal markiert wird und verfolgt bleibt; ein separater Klassifikator übernimmt die optische Diagnose.
• Erkennung der Operationsphase: CNN- oder Vision-Transformer-Merkmale mit anschließendem zeitlichem Modell (TCN, Transformer, z. B. im Stil von TeCNO/Trans-SVNet), trainiert auf Videos mit Annotation je Einzelbild.
• OP-Berichte: Zeitverlauf aus Phasen und Ereignissen plus strukturierte Daten speisen ein LLM, das den Text entwirft. Der Chirurg prüft und unterschreibt; nichts wird ungeprüft abgelegt.
• Mensch-in-der-Schleife (Human-in-the-Loop): Der Kliniker bleibt voll verantwortlich; die KI-Ausgabe ist beratend und kann abgeschaltet werden.

Datenaufbereitung

Die relevanten Daten sind Live-Video vom Endoskopieturm oder der OP-Kamera sowie Berichte im Krankenhausinformationssystem, im PACS oder in einem Endoskopie-Dokumentationssystem. Für die Echtzeitfunktion selbst ist keine Datenaufbereitung nötig, weil das zertifizierte Produkt sein Modell mitbringt. Die Aufbereitung zählt für drei Dinge: lokale Validierung, Berichtsentwürfe sowie jedes Nachtraining oder jede Forschung.

Typische Lücken: Videos in unterschiedlichen Formaten und Auflösungen, keine strukturierte Verknüpfung von Video, Befunden und Histologie, Aufzeichnungen auf einzelnen Arbeitsplätzen oder USB-Sticks, fehlende Einwilligung zur Zweitnutzung und unklare Aufbewahrungsfristen.

Schritte der Aufbereitung: (1) entscheiden, ob und wie lange Aufzeichnungen überhaupt gespeichert werden; (2) einen Standardexport (Video plus strukturierter Bericht plus Histologiebefund) aus dem Dokumentationssystem festlegen; (3) einen lokalen Validierungssatz aus 50 bis 100 geprüften Eingriffen mit fachkundigen Endoskopikern aufbauen, siehe PREP-018; (4) Einzelbilder vor jeder externen Nutzung pseudonymisieren und Patienteneinblendungen abschneiden, siehe PREP-022; (5) Speicherung und Zugriffsrechte für Videoarchive bereinigen, siehe PREP-009 und PREP-023.

Grober Aufwandsanteil: etwa 15 bis 25 Prozent bei einem reinen Rollout nach Weg A, deutlich mehr, wenn die Klinik eigene Forschung oder Nachtraining betreiben will. Siehe GUIDE-003 für die Prüfung der Voraussetzungen.

Umsetzungswege

Welcher Weg für wen

• Enterprise (Klinikverbünde, Privatkliniken, Endoskopiezentren): Weg A, weil CE-gekennzeichnete Polypenerkennung (CADe) und OP-Videomodule sich in den vorhandenen Endoskopieturm einfügen und die MDR-Verantwortung tragen.
• Entwickler: Weg C, weil offene Videomodelle und Datensätze (zum Beispiel Cholec80, Datensätze zur Critical View im Stil von SAGES) Forschung und Prototypen unterstützen, aber keinen klinischen Einsatz ohne eigene Zertifizierung.
• Öffentlicher Sektor (Universitäts- und kommunale Kliniken): Weg A On-Premises oder mit EU-Hosting, weil Latenz, Vergaberegeln und Patientendaten zertifizierte Edge-Geräte begünstigen.

Weg A — Kaufen (Standardsoftware) (empfohlen)

Weil der Echtzeiteinsatz eine regulierte Medizinprodukt-Funktion ist, ist der Kauf eines CE-gekennzeichneten Produkts der Normalfall. - Koloskopie-CADe/CADx: Medtronic GI Genius, Olympus ENDO-AID (mit Cloud-Werkzeugen von Odin Vision), Fujifilm CAD EYE, Pentax Medical (mit Satisfai Health), EndoBRAIN (Cybernet). Wählen Sie eines, das zu Ihrem vorhandenen Endoskop und Ihrer Prozessorgeneration passt. - Plattformen für Operationsvideo: Medtronic Touch Surgery, Theator, Caresyntax, Activ Surgical, (Caresyntax sitzt in Berlin, EU). Prüfen Sie EU-Hosting, Kontrollen zur Aufbewahrung von Videos und den Export von OP-Berichten. - Wählen Sie A, wenn: Sie ein Krankenhaus oder eine Endoskopiepraxis sind. Die Beschaffung ist eine Entscheidung auf Krankenhausebene.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Echtzeit-Inferenz über die Cloud ist selten geeignet (Latenz, Patientenvideo verlässt den OP, MDR-Geltungsbereich).
• Geeignet für Offline-Arbeit: Entwurf von Berichten aus Video, anonymisierte Auswertung, Suche und Lehrclips mit multimodalen LLMs und Sprachmodellen in EU-Regionen (z. B. Gemini, Claude, Mistral in EU-Regionen) unter einem Auftragsverarbeitungsvertrag.
• Kombinieren Sie das mit Anonymisierung im Stil von VIS-030 (Gesichter und Raummerkmale), bevor Video das Krankenhaus verlässt.

Weg C — Selbst betreiben (Open Source)

• Modelle und Code: Detektoren im Stil von MMDetection/Ultralytics, nnU-Net oder Modelle der SAM-Familie für die Segmentierung, PyTorch-Video- Modelle, öffentliche Datensätze (Cholec80, CholecT50, EndoVis, HyperKvasir, SUN-Koloskopie-Datenbank, PolypGen, Kvasir-SEG).
• Laufzeitumgebung: NVIDIA Holoscan / Clara Holoscan und TensorRT für Streaming mit geringer Latenz, ONNX Runtime, OpenVINO auf Edge-GPUs.
• Hardware: eine Edge-GPU (Jetson Orin / RTX-Klasse, HW1-HW2) im Turm für die Inferenz; Berichtsentwurf offline auf HW2-HW3.
• Einschränkung: nur für die Forschung. Der klinische Einsatz selbst gebauter Software macht Sie zum Hersteller (siehe Risiken).

Weg D — Eigenes Training

Lohnt sich für Medizintechnik-Hersteller und Forschungskliniken, die ein Produkt oder eine neue Indikation entwickeln. Erfordert tausende von Experten annotierte Eingriffe aus mehreren Zentren, von verschiedenen Endoskopherstellern und Bildprozessoren, sowie eine prospektive Validierung. Annotationskosten und Domänenverschiebung sind die größten Hürden; Foundation-Modelle, die auf großen unbeschrifteten Endoskopievideos vortrainiert sind, verringern den Bedarf an beschrifteten Daten.

Stand der Technik (2026)

• Koloskopie-CADe ist kommerziell etabliert, mit CE-Kennzeichnung und FDA-Zulassung für mehrere Systeme; Evidenz aus RCT und Metaanalysen stützt den ADR-Gewinn, während die Wirkung auf Intervallkarzinome und Langzeitergebnisse noch offen ist [1][2].
• CADx bewegt sich hin zum Einsatz in Leave-in-situ-Strategien für kleine distale Polypen, erfordert aber einen hohen negativen prädiktiven Wert, und die Leitlinien sind vorsichtig [3].
• Chirurgische KI konzentriert sich auf Foundation-Modelle für Operationsvideo, die Beurteilung der Critical View of Safety und automatisierte Werkzeuge von Video zu Bericht; Anbieter vermarkten OP-Analysen, begutachtete Ergebnisdaten sind aber noch spärlich.
• Autonomie: Forschungsroboter zeigen gelernte autonome Teilaufgaben (z. B. Ex-vivo-Nähen und Schritte der Cholezystektomie), keine klinischen Produkte.
• Grenzen und Fehlerbilder: falsch-positive Warnungen und Alarmmüdigkeit, schwache Leistung bei Blasen, Stuhlresten, Rauch oder Blut, Domänenverschiebung zwischen Endoskopgenerationen, Automatisierungsbias und Kompetenzverlust, übersehene flache Läsionen sowie Phasenmodelle, die bei seltener Anatomie oder Komplikationen versagen.

Gemeinsame Bausteine & Kombinationen

• Dieselben Bildverarbeitungsfähigkeiten (Detektion, Segmentierung, Tracking) wie bei HLTH-001/002 für die Analyse von Einzelbildern, aber Streaming und Edge-Laufzeit sind hier spezifisch.
• HLTH-011 für Entlassbriefe, HLTH-021 für die Konturierung, HLTH-037 für Roboterchirurgie, HLTH-004 für Entscheidungsunterstützung.
• VIS-030 zur Anonymisierung aufgezeichneter Videos vor der Nutzung in der Forschung oder der Cloud-Verarbeitung.

Aufwand, Kosten & Kennzahlen

• Weg A: Wochen bis Monate für Beschaffung, Integration in Turm und PACS/VNA, Schulung und Change Management; die Lizenz gilt meist je Raum oder je Eingriff.
• Weg B/C: Monate für Offline-Analysen; ein reguliertes Echtzeit-Produkt braucht Jahre und ein Qualitätssystem.
• Weg D: mehrjähriges Programm über mehrere Zentren mit klinischen Studien und Prüfung durch eine Benannte Stelle.
• Kennzahlen: ADR, Polypendetektionsrate, Adenome je Koloskopie, Rate falsch-positiver Resektionen, Rückzugszeit, negativer prädiktiver Wert der CADx, Berichtsdurchlaufzeit, Anteil der Cholezystektomien mit dokumentierter Critical View, OP-Wechselzeit, Akzeptanz bei den Klinikern.

Menschen & Veränderung

Binden Sie die Geschäftsleitung und die Ärztliche Direktion für Budget und Haftung ein. Die Leitung der Endoskopie oder Chirurgie verantwortet den Prozess; Endoskopiker, Chirurgen, Pflegekräfte und OP-Manager sind die täglichen Anwender und sollten an der Herstellervorführung und der Pilotplanung teilnehmen. IT und IT-Sicherheit decken das Videonetz und die Edge-Hardware ab; die Datenschutzbeauftragte bzw. der Datenschutzbeauftragte (DSB) wird beteiligt, bevor Aufzeichnungen gespeichert werden.

Betriebsrat: kommt darauf an. Systeme, die protokollieren, welcher Arzt das Werkzeug genutzt hat, wie oft er Hinweise angenommen oder ignoriert hat, oder die OP-Video von Beschäftigten aufzeichnen, sind geeignet, Verhalten oder Leistung zu überwachen, und lösen die Mitbestimmung nach §87(1) Nr. 6 BetrVG aus (objektive Eignung genügt nach BAG). §90(1) Nr. 3 verlangt Information über KI-gestützte Arbeitsabläufe. In öffentlichen Kliniken gilt der Personalrat. Vereinbaren Sie schriftlich, dass Detektionsstatistiken nicht zur individuellen Leistungsbeurteilung verwendet werden.

Datenschutz: Patientenvideo sind Gesundheitsdaten; eine DSFA ist wahrscheinlich, dazu ein AVV (Art. 28 DSGVO) für Cloud- oder Support-Zugriff. Auch Beschäftigte sind im OP-Video zu sehen.

KI-Kompetenz: Fördern Sie die KI-Kompetenz des Personals nach Art. 4 KI-Verordnung (AI Act), mit Schulung zu falsch-positiven Befunden, übersehenen Läsionen und Automatisierungsbias. Vermitteln Sie, dass die KI ein zweites Augenpaar ist und der Arzt entscheidet. Beginnen Sie mit einem Endoskopieraum als Pilotgruppe.

Leitfäden: GUIDE-004, GUIDE-005, GUIDE-008.

Risiken, Regulierung & Compliance

• MDR (EU 2017/745): Software für Echtzeitdiagnostik und -führung ist typischerweise Klasse IIa oder IIb (Regel 11) und braucht die CE-Kennzeichnung über eine Benannte Stelle. Selbst gebaute Werkzeuge am Patienten machen die Klinik zum Hersteller, sofern die Eigenherstellungs-Ausnahme (Art. 5(5)) nicht erfüllt ist.
• KI-Verordnung (AI Act): Eine Medizinprodukt-KI, die eine Konformitätsbewertung durch Dritte benötigt, ist Hochrisiko (Art. 6(1), Anhang I); die Pflichten für solche Produkte gelten ab dem 2. August 2028 (verschoben vom August 2027 durch den Digital Omnibus on AI, Verordnung (EU) 2026/1744). Der Entwurf von OP-Berichten allein hat ein geringeres Risiko, verarbeitet aber dennoch Gesundheitsdaten. Kein Verbot nach Art. 5 greift; vermeiden Sie, dasselbe Video so zur Überwachung der Mitarbeiterleistung zu nutzen, dass es zur Beschäftigtenüberwachung wird.
• DSGVO: Eingriffsvideo sind Gesundheitsdaten (Art. 9) und können Patienten oder Beschäftigte identifizieren; es braucht eine Rechtsgrundlage, DSFA, Zugriffskontrolle, Aufbewahrungsfristen und Anonymisierung für die Zweitnutzung. Prüfen Sie die Regeln des Europäischen Gesundheitsdatenraums für die Zweitnutzung.
• Klinische Risiken: Automatisierungsbias, Kompetenzverlust, Übertherapie durch falsch-positive Befunde; mindern durch Schulung, Audit der Leistung mit KI an gegenüber KI aus, und indem das Urteil des Klinikers das letzte Wort behält.
• Haftung und Einwilligung: Patienten informieren, dass KI-Unterstützung genutzt wird; Verantwortlichkeit im Vertrag klären.

Erste Schritte

1. Den Endoskopie-Gerätepark prüfen: Endoskop- und Prozessormodelle, Videoschnittstellen und Bereitschaft von PACS/VNA.
2. Ein CE-gekennzeichnetes CADe-System in einigen Räumen pilotieren, mit einem Audit der Ausgangs-ADR und einem Vergleich KI an/KI aus.
3. Eine DSFA für die Videoaufzeichnung durchführen, Aufbewahrungsregeln festlegen und über die Pseudonymisierung entscheiden.
4. Für die Chirurgie mit einer Offline-Plattform zur Videoauswertung für Qualität und Schulung beginnen, bevor es eine Live-Führung gibt.
5. Kennzahlen festlegen und monatlich mit der klinischen Leitung auswerten, einschließlich der Raten falsch-positiver Befunde und von Übertherapie.

Quellen

1. Hassan C. et al. — Computer-aided detection for colonoscopy: systematic review and meta-analysis (Gut / Clinical Gastroenterology and Hepatology literature) — https://pubmed.ncbi.nlm.nih.gov/?term=computer-aided+detection+colonoscopy+adenoma+detection+rate+meta-analysis
2. Mori Y., Bretthauer M. et al. — Artificial intelligence for colonoscopy: evidence and caveats — https://pubmed.ncbi.nlm.nih.gov/?term=artificial+intelligence+colonoscopy+randomized+trial
3. ESGE — Artificial intelligence in gastrointestinal endoscopy: position statement — https://www.esge.com/
4. Medtronic — GI Genius intelligent endoscopy module — https://www.medtronic.com/covidien/en-us/products/gastrointestinal-artificial-intelligence/gi-genius-intelligent-endoscopy-module.html
5. Cholec80 / CAMMA surgical data science group (Strasbourg) — https://camma.unistra.fr/datasets/
6. NVIDIA Holoscan for medical devices — https://developer.nvidia.com/holoscan-sdk
7. Regulation (EU) 2017/745 (MDR) — https://eur-lex.europa.eu/eli/reg/2017/745/oj
8. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
9. Kim J.W. et al. — Surgical Robot Transformer (SRT-H), autonomous surgical sub-tasks — https://arxiv.org/abs/2505.10251