Überwachung von Prozessmeilensteinen bei Flugzeugabfertigung (Turnaround) und Logistik

Meilensteine der Abfertigung und Verladung werden noch immer von Hand, per Funk oder über wenige Sensoren erfasst, sodass über die Ursachen von Verzögerungen gestritten wird und Verspätungen zu spät auffallen. Computer Vision auf vorhandenen Kameras am Vorfeld, an Rampen und auf Hofflächen erkennt die Ereignisse, aus denen der Prozess besteht, versieht jedes mit einem Zeitstempel, vergleicht es mit dem Plan und warnt die Disponenten, solange noch Zeit zum Reagieren bleibt. Dieselben Daten klären Streitigkeiten über Service-Level und speisen Airport CDM (A-CDM) sowie Logistiksysteme.

Problem & Nutzen

• Heute: An Flughäfen tragen Abfertiger und Lotsen Meilensteine (On-Block, Betankung, Catering, Boarding, Off-Block) manuell oder aus unvollständigen Quellen ein. An Rampen und Höfen geben Personal und Fahrer Ankunfts-, Tor- und Verladezeiten per Hand ein. Die Daten kommen spät, sind uneinheitlich oder fehlen, sodass die tatsächliche Ursache einer Verzögerung erst im Nachhinein ausgestritten wird.
• KI-Nutzen: objektive, durchgehende Zeitstempel für jedes auf der Kamera sichtbare Ereignis; früheres Erkennen eines verspäteten Starts; eine gemeinsame Wahrheit zwischen Fluggesellschaft, Abfertiger, Flughafen und Frachtführer; Beleg-Clips für Abrechnungs- und Vertragsstrafen-Streitigkeiten; Trainingsdaten für die Verzögerungsprognose.
• Belege: Für die Überwachung der Vorfeld-Abfertigung werden Einsätze an Flughäfen wie London Heathrow, Toronto Pearson und Seattle-Tacoma berichtet (Assaia ApronAI); quantifizierte Vorteile stammen aus Fallstudien der Anbieter und sollten im eigenen Pilot überprüft werden [1][2]. Das A-CDM-Konzept selbst zielt auf gemeinsame Meilensteindaten und eine bessere Vorhersagbarkeit der Off-Block-Zeiten [3].

Varianten

• Flugzeugabfertigung (Vorfeld/Position): Flugzeug in Position, Bremsklötze, Bodenstromversorgung, Fluggastbrücke oder Treppe, Gepäck- und Frachttüren, Tankwagen, Cateringfahrzeug, Gepäckband, Schlepper für den Pushback erkennen und daraus die Turnaround-Zeitleiste gegenüber der Soll-Off-Block-Zeit ableiten.
• Überwachung von Rampentoren: Lkw am Tor, Trailertür offen, Beginn/Ende der Verladung, Standzeit je Termin.
• Hofmanagement: Ankunft von Trailern, Belegung der Stellplätze, Standzeit und Wartezeit (VIS-011, VIS-019).

So funktioniert es

1. Kameras (vorhandene Videoüberwachung / eigene Positionskameras, RTSP)
2. Edge- oder Server-Inferenz: Erkennung + Tracking von Flugzeug, Fahrzeugen, Geräten, Türen
3. Zonenlogik je Position/Tür (Geometrie, Kalibrierung)
4. Ereignis-Engine: Zustandsmaschine des Turnaround-/Beladeprozesses
5. Meilenstein + Konfidenz
6. Planabgleich mit Flug-/Termindaten (A-CDM, AODB, TMS)
7. Verspätungsprognose + Alarmregeln
8. Dashboard für Disponenten / Vorfeldkontrolle
9. Meilenstein-Export (API, A-CDM, Nachrichtenbus) + Ablage von Nachweis-Clips

• Erkennung und Tracking: Objektdetektoren (Klasse YOLO, RT-DETR), trainiert auf positionsspezifische Klassen wie GSE-Typen, Flugzeugtüren und Brücken, plus ein Mehrobjekt-Tracker.
• Ereignis-Engine: regelbasierte Zustandsmaschine über verfolgte Objekte und Zonen (z. B. „Schlepper angekoppelt und Bremsklötze entfernt“ bedeutet Beginn des Pushbacks). Regeln sind erklärbar und prüfbar; reine ML- Sequenzmodelle kommen dort zum Einsatz, wo Regeln brüchig sind.
• VLMs: Open-Vocabulary-Detektoren und VLMs beschleunigen das Labeling und Fragen und Antworten zu Clips; als Hauptdetektor je Einzelbild sind sie zu teuer.
• Prognose: Gradient Boosting oder Sequenzmodelle auf Meilensteinzeiten, Flugdaten, Wetter und Positionskontext sagen das Verzögerungsrisiko voraus.
• Mensch-in-der-Schleife (Human-in-the-Loop): Vorfeldlotsen bestätigen oder korrigieren Meilensteine, prüfen Ereignisse mit niedriger Konfidenz und entscheiden über betriebliche Maßnahmen; die KI steuert niemals Fahrzeuge oder Flugzeuge.

Datenaufbereitung

Drei Datenwelten müssen zusammenkommen: Videostreams (CCTV-, Positions- und Rampenkameras), operative Plandaten (A-CDM, AODB, TMS, WMS, Rampentermine) und Geometrie (Layouts von Positionen, Toren und Zonen, Kamerakalibrierung). Plandaten liegen typischerweise in Flughafen- oder Logistiksystemen mit unterschiedlichen Zeitstempeln und Codes; die Geometrie existiert in CAD- oder Papierplänen.

Typische Lücken: kein gelabeltes Video für GSE-Typen und Meilensteine, Kameras, die nicht alle Türen sehen, nicht kalibrierte Geometrie, uneinheitliche Meilensteindefinitionen zwischen den Abfertigern, fehlende Verknüpfungen zwischen Flugnummern und Positionen sowie Aufbewahrungsregeln, die das Speichern von Aufnahmen verbieten.

Schritte der Aufbereitung: 1. Mit Vorfeldkontrolle und Abfertigern ein gemeinsames Meilenstein-Wörterbuch vereinbaren (PREP-019, PREP-012). 2. Geometrie von Positionen und Zonen erfassen und jede Kamera kalibrieren. 3. Plan- und TMS-Daten über Schnittstellen statt über Exporte beziehen (PREP-005). 4. 2–3 Wochen Video je Positionstyp mit Fachleuten labeln und eine zurückgehaltene Testmenge führen (PREP-018); Open-Vocabulary-Modelle beschleunigen die ersten Labels. 5. Aufbewahrungs-, Verpixelungs- und Zugriffsregeln festlegen (PREP-024, PREP-022). 6. Korrekturen der Vorfeldlotsen als Labels zurückspielen (PREP-021).

Aufwandsanteil: etwa 40–50 Prozent des Gesamtaufwands; Labeling und Kalibrierung überwiegen.

Umsetzungswege

Welcher Weg für wen

• enterprise (C): Die Überwachung der Abfertigung ist für Bodenabfertiger und Flughäfen zentral; das Positionsvideo bleibt vor Ort, viele Kameras machen Cloud- und Lizenzkosten hoch, und positionsspezifische Modelle und Regeln geben Kontrolle. Kaufen (A) bleibt ein gültiger schneller Einstieg, wenn ein Anbieter Ihre Positionen bereits abdeckt.
• developer (C): Offene Detektoren und Tracker mit einer regelbasierten Zustandsmaschine auf Edge-GPUs geben volle Kontrolle und Prüfbarkeit.
• public (C): Flughafenbetreiber in öffentlicher Hand profitieren von Verarbeitung vor Ort (On-Premises) oder souveräner Verarbeitung sicherheitsrelevanter Videos und davon, in der Beschaffung eine Herstellerabhängigkeit zu vermeiden.

Weg A — Kaufen (Standardsoftware)

• Vision für die Vorfeld-Abfertigung: Assaia (ApronAI, in der Schweiz gegründet, beliefert europäische und internationale Flughäfen); weitere Anbieter für Flughafen-Vision und A-CDM sind Searidge Technologies (Flughafen-Vision und Tower-Werkzeuge), Adb Safegate (EU, Belgien; Vorfeld- und Gate-Systeme) und A-CDM-/AODB-Plattformen wie Amadeus Airport Suite und SITA, dazu Copenhagen Optimization (EU) für die Abfertigungsplanung. Prüfen Sie den aktuellen Produktumfang bei jedem Anbieter.
• Rampe/Hof: Suiten für Hofmanagement und Rampenplanung (z. B. Blue Yonder, Manhattan Associates, Kaleris, Gatekeeper) und Anbieter von Kameraanalyse wie Rhombus, Spot AI und Cogniac; ergänzen Sie lokale EU-Integratoren für die Kamerarbeiten.
• A wählen, wenn: Sie erprobte Meilenstein-Bibliotheken, eine Integration mit A-CDM oder TMS und vom Anbieter gepflegte Modellaktualisierungen wollen. Prüfen Sie EU-Datenresidenz, Kontrollen der Aufbewahrung und die Verpixelung von Gesichtern und Personen.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Bildverarbeitung: Verwaltete Videodienste (Azure AI Vision / Video Indexer in EU-Regionen, Google Cloud Video Intelligence, AWS Rekognition Video) sind bei GSE- und Flugzeugklassen schwächer; nutzen Sie sie vor allem für allgemeine Erkennung und Clip-Suche. Multimodale APIs (Gemini, Claude, GPT, Mistral) eignen sich für die Offline-Analyse von Clips, für Labeling und Vorfallszusammenfassungen, nicht für den Dauerbetrieb je Einzelbild.
• Integration: Kinesis Video Streams / Azure IoT / Kafka, Ergebnisse per API an A-CDM oder TMS.

Weg C — Selbst betreiben (Open Source)

• Modelle: Ultralytics YOLO (AGPL, Lizenz prüfen), RT-DETR, RF-DETR, Grounding DINO und die SAM-Familie für das Labeling; offene VLMs (Qwen-VL-Familie) für Fragen und Antworten zu Clips.
• Pipeline: NVIDIA DeepStream, GStreamer, ByteTrack/BoT-SORT, Supervision für die Zonenlogik.
• Hardware: HW1-Edge-Geräte (Jetson Orin) je wenige Kameras oder HW2 (eine GPU mit 24–32 GB) für etwa einen Positionscluster oder eine Rampenhalle; der Betriebsaufwand ist real, da Kameras, Wetter und Nachtbedingungen laufend nachgestellt werden müssen.

Weg D — Eigenes Training

Meist teilweise nötig: GSE- und Flugzeugtyp-Klassen sind für jeden Flughafen und Abfertiger spezifisch. Material über Wetter, Nacht, Enteisung, Schnee, Regen und wechselnde Beleuchtung hinweg sammeln und labeln; einige tausend gelabelte Einzelbilder je Klasse und Standort sind ein typischer Ausgangspunkt. Korrekturen der Lotsen dienen als Labels für aktives Lernen.

Stand der Technik (2026)

• Echtzeit-Detektoren plus Tracker erkennen große Ausrüstung und Fahrzeuge zuverlässig; Open-Vocabulary- Detektoren und VLMs starten heute das Labeling und decken seltene Gerätetypen ab.
• Produktive Systeme kombinieren Bildereignisse mit Plan- und A-CDM-Daten; rein bildbasierte Meilensteine sind bei sichtbaren, einzelnen Ereignissen am zuverlässigsten (Bremsklötze, Brücke, Schlepper, Lkw am Tor).
• Schwierige Fälle: Verdeckung, Nacht, Wetter, Blendung, Enteisungsnebel, Ereignisse im Inneren des Flugzeugs (das Boarding wird teilweise abgeleitet). Die Kameraplatzierung zählt mehr als die Modellwahl.
• A-CDM-Meilensteine (z. B. TOBT, TSAT, ARDT, AEZT nach dem Airport-CDM-Handbuch) geben ein gemeinsames Vokabular [3]. Für Rampen gibt es kein gemeinsames Schema, legen Sie daher früh eine Ereignis-Taxonomie fest.

Gemeinsame Bausteine & Kombinationen

• Gleicher Stack (Objekterkennung + Tracking + Edge-Laufzeit): VIS-012, VIS-007, VIS-008, VIS-034, VIS-019, VIS-044.
• VLM-Videosuche und Alarme: VIS-031 ergänzt eine Suche in natürlicher Sprache über dieselben Feeds.
• Nachgelagerte Prognose und Optimierung: PRED-024 vorausschauende Prozessüberwachung, PRED-018 Prognose der Ankunftszeit (ETA), OPT-037 Terminal- und Hofplanung.

Aufwand, Kosten & Kennzahlen

• Weg A: 2–4 Monate für einen Pilot-Positionscluster oder eine Rampenhalle einschließlich Kameraerhebung und Integration; Abonnement pro Position oder Kamera, Preise auf Anfrage.
• Weg B/C: 4–9 Monate; Kostentreiber sind Kameras, Labeling, Integration und der Betrieb rund um die Uhr.
• Kennzahlen: Präzision/Recall der Meilensteinerkennung und Zeitstempelfehler gegenüber manuellen Protokollen; Anteil der Abfertigungen mit vollständigen Daten; Quote pünktlicher Off-Block- und Abflugzeiten; Genauigkeit der Verzögerungsprognose bei festen Vorlaufzeiten; Stand- und Wartezeit an Rampen; Dauer der Streitklärung.

Menschen & Veränderung

Beginnen Sie mit der Geschäftsführung und der Leitung der Vorfeldkontrolle bzw. des Betriebs, die die Meilensteindefinitionen verantworten. Binden Sie IT und IT-Sicherheit früh ein (Kameranetz, Edge-Geräte, Trennung von OT/IT an Flughäfen), außerdem die oder den Datenschutzbeauftragten, den Betriebsrat und, wo relevant, Abfertiger- und Frachtführer-Partner, deren Daten und SLAs betroffen sind. Vorfeldlotsen und Disponenten sind die Anwender; führen Sie vor der Ausweitung einen Pilot an zwei oder drei Positionen oder Rampen durch.

Betriebsrat: ja. Kameras, die Fahrzeuge, Ausrüstung und Personal an Positionen verfolgen, können Verhalten und Leistung überwachen, daher gilt § 87 Abs. 1 Nr. 6 BetrVG auch dann, wenn Überwachung nicht das Ziel ist (BAG: objektive Eignung). Informieren Sie nach § 90 Abs. 1 Nr. 3 und ziehen Sie bei Bedarf einen Sachverständigen nach § 80 Abs. 3 hinzu. Eine Betriebsvereinbarung sollte die individuelle Leistungsbeurteilung ausschließen und die Verwendung von Beleg-Clips regeln. Öffentliche Betreiber: Personalrat.

Datenschutz: Personen sind sichtbar, führen Sie daher eine DSFA durch (Art. 35 DSGVO), verpixeln Sie Personen standardmäßig und schließen Sie AVVs mit den Anbietern. Klären Sie die Einstufung nach der KI-Verordnung (AI Act) mit der Rechtsabteilung; Sicherheitskomponenten kritischer Infrastruktur können als Hochrisiko gelten.

KI-Kompetenz und Kontrolle: Schulen Sie Lotsen zu Konfidenzstufen und Korrekturen (GUIDE-006); die KI steuert niemals Fahrzeuge oder Flugzeuge.

Bedenken: „Das Bodenpersonal wird gestoppt“ – transparenter Zweck, nur Kennzahlen auf Prozessebene; „SLA-Streitigkeiten“ – Beleg-Clips mit vereinbarten Zugriffsregeln (GUIDE-004, GUIDE-005, GUIDE-014).

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): kommt darauf an. Die reine Prozessüberwachung von Flugzeugen und Lkw ist typischerweise minimales Risiko. Sie kann zum Hochrisiko werden, wenn sie als Sicherheitskomponente bei der Verwaltung und dem Betrieb kritischer Infrastruktur, einschließlich Straßenverkehr und Versorgung, eingesetzt wird (Anhang III Nr. 2), oder wenn sie zur Überwachung und Bewertung von Leistung und Verhalten von Beschäftigten dient (Anhang III Nr. 4). Verbote nach Art. 5: Emotionserkennung am Arbeitsplatz und das ungezielte Auslesen von Gesichtsbildern sind verboten; leiten Sie bei Bodenpersonal oder Fahrern keine Emotionen ab [5].
• DSGVO: Kameras am Vorfeld und an Rampen erfassen Bodenpersonal, Fahrer und Besucher. Nötig sind eine Rechtsgrundlage, Zweckbindung (Prozessmeilensteine, nicht individuelle Produktivität), DSFA, Aufbewahrungsfristen, Maskierung oder Verpixelung von Gesichtern und Kennzeichen, wo sie nicht gebraucht werden, sowie die Beteiligung des Betriebsrats (Deutschland: Mitbestimmung nach BetrVG § 87 Abs. 1 Nr. 6) [4].
• Flugsicherheit: Die Ergebnisse dienen nur der Entscheidungsunterstützung; sicherheitskritische Funktionen bleiben in den bestehenden Sicherheitsmanagementsystemen von Flugplatz und Abfertigung.
• Gegenmaßnahmen: Anonymisierung am Rand (Edge), rollenbasierter Zugriff, Audit-Protokolle, Aggregation nach Prozess statt nach Person.

Erste Schritte

1. Die 10–15 Meilensteine festlegen, die für einen Prozess zählen (z. B. ein Positionstyp oder eine Rampenhalle), und wie sie A-CDM- oder TMS-Feldern zugeordnet werden.
2. Kameras auf Abdeckung und Leistung bei Nacht prüfen; nur dort Kameras ergänzen, wo es nötig ist.
3. 2–4 Wochen Aufnahmen erfassen, ein Referenz-Set (Gold Set) labeln und mit manuellen Protokollen vergleichen, um die Ausgangs- Datenqualität zu messen.
4. Einen Anbieter (Weg A) oder einen Prototyp aus YOLO + Tracker + Zustandsmaschine an einem Standort pilotieren, mit Prüfung jedes Meilensteins durch die Lotsen.
5. DSFA und Betriebsvereinbarung vor dem Start abschließen; dann Alarme mit einer konkreten betrieblichen Maßnahme verknüpfen und die Pünktlichkeit messen.

Quellen

1. Assaia - ApronAI turnaround monitoring - https://www.assaia.com/
2. Assaia - customer and case-study pages - https://www.assaia.com/resources
3. EUROCONTROL - Airport Collaborative Decision-Making (A-CDM) - https://www.eurocontrol.int/concept/airport-collaborative-decision-making
4. Regulation (EU) 2016/679 (GDPR) - https://eur-lex.europa.eu/eli/reg/2016/679/oj
5. Regulation (EU) 2024/1689 (AI Act), Art. 5 and Annex III - https://eur-lex.europa.eu/eli/reg/2024/1689/oj
6. Ultralytics YOLO documentation - https://docs.ultralytics.com/
7. NVIDIA DeepStream SDK - https://developer.nvidia.com/deepstream-sdk