Katalog / Computer Vision & visuelle KI / VIS-051

Geospatiale Aufklärung & ISR-Bildanalyse (Verteidigung & Sicherheit)

KI-gestützte Vorsortierung von Satelliten-, Luft- und Drohnenbildern für Analysten in Verteidigung, Grenzsicherheit und Krisenbeobachtung: Objekt- und Aktivitätserkennung, Veränderungserkennung und Berichtsentwürfe, stets mit einem menschlichen Analysten als Entscheider.

Organisationen in Verteidigung, Grenzsicherheit und Krisenbeobachtung erfassen weit mehr Satelliten-, Luft- und Drohnenbilder, als Analysten sichten können. KI-Modelle sortieren die Flut vor: Sie erkennen und klassifizieren Objekte, markieren Veränderungen zwischen Überflügen und entwerfen Berichte, sodass knappe Bildanalysten ihre Zeit auf die Beurteilung statt auf die Suche verwenden. Dieser Eintrag behandelt ausschließlich Richtlinien, Architektur und Anbieterlandschaft. Zielzuweisung, Waffeneinsatz und Entscheidungen über Angriffe sind ausdrücklich ausgeschlossen. Kennzeichnung: nur für den öffentlichen Sektor / die Verteidigung.

Problem & Nutzen

  • Heute: Bildanalysten durchsuchen große Gebiete manuell nach interessanten Objekten (Fahrzeuge, Schiffe, Flugzeuge, Infrastruktur) und vergleichen neue Bilder mit Archivbildern. Das Aufnahmevolumen (kommerzielle Satellitenkonstellationen, SAR, Drohnen) wächst schneller als die Zahl der Analysten; Wolken und Nacht begrenzen die optische Erfassung.
  • KI-Nutzen: schnellere Triage und Hinweisgebung (Cueing), dauerhafte Veränderungsbeobachtung über große Gebiete, SAR-/EO-/IR-Fusion, strukturierte Berichte und wechselseitige Hinweisgabe zwischen Sensoren (Tipping and Cueing). Der Analyst bleibt der Entscheider.
  • Abgrenzung zu VIS-021: eingestufte Sensoren und Daten, militärische Objektklassen, knappe Labels, Einsatz ohne Netzverbindung am Rand (Edge), gegnerische/täuschende Ziele und eine eigene Rechtsordnung (siehe unten).
  • Öffentliche Zahlen zur Zeitersparnis bei Analysten sind überwiegend Aussagen von Herstellern oder Programmen; betrachten Sie sie als ungeprüft und messen Sie vor Ort.

Varianten

  • Strategische/nationale Aufklärung: archivweite Suche und Veränderungsbeobachtung auf Satellitenbildern.
  • Lagebild von EU/NATO: Überwachung der Vertragseinhaltung sowie Krisen- und Sicherheitsbeobachtung durch Stellen wie das EU-Satellitenzentrum (SatCen) und den Copernicus-Sicherheitsdienst für das auswärtige Handeln.
  • Grenz- und Seesicherheit: großflächige Erkennung von Schiffen und Aktivitäten mit SAR (zivile Sicherheitsperspektive; siehe VIS-044, VIS-038).
  • Taktische ISR am Rand (Edge): Erkennung direkt auf Drohnen/Flugzeugen bei unterbrochener Verbindung.
  • Humanitär/Krisen: Kartierung von Schäden und Vertreibung (siehe VIS-058).
  • Nicht abgedeckt: Waffenzielzuweisung, Feuerleitung, autonomer Waffeneinsatz.

So funktioniert es

  1. tasking / archive query
  2. ingest (EO, IR, SAR, FMV; metadata, orthorectification, co-registration)
  3. pre-processing (tiling, cloud masking, SAR speckle filtering)
  4. detection & classification (object detection, segmentation, open-vocabulary / VLM search)
  5. change detection (multi-temporal comparison, activity baselining)
  6. cueing & fusion (rank candidates, link with other sources, KNOW-026 style entity resolution)
  7. analyst review (confirm / reject, confidence + provenance shown)
  8. report drafting (LLM, grounded in confirmed detections)
  9. release authority sign-off
  10. feedback of corrections to model training set
  • Detektoren: Objektdetektoren mit orientierten Begrenzungsrahmen und Segmentierungsmodelle, trainiert auf Überkopfaufnahmen; Foundation-Modelle für die Fernerkundung unterstützen Few-Shot- und textgesteuerte Suche.
  • SAR: funktioniert bei Wolken und Dunkelheit; die Interpretation erfordert eigene Modelle und Fachwissen.
  • Mensch-in-der-Schleife (Human-in-the-Loop): Jede Detektion ist ein Hinweis, kein Befund. Berichte werden von verantwortlichen Menschen freigegeben; Entscheidungen über den Waffeneinsatz werden von diesem System weder erzeugt noch automatisiert.
  • Sicherheit: akkreditierte Netze, Umgang mit Geheimhaltungsstufen, Kontrolle der Modell-Lieferkette, Protokollierung.

Datenaufbereitung

Die Daten sind Satelliten-, Luft- und Drohnenbilder (EO, IR, SAR, Video) mit Sensormetadaten sowie Archivbilder und Analystenberichte. Sie liegen typischerweise in Bildarchiven, GIS-Servern, Einsatzsystemen und eingestuften Dateispeichern, nicht im ERP oder DMS. Typische Lücken: uneinheitliche Koordinatensysteme und Metadaten, fehlende Koregistrierung, Wolkenbedeckung, SAR-Speckle, wenige gelabelte Beispiele für militärspezifische Klassen, verstreutes Analystenwissen in Berichten und E-Mails sowie strenge Regeln zu Geheimhaltungsstufe und Kenntnis-nur-wenn-nötig (Need-to-know).

Schritte der Aufbereitung: einen Katalog (STAC) der verfügbaren Bilddaten aufbauen, orthorektifizieren und koregistrieren, kacheln und Wolken maskieren, Metadaten vereinheitlichen und Zugriffsrechte je Geheimhaltungsstufe bereinigen. Frühere Analystenberichte in durchsuchbaren Text überführen (PREP-006, PREP-007, DOC-014) und verschlagworten (PREP-010). Labels aus bestätigten früheren Detektionen gewinnen (PREP-020), vor dem Training ein Klassenschema festlegen (PREP-019) und einen von Experten gelabelten Evaluationsdatensatz aufbauen (PREP-018). Daten für die KI-Nutzung klassifizieren (PREP-024).

Grober Aufwandsanteil: Dateningenieurwesen, Labeln und Evaluierung machen deutlich mehr als die Hälfte des Aufwands aus; die Modellintegration ist der kleinere Teil. Das Labeln seltener Klassen dauert Monate und braucht die Zeit der Analysten.

Umsetzungswege

Welcher Weg für wen

  • Öffentlicher Sektor (Streitkräfte, Behörden): Weg A, weil Akkreditierung, langfristiger Support und die Integration in bestehende C2-/GIS-Systeme akkreditierte Verteidigungsplattformen und staatliche Programme begünstigen.
  • Unternehmen (Infrastruktur, Versicherung, Rohstoffe, Sicherheitsdienste): Weg A, weil kommerzielle Geoanalytik- und Satellitendatenanbieter Standardüberwachung und Veränderungserkennung zu kalkulierbaren Kosten abdecken.
  • Entwickler: Weg C, weil offene Werkzeuge (GDAL, TorchGeo, offene EO-Foundation-Modelle, öffentliche Benchmarks) Prototypen und den Betrieb ohne Netzanbindung (Air Gap) ohne externe Dienste erlauben.

Weg A — Kaufen (Standardsoftware / staatliche Programme)

  • Analyseplattformen für die Verteidigung: Palantir (Maven Smart System, Foundry/AIP), Helsing (Deutschland/EU), Safran.AI (früher Preligens, Frankreich/EU), Anduril (Lattice), Scale AI. Anbieter aus der EU (Helsing, Safran.AI, Airbus Defence and Space) werden aus Gründen der Souveränität bevorzugt.
  • Datenanbieter: ICEYE (Finnland/EU, SAR), Airbus Defence and Space (Pleiades Neo, SpaceDataHub), Planet, Maxar (Vantor), Capella, Umbra; öffentliche EU-Daten über Copernicus.
  • Geospatiale KI-Plattformen: Esri ArcGIS (Deep-Learning-Werkzeuge), Analytik vom Typ Orbital Insight/Privateer, Earth-i, Ursa Space (EU-Hosting und Exportkontrolle prüfen).
  • Wählen Sie A, wenn: Akkreditierung, langfristiger Support und die Integration in bestehende C2-/GIS-Systeme erforderlich sind, wie es für Streitkräfte und Behörden typisch ist.

Weg B — Auf Cloud-KI-Diensten aufbauen

  • Nur souveräne oder akkreditierte Behörden-Clouds; keine nicht akkreditierte öffentliche API für eingestufte Bilddaten.
  • Nicht eingestufte/Open-Source-Arbeit: Copernicus Data Space Ecosystem, Sentinel Hub, Google Earth Engine, Microsoft Planetary Computer, mit Azure-/AWS-/Google-Regionen in der EU oder EU-Anbietern (OVHcloud, STACKIT, Scaleway) für die Verarbeitung.
  • Orchestrierung mit STAC-Katalogen und Workflow-Engines; Berichtsentwürfe per LLM über in der EU gehostete Modelle.

Weg C — Selbst betreiben (Open Source)

  • Bibliotheken: GDAL, Rasterio, STAC-Werkzeuge, PyTorch mit TorchGeo, MMRotate/Ultralytics für orientierte Rahmen, Segmentierung der SAM-Familie, ONNX Runtime / TensorRT für den Edge-Einsatz.
  • Modelle und Daten: offene Foundation-Modelle der Erdbeobachtung (z. B. Prithvi, Clay, SatMAE-Typ), öffentliche Benchmarks wie xView, DOTA, fMoW und SpaceNet; SAR-Datensätze wie SpaceNet 6 und OpenSARShip.
  • Hardware: HW3 für Training/Inferenz auf großen Mosaiken; HW1 (Klasse Jetson Orin) für den luftgestützten Edge-Einsatz. Betrieb ohne Netzanbindung (Air Gap) wird erwartet.

Weg D — Eigenes Training

Meist notwendig für militärspezifische Objektklassen und Sensoren, weil öffentliche Datensätze zivile Klassen abdecken. Erfordert kuratierte, eingestufte, von Analysten gelabelte Bilddaten, synthetische Daten/Simulation für seltene Klassen und Red-Teaming gegen Tarnung, Attrappen und gegnerische Muster. Rechnen Sie mit Monaten für Labeln und Evaluierung.

Stand der Technik (2026)

  • Programme: Das US-Projekt Maven, inzwischen als Programm von der National Geospatial-Intelligence Agency geführt, und sein Maven Smart System erreichten über die NCIA den Einsatz in der NATO; europäische Rüstungs-Start-ups (Helsing, Safran.AI) und das EU-Ökosystem wachsen.
  • Kommerzielle SAR-/EO-Konstellationen liefern häufige Wiederholungsaufnahmen und ermöglichen so dauerhafte Veränderungsbeobachtung sowie Tipping and Cueing.
  • Foundation- und Vision-Language-Modelle erlauben textgesteuerte Suche („finde ...“) und das Entwerfen von Berichten, haben aber weiterhin Schwierigkeiten mit kleinen Objekten, Schrägaufnahmen, seltenen militärischen Klassen und täuschenden Zielen.
  • Grenzen: Domänenverschiebung zwischen Sensoren/Regionen, knappe Labels, falsch positive Treffer im großen Maßstab, Automatisierungsbias, gegnerische Verschleierung und schwache Kalibrierung; offene Benchmarks bilden keine Einsatzdaten ab.
  • Generative KI kann in Berichtsentwürfen halluzinieren; beschränken Sie sie auf die Zusammenfassung bestätigter Detektionen mit Verweisen.

Gemeinsame Bausteine & Kombinationen

  • Teilt Fernerkundungsmodelle und Pipelines mit VIS-021, VIS-058, VIS-061 (InSAR), VIS-042 und VIS-038.
  • Drohnen- und Luftverteidigungssensorik: VIS-044; Videozusammenfassung und Suche in natürlicher Sprache: VIS-031.
  • Fusion und Verknüpfungsanalyse auf Analystenseite: KNOW-026; Geodatenanalytik: DATA-011.
  • Ein GPU-Cluster (HW3/HW4) kann das Training für mehrere Anwendungsfälle der Erdbeobachtung bedienen.

Aufwand, Kosten & Kennzahlen

  • Weg A: Quartale, Beschaffung und Akkreditierung dominieren; Lizenzen plus Bilddaten-Abonnements.
  • Weg B/C: 6-12+ Monate bis zu einer akkreditierten Pipeline; gelabelte Daten und Sicherheitsakkreditierung sind die Hauptkostentreiber.
  • Kennzahlen: Recall/Precision je Objektklasse auf zurückgehaltenen Einsatzdaten, Analystenzeit je Szene, Rate falscher Alarme, Latenz von der Aufnahme bis zum Bericht, Kalibrierungsqualität, Übersteuerungsrate durch Analysten und Drift je Sensor.

Menschen & Veränderung

Beginnen Sie mit der Leitung und der Abteilungsleitung, die den Auftrag, den Aufklärungsprozess und die Stelle festlegen, an der die menschliche Entscheidung bleibt. IT und Informationssicherheit werden früh gebraucht, weil akkreditierte Netze, Umgang mit Geheimhaltungsstufen und Kontrolle der Modell-Lieferkette die Architektur bestimmen. Recht/Compliance klärt Exportkontrolle, Branchenregeln und den Anwendungsbereich der KI-Verordnung (AI Act): Die militärische Nutzung ist von der Verordnung ausgenommen, Dual-Use- und zivile Einsätze nicht, und Hochrisiko-Pflichten würden ab 2. Dez. 2027 gelten. Die Dateneigner der Bildarchive müssen den Zugriff freigeben.

Betriebsrat: abhängig vom Einzelfall. Geländebilder überwachen selten Beschäftigte, doch Arbeitsprotokolle der Analysten und Leistungs-Dashboards würden § 87 Abs. 1 Nr. 6 BetrVG auslösen; § 90 Abs. 1 Nr. 3 verlangt die frühzeitige Information über KI-gestützte Arbeitsverfahren. In Behörden gilt der Personalrat. Eine Datenschutz-Folgenabschätzung (DSFA) ist nur erforderlich, wenn Personen identifizierbar sind (zum Beispiel bei hochauflösenden Drohnenbildern); beziehen Sie die/den Datenschutzbeauftragte(n) zur Prüfung ein.

Fördern Sie KI-Kompetenz (Art. 4 KI-Verordnung) mit Schulungen für Analysten zu Konfidenzwerten, Attrappen und Automatisierungsbias. Starten Sie einen Pilot mit einer kleinen Analystengruppe an Archivszenarien. Typische Sorge: Verlust analytischer Fähigkeiten oder Ausbootung; begegnen Sie ihr mit einer klaren Regel: Detektionen sind Hinweise, Analysten geben Berichte frei, und Entscheidungen über den Waffeneinsatz werden nie automatisiert. Siehe GUIDE-009, GUIDE-013, GUIDE-008.

Risiken, Regulierung & Compliance

  • KI-Verordnung (AI Act): Art. 2 Abs. 3 nimmt KI-Systeme aus, die ausschließlich für militärische, Verteidigungs- oder nationale Sicherheitszwecke in Verkehr gebracht oder verwendet werden. Dual-Use-Systeme, die auch zivil genutzt werden, fallen unter die Verordnung: z. B. können Analytik für Grenzkontrolle oder Strafverfolgung Hochrisiko (Anhang III) sein. Die Verbote nach Art. 5 (zum Beispiel biometrische Kategorisierung nach sensiblen Merkmalen, biometrische Echtzeit-Fernidentifizierung für die Strafverfolgung außerhalb enger Ausnahmen) gelten für Nutzungen im Anwendungsbereich; verwenden Sie Werkzeuge für Überkopfaufnahmen nicht zur Personenidentifizierung um. Die Einstufung hängt vom Kontext ab, daher depends.
  • Humanitäres Völkerrecht: Art. 36 des Zusatzprotokolls I verlangt die rechtliche Prüfung neuer Waffen, Mittel und Methoden der Kriegführung; ISR-Entscheidungsunterstützung, die in die Zielbestimmung einfließt, muss überprüfbar sein und eine wirksame menschliche Kontrolle ermöglichen. NATO- und EU-Staaten veröffentlichen Grundsätze für verantwortungsvolle KI in der Verteidigung.
  • DSGVO: gilt grundsätzlich für zivile Behörden (Grenze, Polizei, Krisenschutz); die militärische Verarbeitung liegt weitgehend außerhalb der DSGVO, doch nationales Recht gilt. Hochauflösende Bilder können Aktivitäten Einzelner offenlegen; wenden Sie bei zivilen Einsätzen Datenminimierung, Aufbewahrungsfristen und DSFA an.
  • Exportkontrolle und Souveränität: Dual-Use-Verordnung (EU) 2021/821, Lizenzierung der Bildauflösung, Anbieterabhängigkeit (Vendor-Lock-in) und Zugriffsrisiken durch fremde Rechtsordnungen (US CLOUD Act).
  • Betriebliche Risiken: Automatisierungsbias, Fehlklassifikation mit schwerwiegenden Folgen, Täuschung/Spoofing, Datenvergiftung, Modelldiebstahl. Abhilfe: menschliche Prüfung, Tests mit gegnerischen Beispielen, Protokollierung der Herkunft und unabhängige Evaluierung.

Erste Schritte

  1. Definieren Sie die genaue unterstützte Entscheidung (Cueing, Beobachtung, Berichtswesen) und die Rechtsordnung (Anwendungsbereich der KI-Verordnung, humanitäres Völkerrecht, DSGVO für zivile Stellen).
  2. Beginnen Sie mit nicht eingestuften Daten (Copernicus Sentinel, kommerzielles Archiv) und offenen Benchmarks, um die Qualität von Erkennung und Veränderungserkennung als Ausgangswert zu bestimmen.
  3. Bauen Sie vor jeder Automatisierung einen Prüfablauf für Analysten und eine Label-Schleife auf; protokollieren Sie jede Modellausgabe und jede menschliche Entscheidung.
  4. Führen Sie eine kontrollierte Evaluierung an repräsentativen, zurückgehaltenen Bilddaten mit Kennzahlen je Klasse und Sensor durch; testen Sie per Red Team auf Täuschung.
  5. Planen Sie Akkreditierung, Exportkontrollprüfungen und eine rechtliche Prüfung ein, bevor Sie zu eingestuften oder Einsatzdaten übergehen.

Quellen

  1. Regulation (EU) 2024/1689 (AI Act), Art. 2(3) and Art. 5 - https://eur-lex.europa.eu/eli/reg/2024/1689/oj
  2. Protocol Additional to the Geneva Conventions (1977), Art. 36, ICRC - https://ihl-databases.icrc.org/en/ihl-treaties/api-1977/article-36
  3. EU Satellite Centre (SatCen) - https://www.satcen.europa.eu/
  4. Copernicus Security Service / Copernicus Data Space Ecosystem - https://dataspace.copernicus.eu/
  5. NATO - Summary of NATO's revised AI strategy / responsible use principles - https://www.nato.int/cps/en/natohq/official_texts_227237.htm
  6. ICEYE - SAR satellite data - https://www.iceye.com/
  7. Helsing - https://helsing.ai/
  8. Safran.AI (formerly Preligens) - https://www.safran-group.com/
  9. TorchGeo - https://github.com/microsoft/torchgeo
  10. xView dataset - http://xviewdataset.org/