Kamerageführtes Griff-in-die-Kiste und Pick-and-Place

Teile in Kisten, gemischte Artikel in Behältern und Waren auf Förderbändern werden noch oft von Menschen gehandhabt, weil klassische Roboter exakte Positionen brauchen. Kamerageführtes Greifen verbindet 3D-Kameras, gelernte Objekterkennung und Greifplanung, sodass ein Roboterarm unsortierte Artikel zuverlässig greifen, Maschinen beschicken und Aufträge erfüllen kann. Es entlastet Mitarbeitende von eintöniger, ergonomisch belastender Arbeit und hält Linien trotz Fachkräftemangel am Laufen.

Problem & Nutzen

• Heute: Zuführungen mit fester Position, Vibrationswendelförderer, Trays und manuelles Kitting; oder Menschen greifen aus Kisten und Behältern. Lager kommissionieren Millionen verschiedener SKUs, die sich mit fester Programmierung nicht abdecken lassen.
• KI-Nutzen: Roboter bewältigen unbekannte oder zufällig ausgerichtete Artikel, bei Umrüstungen genügen neue CAD-Daten oder Bilder statt einer Neuprogrammierung, und Ausnahmen können an einen menschlichen Fernbediener gehen.
• Vorteile: Hersteller berichten von Greifraten von mehreren hundert bis über tausend Griffen pro Stunde und Zelle sowie Erfolgsquoten im hohen 90-%-Bereich bei geeigneten Artikeln. Die Zahlen hängen jedoch von Artikelmix, Greifer und Zellaufbau ab und stammen von den Herstellern; prüfen Sie sie mit Ihren eigenen Artikeln [3][4]. Die International Federation of Robotics verzeichnet in Europa starke Installationszahlen bei Industrierobotern, wobei Logistik und Elektronik zu den Wachstumsbereichen zählen [1].

Varianten

• Maschinenbeschickung / Griff-in-die-Kiste bei bekannten Teilen (CAD-basiert): Metall-, Kunststoff- und Gussteile in Kisten, zugeführt an CNC-Maschinen, Pressen oder Montagelinien (Automobil, Maschinenbau).
• Einzelartikel-Kommissionierung gemischter SKUs (E-Commerce, Handel, Pharma): Ware-zum-Roboter-Zellen, die aus Behältern in Auftragskartons kommissionieren; unbekannte Artikel, verformbare Verpackungen.
• Pick-and-Place auf Förderbändern / Kitting: schnelles Sortieren, Lebensmittelhandhabung, Elektronikmontage, Verpacken.
• Abfall- und Recyclingsortierung: Materialien von Bändern greifen (siehe auch Sortier-Anwendungsfälle der VIS-Familie).
• KMU-Zellen: Cobot plus Plug-and-play-Kamerasystem für kleine Losgrößen.

So funktioniert es

1. Kommissionierauftrag / Auslöser (SPS, WMS, MES)
2. 3D-Aufnahme (Punktwolke + RGB) von Kiste oder Band
3. Erkennung / Segmentierung / Poseschätzung (CAD-Abgleich oder gelernt, klassenunabhängig)
4. Greifplanung (Kandidaten bewertet nach Greifer, Erreichbarkeit, Kollisionen mit Kistenwänden)
5. Bewegungsplanung + Ausführung (Kraft-/Vakuumrückmeldung, Prüfungen in der Hand)
6. Verifikation (Gewicht, Vakuumdruck, Kamera)
7. ablegen / abwerfen
8. Fehlerbehandlung: anderen Griff versuchen
9. Fernhilfe
10. manueller Notbetrieb

• Wahrnehmung: CAD-basierter 6D-Posenabgleich für bekannte Teile; gelernte Instanzsegmentierung und Open-Vocabulary-Detektoren für unbekannte Artikel. Die Tiefenqualität bei glänzenden, transparenten oder schwarzen Artikeln ist die klassische Schwachstelle.
• Greifplanung: Neuronale Netze (z. B. im Stil von GraspNet, Dex-Net-Linie) sagen Karten der Greiferfolgs- wahrscheinlichkeit für Sauggreifer oder Parallelgreifer voraus; moderne Systeme lernen aus Flottendaten und Fehlern im Feld.
• Steuerung/Sicherheit: Deterministische Robotersteuerung und zertifizierte Sicherheitsfunktionen bleiben außerhalb des gelernten Modells; die KI schlägt nur Zielpunkte vor (siehe ROBO-016).
• Mensch-in-der-Schleife (Human-in-the-Loop): Bediener oder Fernbediener lösen nicht lösbare Griffe; Mitarbeitende geben die Aufnahme neuer Artikel und Zelländerungen frei.

Datenaufbereitung

Benötigt werden: CAD-Modelle oder Referenzbilder der Teile, SKU-Stammdaten (Abmessungen, Gewicht, Greiferklasse), Kommissionieraufträge aus WMS/MES/ERP und 3D-Scans realer Kisten. Im Mittelstand liegen diese im ERP, in CAD/PDM-Ordnern, auf den Dateifreigaben der Ingenieure und teils nur als Papierzeichnungen vor. Typische Lücken: fehlende oder falsche Artikelmaße, doppelte Artikelnummern, kein CAD für Altteile, keine beschrifteten Bilder fehlgeschlagener Griffe und unklare Zugriffsrechte auf CAD-Daten von Lieferanten.

Schritte: (1) den Artikelstamm bereinigen und als Tabelle exportieren (siehe PREP-005 und PREP-011); (2) jedes Teil einmal als CAD erfassen oder scannen, beginnend mit den 20 Prozent der Teile mit dem höchsten Volumen; (3) je Teilefamilie 100 bis 500 reale Kistenbilder unter Produktionslicht aufnehmen, einschließlich schwieriger Fälle wie Reflexionen und verhakter Teile; (4) Erfolgs- und Fehlschlag-Labels gemeinsam mit den Bedienern festlegen (PREP-019, PREP-018); (5) Greifergebnisse ab dem ersten Tag protokollieren, um einen Rückmeldedatensatz aufzubauen (PREP-021). Werkzeuge: Kalibriersoftware der Hersteller, Open3D, CVAT, einfache Tabellenkalkulationen. Etwa 25 bis 35 Prozent des Gesamtaufwands entfallen auf Daten und Zellkalibrierung; Herstellerwerkzeuge verringern diesen Anteil bei Weg A. Siehe auch GUIDE-003.

Umsetzungswege

Welcher Weg für wen

• KMU: Weg A. Ausgereifte Bin-Picking-Pakete (3D-Kamera plus Greifsoftware, oft aus der EU) gibt es zu KMU-tauglichen Preisen, und die Aufgabe ist Standard.
• Großunternehmen: Weg B. Das Greifen muss in WMS/MES/SPS und viele Zellen eingebunden werden, daher kombinieren Integratoren Herstellersensorik mit eigener Orchestrierung und Cloud-/API-Diensten.
• Entwickler: Weg C. Open-Source-Stacks für Greifen und Wahrnehmung (ROS 2, MoveIt, offene Greifmodelle) auf Edge-Hardware der Stufe HW1 ermöglichen eigene Produkte.

Weg A — Kaufen (Standardsoftware) (empfohlen)

• Schlüsselfertige Systeme für Einzelartikel-Kommissionierung und Griff-in-die-Kiste: Mujin (JP), Pickit 3D (BE, EU), Photoneo (SK, EU; Teil der Brightpick Group), Nomagic (PL/EU), RightHand Robotics (US), Dexterity (US), Covariant-Technologie (Team wechselte zu Amazon), Plus One Robotics (US, Supervisionssoftware), Systeme vom Typ Ocado/Kindred für Lebensmittelhandel.
• Roboterhersteller mit Vision-Angeboten: Fanuc iRVision / 3D Area Sensor, ABB, KUKA (DE), Yaskawa, Ökosystem von Universal Robots (DK), Greifer von Schunk (DE), Kameras von Zivid (NO), Sensoren von SICK (DE) und IDS (DE), Roboception (DE).
• Wählen Sie A, wenn: die Aufgabe verbreitet ist (Behälterkommissionierung, Maschinenbeschickung), Sie kein Personal für Robotik-ML haben und der Integrator Sicherheitsvalidierung und Service übernimmt. Prüfen Sie: Support in der EU, CE-Konformität, Schnittstelle zu Ihrer SPS/Ihrem WMS, Greifraten-Garantie für Ihre Artikel.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Die Cloud sitzt selten im Regelkreis (Latenz, Verfügbarkeit). Nützlich ist sie für: Offline-Analysen von Fehlgriffen, VLM-basierte Prüfung von Artikelattributen und Artikel-Onboarding (multimodale Modelle von Gemini, Claude, GPT, Mistral in EU-Regionen), Flottenüberwachung und Teleoperations-Backends.
• Framework-Ebene: ROS 2 mit MoveIt 2 für die Bewegungsplanung, NVIDIA Isaac ROS/Isaac Manipulator (GPU-beschleunigtes FoundationPose, cuMotion, Greifgenerierung) mit cloudbasierter Simulation [2][5].
• Wählen Sie B, wenn: Sie mit einem Integrator eine eigene Zelle bauen und die Cloud für Überwachung, Daten und Simulation nutzen möchten.

Weg C — Selbst betreiben (Open Source)

• Stack: ROS 2, MoveIt 2, Open3D / PCL, Segment Anything (SAM 2) und Open-Vocabulary-Detektoren (Grounding DINO, YOLO-Familie), FoundationPose / MegaPose für 6D-Posen, Contact-GraspNet oder Greifnetze der AnyGrasp-Klasse (Lizenzen prüfen), GraspGen aus der NVIDIA-Forschung; OpenCV für die Kalibrierung.
• Hardware: Industrie-PC an der Zelle mit Jetson-Orin-Modul oder einer GPU mit 16–24 GB (HW1 bis HW2); Inferenz in Zehnern bis Hunderten Millisekunden.
• Betriebsaufwand: Hand-Auge-Kalibrierung sowie Auswahl und Abstimmung des Greifers dominieren; planen Sie Robotik-Ingenieure ein, nicht nur ML-Fachleute.

Weg D — Eigenes Training

Lohnt sich bei ungewöhnlichen Artikeln (verformbar, transparent, sehr klein), sehr hohen Stückzahlen oder wenn die Zielgreifrate mit Standardmodellen nicht erreicht wird. Erforderlich sind Hunderte bis Tausende beschrifteter Bilder oder synthetische Daten aus der Simulation (Isaac Sim, Domain Randomization) sowie reale Greifergebnisse (Erfolgs-/Fehlschlag-Labels) für das Feintuning der Greifbewertung. Flottendaten aus der Produktion sind die beste Quelle.

Stand der Technik (2026)

• Klassenunabhängige Wahrnehmung (Segmentierung der SAM-Familie, Foundation-Modelle zur Poseschätzung) beseitigt einen Großteil des CAD-Aufwands je Artikel; neue Artikel lassen sich oft mit wenigen Bildern aufnehmen.
• Gelerntes Greifen ist für die Einzelartikel-Kommissionierung mit Saugern produktionsreif; geschicktes Greifen zerbrechlicher oder verformbarer Artikel wird besser, ist aber weniger zuverlässig.
• Vision-Language-Action- und Roboter-Foundation-Modelle (z. B. Physical Intelligence pi0-Familie, NVIDIA GR00T, Google Gemini Robotics) sind für allgemeine Manipulation gezeigt worden, meist in Forschung und Pilotprojekten; für das industrielle Greifen bleibt die oben beschriebene spezialisierte Pipeline zuverlässiger und zertifizierbar (siehe ROBO-004).
• Fernhilfe (ein Mensch bestimmt den Greifpunkt an einem entfernten Bildschirm) dient dazu, nahezu 100 % Abschlussquote zu erreichen, während das Modell besser wird.
• Grenzen und Fehlerbilder: reflektierende/transparente/dunkle Artikel, verhakte Teile, Doppelgriffe, unter Saugwirkung verformte Artikel, Lichtwechsel, Kameradrift, Long-Tail-SKUs und Verteilungsverschiebung nach Verpackungsänderungen. Überwachen Sie immer mit Prüfungen in der Hand.

Gemeinsame Bausteine & Kombinationen

• Gemeinsamer Stack: 3d-vision + segmentation + robotics-control + simulation wird wiederverwendet von ROBO-013 (Schweißbahn-Erzeugung), ROBO-014 (Entpalettieren), ROBO-017 (Demontage), ROBO-003 (Programmieren durch Vormachen).
• Sicherheitsebene: ROBO-016 für Personenerkennung und Geschwindigkeits- und Abstandsüberwachung rund um die Zelle.
• Vor-/nachgelagert: ROBO-002 AMRs bringen und holen Behälter; OPT-006 Optimierung von Lagerplatzvergabe und Kommissionierung; VIS-001/VIS-002 Inspektion kann in derselben Zelle mit derselben Kamera laufen; ROBO-010 Simulation zum Trainieren und Validieren.

Aufwand, Kosten & Kennzahlen

• Weg A: typischerweise 3–9 Monate von der Studie bis zur Produktion für eine integrierte Zelle; die Investition umfasst Roboter, Greifer, Kamera, Sicherheit und Integration und schwankt stark (niedrige bis mittlere sechsstellige Euro-Beträge für eine vollständige Einzelartikel-Kommissionierzelle sind üblich; holen Sie Angebote ein).
• Weg B/C: ingenieurlastig, Monate für Integration und Abstimmung; geringere Lizenzkosten, höhere Personalkosten.
• Kennzahlen: Griffe pro Stunde, Erfolgsquote beim ersten Versuch in %, mittlere Griffe zwischen Fehlern, Eingriffsrate (je 1.000 Griffe), Umrüst-/Onboarding-Zeit je neuem Artikel, Beschädigungsrate, Verfügbarkeit, Amortisationszeit.

Menschen & Veränderung

Binden Sie die Geschäftsleitung früh für Budget und Sicherheitsverantwortung ein, die Abteilungsleitung als Prozessverantwortliche, IT und IT-Sicherheit für die Netzwerksegmentierung von Kamera und Robotersteuerung sowie die betroffenen Bediener ab dem ersten Workshop (GUIDE-001). Betriebsrat: abhängig vom Einzelfall. Die Zelle selbst überwacht selten Personen, doch Kamerasysteme in der Nähe von Arbeitsplätzen, Dashboards zu Taktzeit und Leistung oder protokollierte Bedienereingriffe können geeignet sein, Verhalten oder Leistung zu überwachen. Das löst die Mitbestimmung nach §87 Abs. 1 Nr. 6 BetrVG aus (objektive Eignung genügt); in jedem Fall verlangt §90 Abs. 1 Nr. 3 die rechtzeitige Unterrichtung über KI-gestützte Arbeitsprozesse. Wo es einen Betriebsrat gibt, beziehen Sie ihn vor dem Pilotbetrieb ein und vereinbaren Sie, dass die Daten nicht für die individuelle Leistungsbeurteilung verwendet werden. Die oder der Datenschutzbeauftragte wird nur benötigt, wenn Kameras Personen erfassen; maskieren oder vermeiden Sie das. KI-Kompetenz: Die KI-Verordnung (AI Act) verlangt von Arbeitgebern, die Kompetenz der Beschäftigten zu fördern; schulen Sie deshalb die Bediener darin, was das Vision-System kann und was nicht, und im Umgang mit Ausnahmen (GUIDE-006). Sorgen betreffen Arbeitsplatzverlust und Sicherheit: Kommunizieren Sie, dass der Roboter die schweren, eintönigen Aufgaben übernimmt, benennen Sie eine Pilotzelle und KI-Botschafter (GUIDE-008), sorgen Sie für einen Not-Halt und eine menschliche Freigabe bei jeder Ausnahme und führen Sie einen Pilotbetrieb mit Go/No-go-Kriterien durch (GUIDE-009).

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): abhängig vom Einzelfall. Ein Roboter ist für sich genommen kein Hochrisiko-System. KI, die als Sicherheitsbauteil einer unter die Maschinenverordnung (EU) 2023/1230 fallenden Maschine eingesetzt wird, ist nach Art. 6 Abs. 1/Anhang I hochriskant und braucht, wo anwendbar, eine Konformitätsbewertung durch Dritte; die reine Wahrnehmungs-/Greiffunktion (keine Sicherheitsfunktion) gilt in der Regel als minimales Risiko. Die Personenerkennung für die Sicherheit wird in ROBO-016 behandelt. Kein Verbot nach Art. 5 ist einschlägig, doch fügen Sie keine Emotionserkennung am Arbeitsplatz und keine verdeckte Leistungsbewertung von Beschäftigten hinzu [6][7].
• Maschinen: Die Maschinenverordnung 2023/1230 gilt ab dem 20. Januar 2027 (sie ersetzt die Richtlinie 2006/42/EG) und adressiert sich selbst weiterentwickelndes Verhalten; ISO 10218-1/-2 (Industrieroboter), ISO/TS 15066 (kollaborativer Betrieb) und ISO 13849 legen Sicherheitsanforderungen fest [7]. Halten Sie gelernte Komponenten aus der Sicherheitsfunktion heraus oder bewerten Sie sie ausdrücklich.
• DSGVO: Kameras in der Zelle können Beschäftigte erfassen; nutzen Sie enge Sichtfelder, keine Aufzeichnung von Personen, eine Vereinbarung mit dem Betriebsrat (in Deutschland Mitbestimmung nach §87 BetrVG) und eine Datenschutz-Folgenabschätzung (DSFA), wenn Aufnahmen gespeichert werden.
• Cybersicherheit: Vernetzte Zellen fallen in relevanten Sektoren unter NIS2 und, als Produkte, unter den Cyber Resilience Act; segmentieren Sie OT-Netze und nutzen Sie signierte Updates.
• Weitere Risiken: Akzeptanz in der Belegschaft, überzogene Greifraten-Versprechen, Herstellerbindung bei proprietären Daten. Gegenmittel: Pilotbetrieb mit Ihren eigenen Artikeln, vertraglich vereinbarte Kennzahlen und Datenexportrechte.

Erste Schritte

1. Erfassen Sie die Artikel- oder Teileliste mit Abmessungen, Gewicht, Material und Stückzahlen; ordnen Sie nach Schwierigkeit (glänzend, verformbar, winzig).
2. Legen Sie Kennzahlen fest (Griffe/h, Erfolgsquote, Eingriffsrate) und senden Sie 200–500 reale Artikel zum Test an zwei oder drei Anbieter.
3. Wählen Sie Greifer und Kameraposition gemeinsam mit dem Integrator; führen Sie eine Risikobeurteilung nach ISO 10218 durch und klären Sie, wer für die CE-Kennzeichnung verantwortlich ist.
4. Betreiben Sie eine Zelle als Pilot mit Fernhilfe als Rückfall; protokollieren Sie jeden fehlgeschlagenen Griff mit Bildern.
5. Rollen Sie schrittweise aus; nutzen Sie das Fehlerprotokoll, um Modelle und Layout zu verbessern.

Quellen

1. International Federation of Robotics — World Robotics reports and press releases — https://ifr.org/worldrobotics/
2. NVIDIA — Isaac Manipulator documentation — https://developer.nvidia.com/isaac/manipulator
3. Pickit 3D — robot vision for bin picking and depalletizing — https://www.pickit3d.com/
4. Mujin — MujinOS and piece picking — https://mujin-corp.com/
5. MoveIt 2 documentation — https://moveit.picknik.ai/
6. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
7. Regulation (EU) 2023/1230 (Machinery Regulation) — https://eur-lex.europa.eu/eli/reg/2023/1230/oj
8. Photoneo — 3D vision and robotic picking — https://www.photoneo.com/
9. Segment Anything 2 (Meta) — https://github.com/facebookresearch/sam2