Computer-Use-/Browser-Agent zur Automatisierung veralteter Oberflächen (agentische RPA)

Viele Organisationen betreiben kritische Prozesse auf Mainframe-Terminals, Fat-Client-ERP-Systemen, Lieferantenportalen und Behörden-Webformularen, die keine brauchbare API bieten. Klassische RPA steuert diese Masken mit festen Selektoren und bricht, sobald ein Button verschoben wird. Ein Computer-Use-Agent betrachtet den Bildschirm, entscheidet über den nächsten Klick oder Tastendruck und passt sich Layoutänderungen an. Er verkürzt die Entwicklungszeit für seltene Automatisierungen, ist aber langsamer, teurer und weniger deterministisch als Skripte; deshalb setzt man ihn am besten in einem gesteuerten, von Menschen beaufsichtigten Rahmen ein.

Problem & Nutzen

• Heute: Beschäftigte tippen Daten zwischen Systemen erneut ein, laden Berichte aus Portalen herunter und bearbeiten täglich dieselben Formulare. Vorhandene RPA-Bots (UiPath, Blue Prism, Automation Anywhere, Desktop-Flows von Microsoft Power Automate) decken den stabilen Kern mit hohem Volumen ab, doch jeder Bot braucht einen Entwickler, und Änderungen an der Oberfläche zerstören die Selektoren. Die lange Reihe von Prozessen mit geringem Volumen wird nie automatisiert.
• KI-Nutzen: Die Aufgabe wird in natürlicher Sprache oder als SOP beschrieben; der Agent nimmt die Oberfläche über Screenshots wahr (plus Barrierefreiheitsbaum oder DOM, sofern verfügbar) und handelt. Er verträgt kosmetische Änderungen der Oberfläche, Pop-ups und unerwartete Dialoge, und die Entwicklung sinkt von Tagen auf Stunden oder Minuten.
• Die Evidenz ist gemischt: Eine Studie von 2026 fand RPA zur Laufzeit schneller und zuverlässiger als einen Claude- Computer-Use-Agenten, während der Agent die Entwicklungszeit deutlich verkürzte [1]; Blue Prism argumentiert, RPA bleibe für Fat-Client- und Mainframe-Systeme unverzichtbar [2]. Entwerfen Sie hybrid: Skripte für den stabilen Kern, Agenten für die lange Reihe seltener Fälle und für Ausnahmen.

Varianten

• Browser-Agent für Web-Portale: Portale von Lieferanten, Spediteuren und Behörden ohne API.
• Desktop-Agent für Fat Clients: SAP GUI, Citrix/RDP-Anwendungen, pro Aufgabe in einer isolierten VM.
• Terminal-/Mainframe-Agent: 3270/5250-Emulatoren bei Banken und Versicherungen.
• Agentengestützte RPA: Der Agent erzeugt oder repariert einmalig ein deterministisches Skript; das Skript läuft danach günstig.
• Öffentlicher Sektor: Anbindung veralteter Fachverfahren an Portale.
• Private Nutzung: Browser-Agenten für Verbraucher für Buchungen und Formulare; siehe AGENT-019.

So funktioniert es

1. trigger (queue item / email / schedule / human request)
2. task planner (goal + SOP + allowed apps and domains)
3. sandboxed environment (VM, container or remote browser, scoped service account)
4. loop: observe (screenshot + a11y tree/DOM)
5. reason
6. act (click/type/key/scroll/tool call)
7. verify result (screen state, extracted value, postcondition check)
8. guardrails (allowlist, action policy, injection filter, spend/step limits)
9. human approval for irreversible steps (submit, pay, delete, send)
10. result + full trace (screenshots, actions, model reasoning) to audit log

• Steuerschleife: Jeder Schritt ist ein Modellaufruf (Screenshot hinein, Aktion heraus); Aufgaben dauern Dutzende Schritte, daher wachsen die Kosten mit der Länge. Bevorzugen Sie API-/Werkzeugaufrufe, wo verfügbar; nutzen Sie den Bildschirm nur für Lücken.
• Mensch-in-der-Schleife (Human-in-the-Loop): Freigabeschritte vor nicht umkehrbaren oder finanziellen Aktionen, Übernahme, wenn der Agent nicht weiterkommt, und stichprobenartige Prüfung abgeschlossener Läufe.
• Hybridisierung: Deterministische Prüfungen der Nachbedingungen umschließen den Agenten, damit Fehler erkannt werden.

Datenaufbereitung

Ein Computer-Use-Agent braucht weniger Trainingsdaten als andere Anwendungsfälle, aber mehr Prozesswissen. Relevante Eingaben sind die Zielanwendung (veralteter ERP-Client, Portal eines Lieferanten oder einer Behörde, Web-Oberfläche einer Bank oder Versicherung), die Aufgabenbeschreibungen und die Stammdaten, die der Agent eingibt und die typischerweise in ERP, Excel oder E-Mail-Anhängen liegen. Typische Lücken: undokumentierte Klickpfade und Ausnahmen, gemeinsame Logins ohne personalisierte Konten, MFA oder Captchas, die die Automatisierung blockieren, uneinheitliche Quelldaten (Tippfehler, Dubletten, fehlende Pflichtfelder) und keine Testumgebung, sodass auf dem Produktivsystem experimentiert wird.

Konkrete Schritte: (1) den Prozess Schritt für Schritt mit Screenshots und 20 echten Fällen einschließlich Fehlschlägen aufzeichnen; (2) zuerst prüfen, ob eine API, ein Export oder eine Dateischnittstelle existiert, die immer robuster ist als Klicken (PREP-005); (3) die Eingabedatensätze bereinigen und validieren, bevor der Agent sie sieht (PREP-011); (4) personalisierte Dienstkonten mit minimalen Rechten und einen Test- oder Sandbox-Mandanten einrichten; (5) Erfolgsprüfungen je Schritt definieren (erwarteter Bildschirmtext, Anzahl Datensätze) und eine kleine Bewertungsmenge aufbauen (PREP-018); (6) festlegen, welche Daten dem Modell gezeigt werden dürfen (PREP-024). Werkzeuge: Playwright zur Aufzeichnung, ein Passwort-Tresor, eine Test-VM. Der Datenaufwand ist mit etwa 10-20 % gering; Prozessdokumentation und Einrichtung der Zugänge überwiegen. Siehe GUIDE-003.

Umsetzungswege

Welcher Weg für wen

• KMU: A. Ein verwaltetes RPA- oder Computer-Use-Produkt mit abgeschotteten Browsern erspart den Aufbau sicherer Infrastruktur; der Prozess betrifft typischerweise ein einzelnes veraltetes Portal.
• Großunternehmen: B. Strategische Prozesse und Volumen rechtfertigen den Aufbau auf Cloud-APIs in einer gesteuerten Sandbox mit zentraler Verwahrung der Zugangsdaten, Prüfpfad und Notausschaltern.
• Entwickler: B. Führende Computer-Use-Modelle über API liegen weiterhin klar vor selbst betreibbaren; ein Selbstbetrieb braucht HW3 und lohnt sich selten.
• Öffentlicher Sektor: B. Nutzen Sie APIs in EU-Regionen oder souveräner Cloud mit strengen Positivlisten; kaufen Sie nur zertifizierte Produkte.

Weg A — Kaufen (Standardsoftware)

• RPA-Plattformen mit agentischer Oberflächensteuerung: UiPath (UI Agent, eigenes Modell mitbringen, auch Anthropic Computer Use; aktuellen Preview-/GA-Status in der Herstellerdokumentation prüfen) [3]; Microsoft Power Automate / Copilot Studio Computer Use [4]; Automation Anywhere; Blue Prism (SS&C). EU: Camunda (Berlin) für Orchestrierung, H Company (Paris) Agentenmodelle [5]; prüfen Sie das EU-Hosting jedes Anbieters.
• Agentenprodukte: OpenAI ChatGPT Agent, Anthropic Claude Browser-/Desktop-Agenten, Google Gemini.
• Wählen Sie A, wenn: Sie bereits eine RPA-Plattform besitzen und Tresor, Orchestrierung und Prüfpfad sofort einsatzbereit brauchen.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Computer-Use-APIs: Anthropic Computer-Use-Werkzeug (Screenshot, Maus, Tastatur in einer Agentenschleife) [6]; OpenAI Computer-Use-Werkzeug in der Responses API [7]; Google Gemini Computer Use. Nutzen Sie EU-Regionen (Claude über AWS Bedrock/Vertex EU, Azure OpenAI EU Data Zone); Mistral (EU) für Text-Teilschritte.
• Browser-Frameworks: Playwright, browser-use [11], Stagehand, Skyvern; gehostete Remote-Browser.
• Orchestrierung: Warteschlange + Worker (Temporal, Camunda, n8n), je Lauf eine isolierte VM/ein isolierter Container, Geheimnisse in einem Tresor, Traces in die Werkzeuge von AGENT-025.

Weg C — Selbst betreiben (Open Source)

• Open-Weight-GUI-Modelle: Qwen-VL-Familie (Qwen2.5-VL/Qwen3-VL), UI-TARS (ByteDance), OpenCUA, Holo-Modelle von H Company (EU); bereitgestellt mit vLLM oder Ollama.
• Stack: browser-use/Playwright, Docker- oder Firecracker-Sandboxes, Temporal/n8n/Camunda.
• Hardware: HW3 für GUI-Modelle der 30B+-Klasse; HW2 für einfache Browser-Abläufe mit geringerer Zuverlässigkeit.
• Wählen Sie C, wenn: die Masken regulierte Daten zeigen (Gesundheit, Finanzen, Verwaltung), die im Haus bleiben müssen.

Weg D — Eigenes Training

Ein kleines GUI-Modell auf aufgezeichneten Abläufen (Screenshots + Aktionen) der eigenen Anwendungen feintunen, um die Genauigkeit zu erhöhen und die Kosten je Schritt zu senken. Dafür sind Tausende validierte Abläufe und ein Bewertungs- Rahmen nötig; selten gerechtfertigt, solange Ansätze mit Prompt und SOP nicht ausgeschöpft sind.

Stand der Technik (2026)

• Benchmarks: OSWorld (echte Desktop-Aufgaben) ist die Referenz [8]; von Anbietern berichtete Werte stiegen von niedrigen zweistelligen Prozentwerten 2024 auf über 70 % bis 2026, sind aber selbst berichtet und vom Testaufbau abhängig. Außerdem: WebArena, Mind2Web, AndroidWorld.
• Produkte: Microsoft berichtet, Computer Use in Copilot Studio sei 2026 allgemein verfügbar [4]; große Modellanbieter liefern Computer-Use-Werkzeuge in ihren APIs [6][7]; etablierte RPA-Anbieter binden Modelle Dritter ein, statt eigene zu trainieren.
• Techniken: hybride Wahrnehmung (Screenshot + Barrierefreiheitsbaum), Grounding-Modelle, Planer mit Schlussfolgern und „einmal aufzeichnen, selbstheilend wiedergeben", um nicht bei jedem Lauf Modellaufrufe zu benötigen.
• Grenzen: langsam und teuer im Vergleich zu Skripten; Fehlklicks bei dichten Oberflächen; Schleifen bei unerwarteten Dialogen; schwach bei CAPTCHAs, MFA und Drag-and-drop; Nichtdeterminismus erschwert SLAs. Prompt Injection ist das zentrale Sicherheitsrisiko: Text auf einer Seite, in einem PDF oder in einer E-Mail kann den Agenten dazu bringen, Daten abzuführen; die Anbieter dokumentieren das als ungelöst [6][9].

Gemeinsame Bausteine & Kombinationen

• Gleiche Laufzeitumgebung: AGENT-021 (Dateneingabe & Migration) und AGENT-004 (Auftragserfassung) nutzen sie als Rückfallebene, wenn es keine API gibt; AGENT-002 liefert Auslöser, Warteschlangen, Freigaben; AGENT-013 kann sie als Werkzeug nutzen; AGENT-025 liefert Beobachtbarkeit; AGENT-006 für ERP-Masken; CODE-005, wenn das Umhüllen des Altsystems mit einer API die bessere langfristige Lösung ist.

Aufwand, Kosten & Kennzahlen

• Weg A: Wochen für einen Piloten, wenn eine RPA-Plattform vorhanden ist; Lizenzen plus Modellguthaben.
• Weg B: 2-4 Monate für eine gehärtete Plattform; Kostentreiber sind die Token je Schritt (Screenshots).
• Weg C: 3-6 Monate plus GPU-Betrieb.
• Kennzahlen: Aufgabenerfolg auf einer festen Bewertungsmenge, Durchlaufquote ohne Eingriff, Kosten je Aufgabe, mittlere Zeit bis zur Reparatur nach einer Änderung der Oberfläche, Quote nachgelagerter durchgerutschter Fehler, von Schutzmechanismen blockierte Vorfälle.

Menschen & Veränderung

Binden Sie die Abteilungsleitung und die Beschäftigten ein, die heute klicken: Sie kennen die Ausnahmen und müssen die Arbeit des Agenten im Pilot validieren. IT und besonders die IT-Sicherheit sind unverzichtbar, da der Agent mit echten Zugangsdaten in echten Anwendungen handelt; sie legen Sandbox, Positivlisten für Domains, Tresore für Geheimnisse und Protokollierung fest (GUIDE-013). Die oder der Datenschutzbeauftragte prüft personenbezogene Daten auf den Bildschirmen (Screenshots gehen an den Modellanbieter), den AVV und ob eine DSFA nötig ist. Die Geschäftsleitung genehmigt die Risikobereitschaft und die Regel, dass keine Zahlung, Löschung oder externe Übermittlung ohne Freigabe erfolgt.

Betriebsrat: in der Praxis ja. Der Agent arbeitet unter Benutzer- oder Dienstkonten und zeichnet Bildschirme und Aktionen auf; er ist damit objektiv zur Überwachung von Verhalten geeignet (§ 87 Abs. 1 Nr. 6 BetrVG, BAG); § 90 Abs. 1 Nr. 3 gilt für die veränderten Arbeitsverfahren, und nach § 80 Abs. 3 kann ein KI-Sachverständiger hinzugezogen werden. Vereinbaren Sie, dass Protokolle nur für Sicherheit und Qualität genutzt werden, nicht für die individuelle Leistungsbeurteilung (GUIDE-004). Öffentlicher Dienst: Personalrat.

Wählen Sie einen stabilen, risikoarmen Prozess und eine Pilotgruppe von 2-4 Nutzern mit einem Ausstiegskriterium (GUIDE-009). Typische Bedenken: Ersatz von Personal, Fehler in Produktivsystemen und Überwachung. Begegnen Sie ihnen, indem Sie das Laufprotokoll des Agenten zeigen, im Lese- oder Entwurfsmodus beginnen, einen sichtbaren Stopp-Knopf bereithalten und die Beschäftigten im Prüfen und Übernehmen schulen (GUIDE-006, GUIDE-008). Maßnahmen zur Förderung der KI-Kompetenz sollten Prompt Injection auf Webseiten abdecken.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): Die Technologie ist universell einsetzbar, das Risiko hängt daher vom Prozess ab [10]. Reine Back-Office- Datenübertragung ist typischerweise minimales Risiko (KI-Kompetenz, Art. 4). Sie wird nach Anhang III zum Hochrisiko-System, wenn der Agent Entscheidungen über Beschäftigung, Kreditwürdigkeit, Zugang zu wesentlichen öffentlichen oder privaten Diensten oder Leistungen trifft oder wesentlich beeinflusst. Wo er in nicht offensichtlicher Weise direkt mit natürlichen Personen interagiert, gilt die Transparenzpflicht nach Art. 50. Ein Verbot nach Art. 5 wird durch die Technologie selbst nicht ausgelöst; setzen Sie sie nicht für verbotene Praktiken wie Social Scoring ein.
• DSGVO: Der Agent sieht alles, was auf dem Bildschirm steht, auch besondere Kategorien von Daten; wenden Sie Datenminimierung an (Anwendungen und Felder beschränken), einen AVV mit den Anbietern, Hosting in der EU oder Selbstbetrieb sowie eine DSFA bei umfangreicher oder sensibler Verarbeitung. Art. 22 begrenzt ausschließlich automatisierte Entscheidungen mit rechtlicher Wirkung.
• Sicherheit: Prompt Injection, Missbrauch von Zugangsdaten und zu weit gefasste Berechtigungen. Gegenmaßnahmen: eigene Dienstkonten mit minimalen Rechten (keine persönlichen Logins), Positivlisten für Netzwerk/Domains, isolierte Wegwerf- VMs, kein Dauerzugriff auf Zahlungs- oder Administrationsfunktionen, menschliche Freigabe für nicht umkehrbare Aktionen, jeden Bildschirminhalt als nicht vertrauenswürdige Eingabe behandeln [9]. Einrichtungen unter NIS2 und DORA müssen den Agenten in ihr IKT-Risikomanagement und die Aufsicht über Drittanbieter einbeziehen.
• Sonstiges: Die Automatisierung von Portalen Dritter kann gegen deren Nutzungsbedingungen verstoßen; führen Sie manipulationssichere Protokolle und benennen Sie je Agent eine verantwortliche Person.

Erste Schritte

1. Inventarisieren Sie Kandidaten-Prozesse: keine API, mittleres Volumen, verträgt gelegentliche menschliche Prüfung; ordnen Sie nach eingesparter Arbeit im Verhältnis zum Risiko. Behalten Sie RPA für stabile Abläufe mit hohem Volumen.
2. Bauen Sie eine Bewertungsmenge aus 20-50 echten Aufgabeninstanzen in einer Testumgebung mit Scheindaten auf und messen Sie Erfolg, Schritte, Kosten und Zeit je Aufgabe.
3. Pilotieren Sie mit je einem Werkzeug aus Weg A und Weg B in einer abgeschotteten VM mit einem Dienstkonto mit begrenzten Rechten und Freigaben bei jeder schreibenden Aktion.
4. Ergänzen Sie Schutzmechanismen (Positivlisten für Domains/Anwendungen, Filter gegen Injection, Grenzen für Schritte und Kosten) und Tracing, bevor Sie den Umfang erweitern.
5. Betreiben Sie den Agenten im Schattenmodus neben dem menschlichen Prozess, prüfen Sie die Traces und gehen Sie dann in den beaufsichtigten Produktivbetrieb mit stichprobenbasierter Prüfung.

Quellen

1. Are LLM agents the new RPA? A comparative benchmark study of agentic automation and RPA (Cogent Business & Management, 2026) — https://www.tandfonline.com/doi/full/10.1080/23311975.2026.2724760
2. Blue Prism — The future of RPA: trends and predictions 2026 — https://www.blueprism.com/resources/blog/future-of-rpa-trends-predictions/
3. UiPath documentation (search "UI Agent") — https://docs.uipath.com/
4. Deck — The State of Computer Use Agents in 2026 (includes Copilot Studio computer-use status; vendor blog) — https://deck.co/blog/state-of-computer-use-agents-2026
5. H Company (Paris) — https://www.hcompany.ai/
6. Anthropic — Computer use tool documentation — https://docs.claude.com/en/docs/agents-and-tools/tool-use/computer-use-tool
7. OpenAI — Computer use guide — https://platform.openai.com/docs/guides/tools-computer-use
8. OSWorld benchmark — https://os-world.github.io/
9. OWASP — Top 10 for LLM Applications (prompt injection) — https://genai.owasp.org/llm-top-10/
10. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
11. browser-use project — https://github.com/browser-use/browser-use