Foto-/Video-zu-3D-Erfassung (Gaussian Splatting, NeRF) für Rundgänge, Produkte & Digitale Zwillinge

Klassisches 3D-Scannen braucht Laserscanner oder stundenlange Nachbearbeitung bei der Photogrammetrie, und einfache Fotos oder 360-Grad-Panoramen lassen sich nicht begehen. Neuronale Rekonstruktion (3D Gaussian Splatting, 3DGS, und Neural Radiance Fields, NeRF) macht aus einem gewöhnlichen Smartphone- oder Drohnenvideo eine fotorealistische 3D-Szene, die ein Betrachter im Browser umkreisen kann, mit Spiegelungen und feinen Details wie Laub, mit denen Meshes schlecht zurechtkommen. Typische Einsatzfelder sind Rundgänge durch Immobilien und Veranstaltungsorte, 3D-Produktansichten, Denkmaldokumentation und eine visuelle Ebene für Digitale Zwillinge.

Hinweis: Diese Datei wurde ohne Live-Webrecherche erstellt (Suchkontingent erschöpft); Aussagen zu Produkten und Versionen geben den Kenntnisstand bis Mitte 2026 wieder und sollten vor Entscheidungen erneut überprüft werden.

Problem & Nutzen

• Heute: Das Marketing für Immobilien, Hotels und Veranstaltungsorte stützt sich auf Fotos, 360-Grad-Rundgänge (z. B. Aufnahmen im Matterport-Stil mit Spezialkameras) oder von Hand modelliertes 3D. 3D-Ansichten im E-Commerce brauchen Studio-Drehteller oder Grafiker. Denkmal- und Bestandsdokumentation nutzen terrestrisches Laserscanning oder Photogrammetrie, die genau, aber teuer und in der Verarbeitung langsam sind.
• KI-Nutzen: Aufnahme in Minuten mit dem Smartphone; das Training dauert Minuten bis eine Stunde auf einer GPU oder in einem Cloud-Dienst; das Ergebnis wird in Echtzeit (oft deutlich über 30 fps) in Browsern und auf Smartphones dargestellt. Gaussian Splatting machte die Echtzeitdarstellung von Szenen in NeRF-Qualität praxistauglich [1].
• Belege aus der Praxis: Zillow hat im Juli 2025 SkyTour eingeführt, einen 3D-Außenrundgang auf Basis von Gaussian Splatting aus Drohnenaufnahmen für geeignete Showcase-Inserate (Pressemitteilung von Zillow, 15. Juli 2025); Polycam, Luma AI und Niantic Spatial (Scaniverse) bieten Splat-Erfassung für Verbraucher und Profis an; Google und andere nutzen neuronale Rekonstruktion in Karten- und Immersive-View-Funktionen. Quantifizierte geschäftliche Zugewinne stammen von den Herstellern und sind nicht unabhängig belegt; messen Sie sie deshalb selbst.
• Standardmäßig kein Messwerkzeug: Splats sehen richtig aus, sind aber nicht zwingend metrisch genau; für vermessungstaugliche Arbeiten braucht es weiterhin Passpunkte oder LiDAR.

Varianten

• Immobilien & Gastgewerbe: Rundgang durch Wohnungen, Hotels und Veranstaltungsorte, oft kombiniert mit Grundrissdaten (GEN-018, GEN-009).
• E-Commerce / Produkt: Objektzentrierte Aufnahme auf einem Drehteller, umgewandelt in Splat oder Mesh für AR und 3D-Viewer (GEN-008).
• Kulturerbe & Museen: Dokumentation von Denkmälern, Objekten und Grabungen; Archive der öffentlichen Hand.
• Bau & Bestandsdokumentation: Regelmäßige Baustellenerfassung zum Fortschrittsvergleich, Reality Capture gegen BIM (ROBO-009, VIS-021).
• Digitale Zwillinge & Simulation: Fotorealistische Umgebungsebene für Anlagenzwillinge und Robotersimulation (ROBO-010).
• Medien & VFX: Erfassung von Drehorten für Film und Spiele (GEN-021).
• Private Nutzung: Einen Lieblingsort, eine Skulptur oder ein Sammlerstück mit einer Smartphone-App scannen.

So funktioniert es

1. capture (phone/drone/360 video, optional LiDAR)
2. frame selection, blur filtering, optional masking of people/sky
3. camera pose estimation (COLMAP / SfM, or on-device ARKit/ARCore poses)
4. optimisation: initial sparse point cloud
5. train millions of 3D Gaussians (or NeRF)
6. cleanup: crop floaters, remove background, align/scale, optional mesh extraction
7. compress + export (.ply, .spz, .sog, glTF Gaussian-splat extension)
8. web viewer / AR / engine plugin / twin platform

• Gaussian Splatting stellt eine Szene als viele anisotrope, farbige 3D-Flecken dar, die in Echtzeit gerastert werden; das Training erfolgt gradientenbasiert aus Bildern mit bekannter Pose [1]. NeRF nutzt ein neuronales Netz, das entlang von Strahlen abgefragt wird: kleinere Dateien, aber langsame Darstellung, weshalb es heute überwiegend in der Forschung und als Vergleichsbasis dient [2].
• Feed-forward-Rekonstruktion (Modelle, die Geometrie und Posen ohne Optimierung pro Szene vorhersagen, z. B. Modelle vom Typ DUSt3R/VGGT) verkürzt die Pipeline von Minuten auf Sekunden und macht in einigen Werkzeugen den separaten SfM-Schritt überflüssig.
• Mensch-in-der-Schleife (Human-in-the-Loop): Aufnahmeanleitung (Abdeckungsprüfung), Bereinigung von Floatern und Datenschutz-Maskierung durch Bediener, Freigabe vor der Veröffentlichung; bei vermessenen Ergebnissen Prüfungen durch Vermesser.

Datenaufbereitung

Die Eingangsdaten werden gezielt erfasst und nicht aus bestehenden Systemen gewonnen: Smartphone-, Drohnen- oder 360-Grad-Video, optional LiDAR. Vorhandene Bestände sind Exposé-Fotos in einem CMS oder Portal, Grundrisse in einem DMS, Produktbilder in einem PIM oder Shopsystem sowie Vermessungsdaten auf Dateifreigaben. Typische Lücken sind unscharfes oder unzureichend überlappendes Material, spiegelnde oder texturlose Oberflächen, bewegte Personen und Kfz-Kennzeichen im Bild, fehlende Einwilligung von Bewohnern oder Eigentümern von Veranstaltungsorten, unbeschriftete Scans ohne Ort oder Maßstab und verstreute Ablage auf privaten Smartphones.

Vorbereitungsschritte: - Erstellen Sie ein Aufnahmeprotokoll (60-300 Bilder pro Objekt, langsamer Gehweg, konstante Belichtung, keine bewegten Objekte, Maßstabsreferenz) und prüfen Sie die Abdeckung vor Ort. - Maskieren oder entfernen Sie Gesichter, Kennzeichen, Dokumente und persönliche Gegenstände vor dem Hochladen oder der Veröffentlichung. - Legen Sie Rohmaterial und Ergebnisse in einer strukturierten Ordnerablage oder einem DAM mit Metadaten zu Objekt, Datum, Ort und Maßstab ab; siehe PREP-010 und PREP-009. - Bewahren Sie neben dem Anbieter-Link einen offenen Export (.ply, glTF) auf, um Abhängigkeiten zu vermeiden. - Zu personenbezogenen Daten in Szenen siehe PREP-022 und PREP-024.

Grober Aufwandsanteil: etwa 10-20 Prozent, überwiegend für disziplinierte Aufnahmen und Datenschutz-Maskierung. Weg C kommt mit der Feinabstimmung der Posenschätzung hinzu.

Umsetzungswege

Welcher Weg für wen

• KMU: Weg A, weil Polycam, Luma, Scaniverse oder Postshot Smartphone-Aufnahmen binnen Stunden in teilbare Szenen verwandeln und der Prozess Standard ist.
• Großunternehmen: Weg B, weil Immobilienportale, Produktkataloge oder Zwillingswerkzeuge automatisierte, mandantenfähige Pipelines mit GPU-Batch-Jobs in EU-Regionen brauchen.
• Entwickler: Weg C, weil Nerfstudio, gsplat und COLMAP volle Kontrolle bieten, Format-Abhängigkeit vermeiden und auf einer einzelnen HW2-GPU laufen.
• Öffentlicher Sektor: Weg C, weil Scans von Denkmälern, Gebäuden und Infrastruktur auf souveräner oder eigener Infrastruktur bleiben und in offenen Formaten (glTF-Splat-Erweiterung) archiviert werden sollten.
• Privat: Weg A, weil kostenlose Smartphone-Apps mit Verarbeitung auf dem Gerät (Scaniverse) für Hobby, Reisen und Familie genügen.

Weg A — Kaufen (Standardsoftware) (für die meisten KMU empfohlen)

• Apps für Aufnahme und Hosting: Polycam, Luma AI, Niantic Scaniverse (kostenlose Smartphone-App, Verarbeitung auf dem Gerät), KIRI Engine, Postshot (Jawset, Desktop-Training, Sitz in Deutschland, EU), Teleport.
• Plattformen für Immobilien und Veranstaltungsorte: Matterport und ähnliche Anbieter von Rundgängen ergänzen Splat-basierte Ansichten oder experimentieren damit; prüfen Sie den aktuellen Funktionsstand. Reality-Capture-Suiten wie RealityScan (Epic) und Pix4D (Schweiz) beherrschen Photogrammetrie für die Vermessung und zunehmend Splat-Ausgaben.
• Web-Viewer/Hosting: SuperSplat (PlayCanvas, quelloffener Editor und Viewer), Spline und andere; selbst gehostete statische Dateien sind möglich, da Splats einfache Dateien sind.
• Wählen Sie A, wenn: Sie unter einigen Hundert Szenen pro Monat bleiben, keine strengen Anforderungen an metrische Genauigkeit haben und die Veröffentlichung über Freigabelinks oder iframes akzeptabel ist. Prüfen Sie: Exportformate (Abhängigkeit vermeiden), Datenspeicherort, Lizenz für die kommerzielle Nutzung der Scans, Aufbewahrung Ihrer Uploads.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Gehostete Rekonstruktions-APIs: Luma und Polycam bieten Entwickler-APIs oder SDKs (aktuelle Bedingungen prüfen); GPU-Instanzen von Google Cloud, AWS oder Azure in EU-Regionen können quelloffene Trainer im Batch ausführen.
• Muster: Video in EU-Objektspeicher hochladen → Auftrag einreihen (GPU-Container) → Splat im Speicher ablegen → mit einem Web-Viewer ausliefern; Webhook ins CMS oder Immobiliensystem.
• Wählen Sie B, wenn: Sie mandantenfähiges Produktscannen, Integration in Immobiliensysteme oder Rundgänge unter eigener Marke brauchen.

Weg C — Selbst betreiben (Open Source)

• Training: Nerfstudio (mit splatfacto) und seine Bibliothek gsplat [3], der ursprüngliche 3DGS-Referenzcode von Inria (Forschungslizenz, nicht für kommerzielle Nutzung; Lizenzen prüfen), COLMAP/GLOMAP für Posen, OpenSplat (Varianten im Stil von Apache/AGPL, prüfen) und Brush (plattformübergreifend, Rust/WebGPU).
• Anzeige/Bearbeitung: SuperSplat, three.js-Splat-Viewer, Spark (three.js-Renderer), Plugins für Unity/Unreal/Godot.
• Standards: Khronos standardisiert Gaussian Splats in glTF über eine Erweiterung; setzen Sie sie dort ein, wo Werkzeuge sie unterstützen, um Format-Abhängigkeit zu vermeiden [4].
• Hardware: HW2 (eine GPU mit 16-32 GB) trainiert eine Szene in Raumgröße in Dutzenden Minuten; Stadtquartiere und große Drohnenszenen brauchen HW3 oder Training in Teilabschnitten.

Weg D — Eigenes Training

Selten nötig. Lohnt sich für: domänenspezifische Feed-forward-Modelle (z. B. Innenraumszenen), Vorannahmen gegen Artefakte bei spiegelnden oder texturlosen Oberflächen oder die generative Ergänzung nicht gesehener Bereiche. Das Training braucht große Datensätze mit mehreren Ansichten und bekannten Posen; akademische Datensätze existieren, eigene Aufnahmesätze sind das Unterscheidungsmerkmal.

Stand der Technik (2026)

• 3DGS und seine Nachfolger (kantenglättend, 2DGS/oberflächenausgerichtete Varianten, komprimierte Formate) sind Standard für fotorealistische Erfassung; NeRF-Varianten (Instant-NGP, Zip-NeRF) bleiben in Qualitäts-Benchmarks stark, verlieren aber bei der Darstellungsgeschwindigkeit [1][2].
• Kompression (z. B. SPZ von Niantic, SOG von PlayCanvas) verkleinert Szenendateien von Hunderten MB auf Dutzende MB, wodurch die Auslieferung im mobilen Web praktikabel wird.
• Große Szenen werden über Detailstufen und Training in Teilabschnitten bewältigt; dynamische Szenen (4D-Splats) bewegen sich zwischen Forschungsstand und Early-Adopter-Reife.
• Diffusions-Vorannahmen füllen fehlende Ansichten auf und bereinigen Floater; die Erzeugung von 3D aus dem Nichts überschneidet sich mit GEN-008.
• Grenzen: Spiegelnde, transparente und texturlose Oberflächen; bewegte Personen und Lichtwechsel zwischen den Bildern; lückenhafte Abdeckung verursacht Floater und Löcher; kein echtes physikalisches Material (Neubeleuchtung ist begrenzt); begrenzte metrische Genauigkeit; die Mesh-Extraktion verliert einen großen Teil der fotorealistischen Qualität; Standards und Werkzeugunterstützung bleiben zersplittert.

Gemeinsame Bausteine & Kombinationen

• Gemeinsamer Stack (3D-Bildverarbeitung, GPU-Training, Segmentierung): GEN-008 (Erzeugung von 3D-Assets), GEN-009 (Architekturvisualisierung), GEN-018 (virtuelles Staging; Möbel in Splats zu stellen ist ein aktives Feld), GEN-011 (Maskierung/Bereinigung), VIS-021 (Luftbilder), ROBO-009 (Baustellenüberwachung), ROBO-010 (Simulationsumgebungen).
• Ein HW2/HW3-GPU-Server mit einer Trainer-Warteschlange kann mehrere davon bedienen; Modelle zur Datenschutz-Maskierung (Unkenntlichmachung von Gesichtern und Kennzeichen) teilen sich mit Computer-Vision-Pipelines aus dem Überwachungsumfeld.
• Nachgelagert: AR-Anprobe vor Ort, VR-Rundgänge, Plattformen für Digitale Zwillinge, Spiele-Engines.

Aufwand, Kosten & Kennzahlen

• Weg A: Stunden bis Tage; Abonnements pro Nutzer oder Szenen-Guthaben.
• Weg B: 1-3 Monate für eine Produktions-Pipeline mit Anbindung an Immobiliensysteme; Kosten getrieben durch GPU-Minuten pro Szene sowie Speicher/Datenausgang.
• Weg C: 1-2 Monate bis zur funktionierenden Pipeline, plus Betrieb für GPU-Warteschlange und Viewer-Hosting.
• Kennzahlen: Erfolgsquote der Aufnahme (brauchbare Szene im ersten Versuch), Verarbeitungszeit pro Szene, Dateigröße und Ladezeit auf Mobilgeräten, Interaktion/Verweildauer im Viewer gegenüber Fotos, Lead- oder Anfragequote bei Inseraten, Kosten von Scan bis Veröffentlichung, geometrischer Fehler, wo gemessen.

Menschen & Veränderung

Wer und wann. Beziehen Sie die Fachbereichsleitung (Vertrieb, Marketing, Facility- oder Denkmalmanagement) und die Anwender (Makler, Fotografen, Produktmitarbeiter) von Anfang an ein, denn die Aufnahmequalität entscheidet über das Ergebnis. Holen Sie die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten sowie Recht/Compliance hinzu, bevor Sie bewohnte Wohnungen, Büros oder Veranstaltungsorte scannen: Bewohner und Beschäftigte brauchen Information, Einwilligung oder eine Rechtsgrundlage, und Urheberrecht oder Hausordnung können das Scannen einschränken. Kunden und Bewohner sind betroffene Interessengruppen und sollten vor der Aufnahme gefragt werden. Die Geschäftsleitung legt die Richtlinie zu Veröffentlichung und Aufbewahrung fest (GUIDE-007).

Betriebsrat. Kommt darauf an. Das Scannen von Produkten oder leeren Immobilien überwacht keine Beschäftigten. Erscheinen Beschäftigte in Szenen oder werden Scans von Arbeitsplätzen oder Produktionshallen als Ebene eines Digitalen Zwillings genutzt, kann die Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG greifen (BAG: die objektive Eignung genügt), und § 90 Abs. 1 Nr. 3 verlangt die rechtzeitige Unterrichtung. Vereinbaren Sie die Maskierung von Beschäftigten und den Ausschluss der Nutzung zur Leistungsbeurteilung. Öffentlicher Dienst: Personalrat.

Datenschutzbeauftragte(r) und DSFA. Schließen Sie mit der Scan-Plattform einen AVV (Art. 28 DSGVO) ab und prüfen Sie bei US-Anbietern die Garantien für die Datenübermittlung. Eine DSFA ist wahrscheinlich nur beim systematischen Scannen öffentlicher Räume oder von Arbeitsplätzen erforderlich (GUIDE-005).

KI-Kompetenz, Kommunikation, Pilot. Fördern Sie die KI-Kompetenz (Art. 4 KI-Verordnung) mit einer einstündigen Aufnahmeschulung (GUIDE-006). Starten Sie einen Pilot mit 5-10 Objekten und vergleichen Sie die Anfragequoten mit Fotos (GUIDE-009). Typische Sorge: irreführende Inserate. Begegnen Sie ihr durch Offenlegung von Bearbeitungen, Aufbewahrung der unbearbeiteten Aufnahme und menschliche Freigabe vor der Veröffentlichung.

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): In der Regel minimales Risiko; keine Kategorie nach Anhang III. Die Transparenzpflicht nach Art. 50 gilt, wenn die Ausgabe als Abbild eines realen Ortes präsentiert, aber synthetisch verändert oder ergänzt wird (Manipulation im Stil von Deepfakes); kennzeichnen Sie bearbeitete oder generierte Bereiche. Kein Problem nach Art. 5 bei der Erfassung von Immobilien oder Produkten. Eine biometrische oder Überwachungsnutzung von Scans wäre ein anderer, sensibler Anwendungsfall und ist hier nicht Gegenstand. Die Pflicht zur KI-Kompetenz (Art. 4) gilt.
• DSGVO: Szenen von Wohnungen, Büros und öffentlichen Räumen können Personen, Gesichter, Kfz-Kennzeichen, Dokumente auf Schreibtischen und Familienfotos erfassen; die Erfassung von Bewohnern oder Beschäftigten erfordert eine Rechtsgrundlage, Information und Maskierung. Bewohnte Wohnungen: Holen Sie die Einwilligung der Bewohner ein und entfernen Sie persönliche Gegenstände. Die Verarbeitung bei einem US-Anbieter erfordert Garantien für die Datenübermittlung.
• Sonstiges Recht: Eigentums- sowie Datenbank-/Urheberrecht (Scannen von Kunstwerken, urheberrechtlich geschützten Gebäuden, Museumsobjekten), Grenzen der deutschen Panoramafreiheit, Drohnenregeln (EU-UAS-Verordnung, EASA), Hausordnung und Privatsphäre in Hotels und Veranstaltungsorten, Modell-/Lizenzbedingungen für die Szenenausgabe.
• Risiko der Irreführung: Irreführende Immobilieninserate, wenn Floater verdeckt oder Räume verändert werden; es gilt das Verbraucherschutzrecht. Gegenmaßnahme: Bearbeitungen offenlegen, unbearbeitete Aufnahme aufbewahren, menschliche Freigabe.
• Sicherheit: Das Hosten von Szenen kritischer Anlagen legt Grundrisse offen; beschränken Sie Zugriff und Links.

Erste Schritte

1. Wählen Sie ein konkretes Szenario (z. B. fünf Immobilien oder zehn Produkte) und legen Sie das Lieferformat fest (Web-Einbettung, AR, BIM-Review).
2. Erfassen Sie dasselbe Motiv mit Scaniverse (kostenlos, auf dem Gerät) sowie Polycam oder Luma; vergleichen Sie Qualität, Exportformate und Bedingungen.
3. Schreiben Sie eine Aufnahmeanleitung (langsame Bewegung, Überlappung, gleichmäßiges Licht, keine bewegten Personen) und eine Datenschutz-Checkliste (Maskierung, Einwilligungen).
4. Bauen Sie einen Prototyp einer selbst betriebenen Pipeline mit Nerfstudio/gsplat plus SuperSplat auf einer GPU, um Kosten und Abhängigkeit zu prüfen.
5. Veröffentlichen Sie die Pilotszenen, erfassen Sie Interaktion und Kosten pro Szene und entscheiden Sie dann zwischen A und B/C.

Quellen

1. Kerbl et al. — 3D Gaussian Splatting for Real-Time Radiance Field Rendering (SIGGRAPH 2023) — https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
2. Mildenhall et al. — NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis — https://www.matthewtancik.com/nerf
3. Nerfstudio and gsplat documentation — https://docs.nerf.studio/
4. Khronos Group — glTF specification and extensions repository — https://github.com/KhronosGroup/glTF
5. Scaniverse (Niantic Spatial) — https://scaniverse.com/
6. PlayCanvas SuperSplat — https://github.com/playcanvas/supersplat
7. COLMAP — https://colmap.github.io/
8. Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
9. Regulation (EU) 2016/679 (GDPR) — https://eur-lex.europa.eu/eli/reg/2016/679/oj
10. Zillow — press release introducing SkyTour (15 Jul 2025) — https://zillow.mediaroom.com/2025-07-15-Summer-just-got-hotter-Zillow-debuts-five-powerful-new-features