NEC und Universität Keio entwickeln schnelle KI-gestützte 3D-Modellierungstechnologie

Die NEC Corporation hat in Zusammenarbeit mit dem Keio AI Research Center eine Technologie entwickelt, die mithilfe proprietärer künstlicher Intelligenz hochdetaillierte 3D-Modelle in nur einer Minute generiert. Das System basiert ausschließlich auf Videomaterial, das mit Allzweckkameras – wie sie in Smartphones integriert sind – aufgenommen wurde, und entfernt automatisch vorübergehende oder unnötige Objekte aus dem finalen Rendering. Die Technologie ist so konzipiert, dass sie die Bedingungen vor Ort präzise repliziert, ohne dass teure Spezialhardware erforderlich ist oder laufende Arbeitsumgebungen gestört werden. NEC plant, die Technologie innerhalb des Geschäftsjahres 2027 zu kommerzialisieren und zielt dabei auf Digital-Twin-Anwendungen in den Bereichen Infrastruktur, Versorgung und Bauwirtschaft ab.

Überwindung von Video-Einschränkungen und Hürden bei der räumlichen Modellierung
Moderne Infrastrukturbetreiber und Bauunternehmen teilen zunehmend Live-Video-Feeds mit entfernten Vorgesetzten, um dem Arbeitskräftemangel entgegenzuwirken und Reisekosten für Inspektionen zu minimieren. Die traditionelle Videoaufzeichnung macht es für Remote-Teams jedoch schwierig, bestimmte Blickwinkel schnell zu isolieren oder Winkel dynamisch anzupassen, um schwer erkennbare Details zu inspizieren.

Während digitale Zwillinge auf Basis von 3D-Modellen eine Inspektion aus freiem Blickwinkel ermöglichen, wurde eine breite Einführung durch technische Hürden gebremst. Standard-Photogrammetrie- und Laserscan-Methoden erfordern teure Spezialsensoren, machen es erforderlich, den Betrieb vor Ort während der Aufnahmen einzustellen, um die Erfassung von vorübergehend anwesenden Arbeitern zu vermeiden, und erfordern umfassende externe Verarbeitungszeiten für das Rendering des finalen Modells.

Um diese betrieblichen Engpässe zu lösen, kombinierte das Gemeinschaftsprojekt Gaussian Splatting – eine räumliche Rendering-Technik, die zunehmend für die Hintergrundgenerierung in Film und Animation eingesetzt wird – mit maßgeschneiderter neuronaler Netzwerkverarbeitung. Die Kombination ermöglicht eine schnelle, hochpräzise räumliche Rekonstruktion mithilfe von Kameras mobiler Geräte, ohne den laufenden Betrieb zu stoppen.

Funktionen zur räumlichen Optimierung und Objektentfernung
Die Technologie umfasst zwei wichtige Software-Innovationen, um die Verarbeitungseffizienz zu optimieren und die Modellgenauigkeit zu gewährleisten:

Die resultierenden 3D-Modelle sind mit gewöhnlichen Computern oder Tablets kompatibel. Dies ermöglicht es Ingenieuren vor Ort und Remote-Koordinatoren, die Bedingungen am Standort sofort zu beurteilen, virtuelle Inspektionen durchzuführen und die Entscheidungsfindung bei betrieblichen Anomalien zu beschleunigen.




Zusätzlicher Kontext
Dieser Abschnitt beschreibt technische Spezifikationen, die in der ursprünglichen Pressemitteilung nicht enthalten waren.

Traditionelle 3D-Rekonstruktions-Pipelines stützen sich auf Structure-from-Motion (SfM) und Multi-View Stereo (MVS), um dichte Polygonnetze aufzubauen, was eine beträchtliche Verarbeitungszeit erfordert. Gaussian Splatting beschleunigt diesen Prozess, indem es den 3D-Raum als eine Sammlung kontinuierlicher, halbtransparenter 3D-Ellipsoide (Gaussians) statt als starre, diskrete Polygonpunkte darstellt. Jedes Gaussian-Partikel ist mathematisch durch seine räumliche Position, Skalierung, Rotation, Farbe und Opazität definiert.

Die Plattform von NEC und der Universität Keio verfeinert diese Technik, indem sie vor dem Optimierungsschritt einen aktiven Analysator für visuelle Komplexität integriert. Konventionelles Splatting verteilt Partikel gleichmäßig über eine Szene und verlässt sich auf einen langsamen Pruning-und-Splitting-Algorithmus, um Details zu verfeinern.

Im Gegensatz dazu nutzt diese Technologie einen Echtzeit-Kantenerkennungs- und Texturgradienten-Mapping-Algorithmus, um die lokalisierte Raumfrequenz zu schätzen. Das System verwendet diese Dichtekarten, um die anfänglichen Gaussian-Seeds zuzuweisen. Diese voroptimierte Platzierung ermöglicht es der neuronalen Engine, redundante Partikeliterationen auf flachen Oberflächen zu umgehen. Sie konzentriert die GPU-Verarbeitungsleistung ausschließlich auf komplexe Oberflächen und komprimiert die gesamte Rendering-Sequenz in ein einminütiges Zeitfenster.

Bearbeitet von Romila DSilva, Induportals-Redakteurin, mit KI-Unterstützung.