Physical AI, das Rückgrat moderner Robotik, autonomer Fahrzeuge und intelligenter Umgebungen, vereint neuralen Grafikaufbau, synthetische Datengenerierung, physikbasierte Simulation, Reinforcement Learning und KI-gestütztes Schlussfolgern. NVIDIA Research arbeitet seit fast zwei Jahrzehnten an der Schnittstelle dieser Disziplinen und treibt ihre Verschmelzung voran.
Neue Technologien auf der SIGGRAPH
Auf der Fachkonferenz SIGGRAPH in Vancouver stellt NVIDIA neue Softwarebibliotheken für Physical AI vor. Dazu gehören die Omniverse NuRec 3D-Gaussian-Splatting-Libraries für großflächige Welterstellung, Updates der Vision-AI-Plattform Metropolis sowie die Modelle Cosmos und Nemotron. Das neue Cosmos Reason, ein visuelles Sprachmodell, befähigt Roboter und Vision-AI-Agenten, mithilfe von Vorwissen, physikalischem Verständnis und gesundem Menschenverstand komplexe Schlüsse zu ziehen.
Gewinnen in der Plattform-Ökonomie
Realistische virtuelle Umgebungen als Trainingsbasis
Die Entwicklung von Physical AI beginnt mit der Erstellung hochpräziser, physikalisch korrekter 3D-Umgebungen. Diese dienen als Trainingsumgebung für humanoide Roboter oder spezialisierte Maschinen, deren virtuell erlernte Fähigkeiten sich in die Realität übertragen lassen. Beispiele sind Erntehelfer, die Früchte ohne Beschädigung pflücken, oder Fertigungsroboter, die winzige Bauteile millimetergenau montieren.
Forschungsschwerpunkte von NVIDIA
Seit seiner Gründung im Jahr 2006 setzt NVIDIA Research Maßstäbe in den Bereichen Raytracing und Echtzeitgrafik, zunehmend unterstützt durch KI-Modelle – bekannt als Neural Rendering. Dieses Verfahren ermöglicht es, aus gewöhnlichen Bildern oder Videos detailgetreue 3D-Umgebungen zu rekonstruieren. Ergänzt wird dies durch physikalische Bewegungsmodelle wie ViPE, ein neu vorgestelltes 3D-Annotationstool, das aus Videoaufnahmen präzise Tiefenkarten und Kamerabewegungen ableitet.
Anwendungen von Generativer KI und Simulation
Generative KI-Modelle helfen Physical-AI-Systemen, zukünftige Zustände vorherzusagen – etwa das Verhalten von Fahrzeugen in Gefahrensituationen. Zudem präsentierte NVIDIA Forschung zu physikalisch stabilen 3D-Rekonstruktionen aus 2D-Material, realistischen Bewegungsabläufen für komplexe Stunts sowie verbesserten Material- und Lichtsimulationen. Diese Fortschritte schaffen nicht nur realistischere virtuelle Welten für Robotiktraining, sondern auch neue Möglichkeiten in Gaming und Filmproduktion.
