Nvidia revolutioniert KI-Entwicklung: Cosmos WFMs beschleunigen physische KI-Prozesse

Nvidia setzt mit den Cosmos WFMs einen neuen Standard in der KI-Entwicklung. Diese Technologie verspricht, physische KI-Systeme deutlich schneller und effizienter zu machen – ein Game-Changer für Entwickler weltweit.

Warum das wichtig ist: In einer Welt, in der KI-Projekte oft an Hardware-Grenzen stoßen, könnte Nvidias Move den Unterschied zwischen Hype und echter Innovation ausmachen. Aber hey, wenigstens steigt der Aktienkurs – das beruhigt die Investoren, auch wenn die Technologie noch in den Kinderschuhen steckt.

Die Zukunft der KI-Entwicklung sieht schneller aus. Ob sie auch profitabler wird? Das bleibt abzuwarten.

Cosmos verfügt über die Basismodelle Predict, Transfer und Reason 

Laut dem Nvidia-Team verfügt die Cosmos Plattform über das Vorhersagemodell Predict, mit dem Entwickler kontinuierliche Videos von bis zu 30 Sekunden erstellen können. Die Videos werden aus multimodalen Eingaben unter strikter Einhaltung von Eingabeaufforderungen generiert.

Transfer ist ein Multicontrol-Modell, mit dem Entwickler unterschiedliche Umgebungen und Lichtverhältnisse simulieren können. Das Technologieunternehmen erklärte außerdem, dass Transfer 3D-Eingaben von CARLA und Nvidia Isaac Sim, den physikalischen KI-Simulationsframeworks, beschleunigen könne, um eine „kontrollierbare Datenerweiterung“ zu ermöglichen.   

Nvidia erklärte, Cosmos Reason verwende ein vollständig anpassbares VLM (Vision Language Model), das die reale physische Welt wie Menschen verstehe. Reason unterstützt Videoanalyse-Agenten, die Abläufe in Industrie- und Stadträumen verstehen. Es verwaltet die Trainingsdaten, die für die Entscheidungsfindung verwendet werden.

Das Technologieunternehmen gab bekannt, dass Entwickler die Basismodelle nutzen könnten, um Daten für das Training von KI-Modellen in Industrie- und Roboteranwendungen zu generieren, beispielsweise in Fabrikrobotern, automatisierten Lagerhäusern und autonomen Fahrzeugen auf Autobahnen oder unwegsamem Gelände.

Nvidia erklärte außerdem, dass diese grundlegenden Modelle mit unbeschrifteten Datensätzen trainiert wurden, um basierend auf Benutzereingaben neue Daten zu generieren. Entwickler könnten diese Generalisierbarkeit nutzen, um die vortrainierten Modelle mit kleineren Datensätzen zu verfeinern und so individuelle Modelle zu erstellen. Die Entwickler könnten auch verschiedene autonome Maschinen trainieren, um unterschiedliche Umgebungen zu erfassen und mit ihnen zu interagieren.

Nvidia treibt „digitale Zwillinge“ an

Das Technologieunternehmen kündigte die Veröffentlichung der Omniverse-Bibliotheken am 11. August an. Nvidia fügte hinzu, dass die Bibliotheken auf seinen RTX PRO-Servern und der DGX Cloud basieren und es Entwicklern ermöglichen, physikalisch genaue digitale Zwillinge zu erstellen. Synthetische Daten können durch die Erfassung und Rekonstruktion der realen Welt in einer Simulation generiert werden, um KI-Agenten zu erstellen und physikalische KI-Modelle zu trainieren.

Rev Lebaredian,dent für Omniverse und Simulationstechnologien bei Nvidia, erklärte, sein Unternehmen habe es sich zum Ziel gesetzt, Entwicklern den Bau der Roboter und autonomen Fahrzeuge von morgen zu ermöglichen. Er erklärte, dass KI und Computergrafik zusammenwachsen und die Grundprinzipien der Robotik verändern würden. Lebaredian glaubt, dass diese Technologien „Billionen von Dollar in Branchen verändern werden“. 

Nvidia gab bekannt, dass die Omniverse-Bibliotheken und SDKs (Software Development Kits) AB sofort für Entwickler verfügbar sind, um Robotersimulationen und industrielle KI-Anwendungen zu erstellen und einzusetzen. Die SDKs ermöglichen die Dateninteroperabilität zwischen OpenUSD (Universal Scene Description) und MJCF (MuJoCo), um Roboter plattformübergreifend simulieren zu können. Die RTX-Raytracing trac 3D-Gaussian-Splatting-Technik ermöglicht es Entwicklern zudem, physische Umgebungen in der realen Welt mithilfe von Sensordaten in 3D zu erfassen, zu rekonstruieren und zu simulieren.

Nvidia gab an, dass Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon und Lightwheel Omniverse und die Isaac Suite (Sim und Lab) eingeführt haben, um ihre KI-gesteuerten Robotikprojekte zu beschleunigen. Auch Amazon Devices & Services nutzte diese Nvidia-Systeme für seine neuesten Fertigungslösungen.

Academy : Kurz DeFi