Nvidia präsentiert ein KI-Modell, das aus ein paar Dutzend Schnappschüssen eine 3D-Szene macht

Nvidias neueste KI-Demo ist ziemlich beeindruckend: ein Tool, das schnell „ein paar Dutzend“ 2D-Schnappschüsse in eine gerenderte 3D-Szene verwandelt. Im Video unten können Sie die Methode in Aktion sehen, mit einem Model, das als Andy Warhol verkleidet ist und eine altmodische Polaroidkamera hält. (Denken Sie nicht zu viel über die Warhol-Verbindung nach: Es ist nur ein bisschen, die PR-Szene zu verkleiden.)

Das Tool heißt Instant NeRF, in Anlehnung an „neuronale Strahlungsfelder– eine Technik, die 2020 von Forschern der UC Berkeley, Google Research und der UC San Diego entwickelt wurde. Wenn Sie eine detaillierte Erklärung der neuralen Strahlungsfelder wünschen, können Sie eine lesen Hier, aber kurz gesagt, die Methode bildet die Farbe und Lichtintensität verschiedener 2D-Ebenen ab und generiert dann Daten, um diese Bilder aus verschiedenen Blickwinkeln zu verbinden und eine fertige 3D-Szene zu rendern. Neben den Bildern benötigt das System Daten zur Position der Kamera.

Forscher haben diese Art von 2D-Modell auf 3D verbessert seit ein paar jahren, wodurch fertige Renderings mehr Details erhalten und die Rendering-Geschwindigkeit erhöht wird. Nvidia behauptet, sein neues Instant NeRF-Modell sei eines der schnellsten aller Zeiten und verkürzt die Renderzeit von Minuten auf einen Prozess, der „fast sofort“ abgeschlossen ist.

Da die Technik schneller und einfacher zu implementieren ist, könnte sie für alle möglichen Aufgaben verwendet werden, sagt Nvidia in einem Blogbeitrag. die Arbeit beschreiben.

„Instant NeRF könnte verwendet werden, um Avatare oder Szenen für virtuelle Welten zu erstellen, Videokonferenzteilnehmer und ihre Umgebung in 3D zu erfassen oder Szenen für digitale 3D-Karten zu rekonstruieren“, schreibt Isha Salian von Nvidia. „Die Technologie könnte verwendet werden, um Roboter und selbstfahrende Autos zu trainieren, um die Größe und Form von realen Objekten zu verstehen, indem 2D-Bilder oder Videomaterial aufgenommen werden. Es könnte auch in der Architektur und Unterhaltung verwendet werden, um schnell digitale Darstellungen realer Umgebungen zu erstellen, die von den Entwicklern modifiziert und erweitert werden können. (Sieht so aus, als ob das Metaversum ruft.)

Leider hat Nvidia keine Details zu seiner Methode preisgegeben, daher wissen wir nicht genau, wie viele 2D-Frames benötigt werden oder wie lange es dauert, um die fertige 3D-Szene zu rendern (was auch von der Leistung des Rendercomputers abhängen würde) . Dennoch sieht es so aus, als würde sich die Technologie schnell weiterentwickeln und in den kommenden Jahren einen echten Einfluss haben.