Large Reconstruction Model (LRM)

2023: Анонс продукта

В середине ноября 2023 года исследователи из Австралийского национального университета (ANU) и Adobe Research сообщили о создании первой системы искусственного интеллекта, способной генерировать 3D-модели на основе единственного 2D-изображения. Причем данный процесс занимает всего около 5 секунд. Технология получила название Large Reconstruction Model (LRM).

Разработчики говорят, что ранее программное обеспечение для 3D-моделирования эффективно работало только с объектами какой-то определенной категории с заранее описанными формами и структурой. Затем появились системы Dall-E и Stable Diffusion, использующие диффузионные модели для генерации изображений с разных точек зрения. Однако их результаты работы ограничиваются возможностями предварительно обученных алгоритмов. Новая технология предлагает гораздо более широкую функциональность.

Схема работы нейросети

LRM базируется на масштабируемой нейронной сети, содержащей 1 млн наборов данных с 500 млн параметров: это стандартные изображения, трехмерные фигуры и видеоматериалы. LRM может реконструировать высокоточные 3D-фигуры на основе широкого спектра 2D-оригиналов — как фотографий снятых в реальном мире, так и изображений, созданных с помощью генеративного ИИ. Достигается это благодаря использованию обширной базы данных с миллионами параметров изображений и возможности прогнозировать нейронное излучающее поле (NeRF). Утверждается, что система эффективно работает, даже если исходные 2D-изображения имеют низкое разрешение.

Ожидается, что большая модель реконструкции найдет применение в самых разных сферах — от виртуальной и дополненной реальности до игровой индустрии, кинематографической анимации и промышленного дизайна. Исследователи говорят, что их алгоритм способен изменить подход к процессу создания качественных 3D-моделей.^[1]

Примечания