Нейросеть NeRF от Nvidia создает 3D-модели по нескольким фотографиям

Компания Nvidia представила новую версию инструмента из области искусственного интеллекта Neural Radiance Field (NeRF). Он адаптирован для работы с новейшими видеокартами с тензорными ядрами, на которых можно создавать 3D-сцены на основе двумерных фото за несколько миллисекунд. Прежней версии NeRF для достижения аналогичного результата требовалось несколько часов.

Принцип действия NeRF не изменился, он проходит экспресс-обучение на нескольких снимках объекта с разных ракурсов, а потом объединяет данные и интерполирует их, чтобы заполнить пробелы. На выходе получается максимально реалистичная трехмерная модель, которую можно применять в различных сценах и композициях. В новой версии применяется технология кодирования хэш-сетки с несколькими разрешениями, для оптимизации работы на графических чипах.

Как поясняют в Nvidia, скорость – главное качество новой нейросети, потому что они собираются применять его в системах автономного вождения. Автопилоту будет проще рассчитать расстояние до помехи, если он будет видеть ее в трехмерном виде, а роботам станет проще ориентироваться в реальном мире. Кроме того, NeRF наверняка найдет применение в сфере развлечений, в образовании и архитектуре.