Как научить нейросеть видеть объём: новый метод объединяет геометрию в явном и неявном виде

Мир вокруг нас трёхмерен, но большинство современных AI-моделей «видят» его как плоскую картинку. Они понимают, что на фото изображён стул, но не догадываются, что за ним скрывается второй стул, или как именно тени ложатся на изогнутую спинку. Чтобы по-настоящему взаимодействовать с физическим миром, большим языковым и визуальным моделям (VLM) необходимо научиться воспринимать 3D-геометрию. Новая исследовательская работа предлагает элегантный гибридный подход — объединение неявного и явного представления трёхмерного пространства. Что это значит? Неявная геометрия — это, условно, «математическое облако»: модель не рисует точки и полигоны, а вычисляет плотность и признаки в каждой точке пространства. Явная геометрия — это конкретные 3D-данные: облака точек, сетки, воксели, которые можно «пощупать» и обработать классическими алгоритмами. Авторы предложили архитектуру, которая сначала строит неявную карту сцены (через NeRF-подобные представления), а затем на её основе генерирует явные геометрические признаки — например, глубину и нормали. Эти признаки подаются в VLM как дополнительный канал информации, наравне с RGB-изображением. В результате модель не просто «смотрит» на сцену, а «чувствует» её объём. Эксперименты показывают впечатляющий рост точности в задачах, где важна пространственная логика: определение размеров объектов, оценка расстояний, понимание взаимного расположения в сложных сценах. Например, модель, обученная по этому принципу, значительно лучше справляется с вопросами вроде «Какой предмет ближе к камере?» или «Закрывает ли этот шкаф часть стола?». Практическая ценность очевидна: от улучшения работы роботов (они смогут точнее хватать предметы) до продвинутой AR-навигации и автоматизированного дизайна интерьеров. Интересно, что авторы открыли код и чекпоинты, так что любой желающий может попробовать внедрить этот подход в свои проекты. Это тот случай, когда теория геометрии превращается в практический инструмент для AI-инженеров. 📎 [Источник](http://arxiv.org/abs/2607.21595v1)