Исследователи научили ИИ привязывать данные со стройки к плану этажа. Точнее — до 7,6 раз

Проблема — стара как стройка: у вас есть «умная» камера или робот, который бегает по объекту, снимает, но где именно он находится относительно проекта — непонятно. VSLAM (визуальное позиционирование, когда ИИ строит карту пространства по видео) даёт 3D-модель без точного масштаба, не совпадающую с плоским планом этажа. К тому же объекты построены лишь частично, а конструкции выглядят одинаково, так что «зацепиться» алгоритму не за что.

Авторы метода Reading the Room (RR) придумали, как склеить две эти вселенные в одной энергетической функции — алгоритме, который одновременно учитывает и форму конструкций (геометрию), и их тип (семантику). Процесс двухэтапный: сначала грубое совмещение, потом точная подгонка. Если дать программе хотя бы одну примерную привязку («якорь»), точность взлетает. Без привязки метод обходится собственной нейросетью, которая ищет совпадения между планом и съёмкой. Результаты на 33 последовательностях с трёх активных строек: средняя ошибка траектории упала в 4,5 раза по сравнению с лучшим аналогом в общем случае, а когда дали «якорь» — в 7,6 раза.

При этом для достижения максимальной точности методу всё же может требоваться одна подсказка от пользователя («якорь»), хотя алгоритм способен работать и в полностью автоматическом режиме.

Текст подготовлен ИИ по материалу первоисточника.