SlugTrails показал: нейросети для навигации по чертежам бесполезны в больших зданиях без специальных данных

Исследователи представили SlugTrails — открытый набор данных для визуальной локализации (определения точного положения человека или робота внутри здания по снимку с камеры и поэтажному плану). В базу вошли видеозаписи с умных очков из трех университетских корпусов общей площадью контуров более 22 тысяч квадратных метров, точно привязанные к САПР-планам (двумерным чертежам из проектировочных программ) и лазерным измерениям.

Главный вывод: популярные ИИ-модели вроде F3Loc или UnLoc, показавшие отличные результаты на маленьких квартирах, в крупных общественных зданиях «из коробки» выдают практически нулевую точность. Но стоит провести дообучение (fine-tuning — донастройку алгоритма на примерах реальных помещений), как точность привязки видеопотока к чертежу подскакивает с 3% до 66%. На практике это значит, что навигацию роботов-инспекторов или AR-очков на стройке тормозит не слабость алгоритмов, а дефицит качественных данных о больших объектах.

Слабое место технологии — мгновенная ориентация по одному кадру на ходу всё еще работает плохо. Чтобы уверенно узнать место на чертеже, нейросети до сих пор требуется пройтись по помещению и накопить последовательность кадров с датчиков движения.

Текст подготовлен ИИ по материалу первоисточника.