Нейросеть научилась восстанавливать поэтажные планы по нескольким панорамам — без привязки камер и без полного обхода помещений
Исследователи предложили метод, который собирает планировку комнат из разреженных панорамных снимков, сделанных с неизвестных точек. Проблема классическая: чтобы построить точный план, нужны либо плотное облако точек, либо координаты камер. Здесь — ни того ни другого: панорамы сняты с произвольных позиций, с широким базисом (то есть сильно разнесены друг от друга), и их взаимное расположение неизвестно.
Главная хитрость — нейросеть не пытается угадать весь этаж целиком. Вместо этого каждая колонка панорамы (вертикальный «срез» изображения) предсказывает только ту стену, которую видит, плюс две следующие по часовой стрелке. Глобальный план собирается потом из этих локальных кусочков автоматически — как мозаика из перекрывающихся фрагментов. Для архитектора это означает, что для реконструкции квартиры или небольшого офиса больше не нужно лазерное сканирование или десятки замеров — хватит нескольких фото с телефона.
Есть и слабое место: метод пока протестирован на датасете ZInD-CrossView. Насколько он сработает на нестандартных планировках (открытые пространства, сложные криволинейные стены) или на небрежных любительских снимках, неясно. Валидация на реальных стройплощадках и в существующих зданиях — следующий шаг.
Текст подготовлен ИИ по материалу первоисточника.
Сигнал
Локальный подход сильно упрощает сборку плана: не нужно учить нейросеть глобальной картине, всё собирается из простых предсказаний. Это повышает точность и может снизить требования к оборудованию.
Шум
Пока это исследование, а не готовый инструмент. До того как метод появится в Revit или Archicad, пройдёт время. И датасет всё-таки лабораторный — на строительном мусоре и тенях панорамы из датасета не снимали.
Термины из этой записи