Робот достраивает в уме то, чего ещё не видел

Когда робот исследует здание, он видит только те помещения, куда успел заехать, — остальное для него белое пятно. Авторы предложили способ, которым робот может "достроить" в уме недостающие части здания — представить их в виде иерархического графа (это просто способ описать здание как схему связей: сначала уровень комнат, потом уровень предметов внутри них). Сначала модель предполагает, что за комната там может быть, где проходят её границы и куда из неё можно попасть; затем — какие объекты стоят внутри, где именно и как повёрнуты.

Для уровня комнат авторы разработали новый тип диффузионной модели (та же логика "рисования из шума", что и в Midjourney, только применённая не к картинке, а к плану здания) — она одновременно предсказывает категорию помещения, контур пола и связи проходимости между комнатами. Важная деталь: модель справляется с неполными, частично известными планами, даже если её этому специально не учили именно на таких обрывочных данных. Для расстановки предметов внутри комнат используются уже готовые методы предсказания мебели.

В сравнении с другими подходами — включая основанные на языковых моделях — метод заметно лучше справляется с реальными, "непричёсанными" частично изученными планами; это подтвердили эксперименты с данными настоящих роботов, а не только с симуляцией. Для архитектурной практики это интересно как технология автоматического "достраивания" плана здания по неполным данным сканирования — пригодится и при обследовании старых зданий, и при планировании навигации автономных роботов внутри помещений.