Модель читает скан помещения и объясняет, зачем нужна каждая труба
Систему научили работать с облаком точек внутренних помещений и вопросами на обычном языке. Привычные системы вешают на объект в скане ярлык: труба, клапан, воздуховод. Эта объясняет, зачем компонент нужен, и отвечает на вопрос по его эксплуатации. Задач у неё три: узнать объект, описать его подробно, ответить на инженерный вопрос.
К базовой модели добавлены четыре механизма: усилитель точечной информации, регуляризация, которая сохраняет геометрию при обработке текста, постоянный текстовый префикс для устойчивости в предметной области и многоуровневая дообучающая надстройка, балансирующая узнавание и рассуждение. Учили на синтетическом наборе: 4198 объектов, 47 категорий, 37 782 пары «вопрос-ответ». Собирал их автоматический движок, руками на настоящих объектах никто ничего не размечал.
Сигнал
Шаг от метки на скане к системе, которая объясняет назначение элемента и отвечает на инженерный вопрос по помещению. Для эксплуатации зданий и цифровых двойников это полезнее голой классификации.
Шум
Обучали и мерили на синтетическом наборе, а не на съёмке настоящих объектов. Узнать трубу модель умеет в 88 случаях из ста, а там, где нужно рассуждать о ней, скатывается к 65 и 68 процентам. Для работы по факту эксплуатации этого мало.
Термины из этой записи