AVA-VLM: модель, которая не просто «смотрит» на стройку, а фокусируется на деталях
Исследователи из MIT и几家 компаний представили AVA-VLM — новую «зрячую» языковую модель для мониторинга стройплощадок. Обычные Vision-Language Models (VLM — модель, которая понимает и картинки, и текст) работают так: берут весь кадр с камеры целиком и пытаются ответить на вопрос вроде «все ли в касках?». На практике это плохо работает, если камера далеко, качество видео низкое или нужно заметить конкретный дефект на фоне завалов.
AVA-VLM вместо этого сначала вырезает важные участки кадра — как архитектор, который не смотрит на генплан целиком, а сразу увеличивает проблемный узел. Модель сама решает, на какой фрагмент «посмотреть внимательнее», и только потом отвечает на вопрос.
По тестам, AVA-VLM точнее аналогов на 10‑12 процентов при работе с видео низкого разрешения (типичная картинка с дешёвой камеры на стройке) и при этом быстрее — для ответа нужно меньше вычислительной мощности.
Есть и слабое место: модель обучали на датасете из 50 тысяч вопросов по стройплощадкам — много, но узко. Для редких ситуаций (нестандартный узел, специфичные материалы) она может ошибаться. Кроме того, модель пока отвечает на простые вопросы («видите ли вы этот кран?»), а не анализирует динамику процесса.
Сигнал
Архитектору и прорабу — возможность делегировать модели проверку большого объёма видео с камер: «все ли рабочие в касках?», «не появилась ли трещина на этой колонне?». Экономия времени просмотра записей.
Шум
Пока не умеет в диалог про сложные изменения (например, «как изменился объём бетонных работ за неделю»). И не заменяет человека — только первичный фильтр.
Термины из этой записи