DrawingVQA: тест, который покажет, понимает ли ИИ чертежи на самом деле

Исследователи выпустили DrawingVQA — первый бенчмарк для проверки мультимодальных моделей (тех, что видят картинки и читают текст) на реальных стройчертежах. Не на фотографиях интерьеров и не на схематичных планах этажей, а на полноценной рабочей документации — со сварными швами, спецификациями, выносками и таблицами. До сих пор таких тестов просто не было: все проверяли ИИ на «картинках из интернета», а сложный гибрид геометрии, условных знаков и технического текста оставался за скобками.

На практике это значит: если модель справляется с DrawingVQA, она действительно понимает, что перед ней не просто линии, а проект. Для архитектора это приближает появление помощника, который сможет найти ошибку в разночтении между планом и спецификацией, проверить соответствие чертежа нормативам или ответить на RFI (запрос информации от подрядчика) без вашего участия. Цифр пока нет — это именно набор тестовых заданий, а не рейтинг моделей.

Есть и слабое место: бенчмарк создан в академии, не факт, что его вопросы совпадают с реальными болями на стройплощадке. И главное — даже идеальный ответ на тесте не гарантирует, что модель не выдаст лишнего допуска в рабочей документации.