Тест ARCH-B показал: ИИ отлично узнает здание на рендерах и фото, но всё ещё с трудом связывает чертёж с натурой

Исследователи представили ARCH-B — бенчмарк (специальный набор тестов для оценки способностей ИИ), проверяющий, умеют ли нейросети узнавать один и тот же объект на разных типах графики. В тест вошли 354 задачи с вариантами ответов, отобранные из базы в 3,9 миллиона изображений. Моделям нужно было связать между собой чертежи планов, фасады, разрезы, 3D-рендеры и фотографии объектов.

В испытании участвовали 25 мультимодальных моделей (нейросетей, которые умеют одновременно работать и с текстом, и с изображениями) и группы людей без профильного образования. Точность алгоритмов составила от 10,45% до 83,90%, тогда как люди набрали в среднем 35,35%. На практике это значит, что топовым нейросетям уже можно доверить сортировку ракурсов и сопоставление фото с визуализациями.

Но есть и слабое место: алгоритмы всё ещё тяжело связывают плоский чертёж плана с реальной фотографией здания. К тому же представления о сложности задач у человека и ИИ почти не совпадают (корреляция всего 0,33). Пространственная связь между условной графикой чертежа и готовым объёмом даётся нейросетям пока хуже всего.

Текст подготовлен ИИ по материалу первоисточника.