ИИ-агентов заставили выполнять задачи в 26 инженерных программах: нейросети провалили 96% сложных тестов

Автономные ИИ-агенты — программы, которые сами управляют курсором, нажимают кнопки в интерфейсе и вводят команды — отлично освоили базовые действия за компьютером. Но в реальном проектировании они спотыкаются о геометрию и физику. Исследователи представили EngiWorld — первый бенчмарк (набор контрольных тестов для оценки способностей нейросетей), проверяющий работу ИИ в реальном инженерном софте от начала до конца.

В тест включили 1301 задачу из шести областей: от BIM (информационное моделирование зданий) и CAD (трехмерное цифровое проектирование) до прочностных расчетов и 3D-визуализации. Моделям пришлось работать в 26 профессиональных программах. Результаты трезвят: самая сильная из семи топовых нейросетей набрала в рейтинге EngiScore лишь 44,3 балла из 100. А если задача требовала цепочки действий в нескольких программах подряд, успеха удавалось добиться только в 3,6% случаев.

На практике это значит, что ИИ пока не умеет удерживать жесткие физические и геометрические ограничения при переходе от одного этапа к другому. Заменить проектировщика, который связывает модель, расчеты и чертежи в единое целое, нейросеть пока не способна.

Текст подготовлен ИИ по материалу первоисточника.