ИИ провалил самый сложный математический тест: нейросетям не хватило интуиции
ИИ провалил самый сложный математический тест: нейросетям не хватило интуиции
Четыре ведущие ИИ-системы попытались решить десять математических задач исследовательского уровня, которых не было в их обучающих данных. Результаты опубликованы на сайте проекта First Proof.
В тесте участвовали ChatGPT 5.5 Pro от OpenAI, а также академические команды из Калифорнийского и Принстонского университетов и Швейцарского федерального института технологий в Цюрихе. Некоторые команды использовали адаптеры системы, где один чат-бот задавал вопрос, а другой проверял ответ, иногда с многократным обменом данными.
Лучше всех выступила швейцарская команда её модель решила шесть из десяти задач. Для этого её разработчики использовали консультативный совет из трёх чат-ботов, которые улучшали ответы ChatGPT. На втором месте команда Калифорнийского университета, далее OpenAI и Принстон с системой на базе Gemini 3.1 Pro.
Три задачи не решила ни одна модель. По словам участников, нейросетям не хватало ключевой идеи, которую интуитивно находит человек. Иногда они верно выбирали подход, но не могли проработать детали.
Ещё одна проблема галлюцинации: ИИ выдавал неверные результаты и копировал фрагменты из статей без ссылок. Теперь задачи теста опубликованы, и другие компании смогут использовать их для проверки своих систем.