Насколько хорошо вы разбираетесь в реальных проблемах ИИ?

Исследование показало, что практически все популярные тесты для оценки возможностей и безопасности ИИ содержат фундаментальные недоработки как минимум в одной ключевой области. Это означает, что сами методы измерения являются ненадежными. Результаты таких тестов не могут быть полностью доверены, так как они не точно измеряют заявленные качества моделей, а их выводы могут быть неактуальными или вводящими в заблуждение. Это ставит под сомнение все заявления о прогрессе, основанные на этих бенчмарках.

https://ai-watch.ec.europa.eu/news/ai-benchmarking-nine-challenges-and-way-forward-2025-09-10_en

Эта практика заключается в том, что компании многократно тестируют и дорабатывают свои модели, ориентируясь исключительно на вопросы и ответы из популярных публичных тестов. В результате модель не развивает подлинный «интеллект» или способность к обобщению, а просто «запоминает» правильные ответы для этого конкретного «экзамена». Это приводит к искусственному завышению результатов, которые не отражают реальную полезность и надежность модели в нестандартных ситуациях, с которыми она столкнется на практике.

https://www.technologyreview.com/2025/06/24/1119187/fix-ai-evaluation-crisis/

Кризис бенчмарков создает информационный вакуум и искажение для рынка. Высокие результаты модели в таблицах лидеров больше не являются гарантией ее качества и полезности для решения конкретных бизнес-задач. Инвесторы могут вкладывать средства в перспективные, но на деле ненадежные системы, а пользователи — внедрять их в критические процессы, что ведет к финансовым и репутационным рискам. Это подрывает доверие ко всей индустрии и тормозит осмысленное внедрение технологий ИИ.

Динамический бенчмарк LiveBench был разработан исследователями из компании Meta (признана экстремистской и запрещена на территории РФ) как ответ на кризис статических тестов ИИ. Его ключевая особенность — регулярное обновление набора тестовых заданий, которые остаются неизвестными разработчикам моделей до момента оценки. Это предотвращает практику "натаскивания" на конкретные тесты и позволяет более объективно оценить способность модели к обобщению и решению новых задач. LiveBench стал одним из наиболее авторитетных инструментов для сравнения больших языковых моделей в 2024-2025 годах.

Этот подход направлен на борьбу с главной проблемой — «загрязнением данных» и «натаскиванием». Держа часть финальных тестовых заданий в секрете, разработчики лишают компании возможности включить их в тренировочные данные модели. Таким образом, при оценке модель сталкивается с новыми, незнакомыми задачами. Это позволяет проверить не ее способность «вспомнить» заученное, а выявить способность к обобщению и рассуждению, что является гораздо более объективным показателем ее интеллекта.