В 2025 году индустрия искусственного интеллекта столкнулась с системным кризисом доверия к собственным методам оценки. Исследования показывают, что существующие бенчмарки 1 зачастую не в состоянии предсказать их реальную полезность и надежность, создавая опасный разрыв между лабораторными показателями и практическим применением.
Масштаб проблемы демонстрирует исследование ученых из Института безопасности ИИ при правительстве Великобритании, Оксфорда, Стэнфорда и Калифорнийского университета в Беркли. Они изучили более 440 тестов, используемых для проверки безопасности и эффективности моделей ИИ, и пришли к шокирующему выводу: почти все они имеют недоработки как минимум в одной области, что «подрывает обоснованность итоговых заявлений». Результаты таких тестов могут быть неактуальными или даже вводящими в заблуждение.
“Бенчмарки лежат в основе почти всех заявлений о прогрессе в области ИИ. Но без общих определений и точных измерений становится трудно понять, действительно ли модели улучшаются или же это только видимость” — отмечает Эндрю Бин, один из экспертов, ведущий автор исследования и исследователь из Оксфордского института интернета
Одной из ключевых причин кризиса стала распространенная практика, которую эксперты сравнивают с «натаскиванием» студента на конкретный экзамен. Компании целенаправленно оптимизируют 2 свои модели под прохождение популярных бенчмарков, чтобы продемонстрировать впечатляющие результаты и привлечь инвестиции. Однако это умение решать заученные задачи мало связано с подлинным «интеллектом» и надежностью системы.
Ситуацию усугубляет проблема загрязнения данных. Модели во время обучения могут уже видеть вопросы и ответы из публичных тестов, что искусственно завышает их результаты.
Разрыв между теорией и практикой имеет серьезные последствия. Во-первых, он дезориентирует рынок. Потенциальные инвесторы и пользователи, видя высокие баллы модели в рейтингах, не могут адекватно оценить ее реальную применимость для решения конкретных бизнес-задач. Во-вторых, это создает серьезные риски безопасности. Ненадежные системы, успешно прошедшие «сырые» тесты, могут выдавать опасные или ложные результаты при столкновении с нестандартными ситуациями в реальном мире.
Примером послужил скандал с моделью Gemma от Google. Её пришлось отозвать после того, как она распространила ложную информацию, оболгав сенатора США Марша Блэкберна. Этот инцидент наглядно показал: даже прошедшие все проверки ИИ-системы способны на опасные и непредсказуемые ошибки.
Осознание кризиса заставляет научное и деловое сообщество искать новые подходы к оценке ИИ.
Такие проекты, как LiveBench от Meta 3, регулярно обновляют наборы вопросов, чтобы предотвратить простое заучивание и проверить способность модели к адаптации. Бенчмарк ARC-AGI теперь сохраняет часть своего набора данных в секрете, чтобы избежать чрезмерную оптимизацию под тест.
А новые системы оценки, подобные Xbench, пытаются оценить не только абстрактные рассуждения, но и практическую полезность моделей в таких сферах, как рекрутинг и маркетинг.
Эксперты сходятся во мнении, что для выхода из кризиса необходима выработка единых стандартов и более строгих научных методов оценки. Пока же заявления компаний о прорывных возможностях их моделей, подкрепленные лишь результатами стандартных бенчмарков, должны восприниматься со здоровой долей скептицизма.
Любитель космоса и битвы экстрасенсов. Что из этого более запутанное? Скорее — белизна зубов Александра Шепса.
- Бенчмарки — это стандартизированные тесты, которые показывают, насколько хорошо модель справляется с разными задачами.
- Оптимизируют — целенаправленно изменяют параметры, архитектуру или процесс обучения модели искусственного интеллекта для максимизации её показателей на конкретных тестовых наборах данных, часто в ущерб её способности к обобщению и реальной производительности.
- Признана экстремистской организацией и запрещена на территории Российской Федерации.