ThinkingBox от Microsoft: Новый стандарт надежности AI-агентов через проверку состояния баз данных

Что такое ThinkingBox?

ThinkingBox — это открытый фреймворк и набор тестов (бенчмарк) от компании Microsoft, предназначенный для оценки автономных ИИ-агентов. В отличие от традиционных тестов, оценивающих текст ответа, ThinkingBox анализирует финальное состояние базы данных и побочные эффекты, которые агент оставляет после выполнения задачи.

Основными сущностями системы являются:

• Продукт: ThinkingBox (песочница для агентов) и ThinkingBox-Bench (датасет).
• Поставщик: Microsoft (команда Copilot Studio).
• Интеграция: Доступно через интерфейс OpenEnv на платформе Hugging Face.

Когда слова агента расходятся с делом

Представьте ситуацию: клиент обращается по поводу задержки дорогого товара. ИИ-агент совершает девять корректных вызовов инструментов: проверяет заказ, логистику, политику возврата и открывает тикет. В конце он пишет: «Ваш вопрос решен, могу ли я чем-то еще помочь?».

Проблема в том, что статус тикета в базе данных — «Решено» (Solved), хотя по регламенту он должен быть «На удержании» (Hold), так как курьерская служба еще не ответила. С точки зрения лингвистического оценщика — агент молодец. С точки зрения бизнеса — база данных «не согласна», и процесс нарушен.

ThinkingBox измеряет именно этот разрыв. В ходе тестов было обнаружено, что 67,24% попыток, которые выглядели успешными (без ошибок в инструментах), на самом деле содержали ошибки в полях базы данных или лишние побочные эффекты.

Надежность — это повторяемость (20 из 20)

Microsoft настаивает на новом критерии качества: Observed 20/20. Это означает, что агент должен выполнить одну и ту же задачу правильно 20 раз подряд из идентичного начального состояния. Если агент срабатывает 1 раз из 5 — он бесполезен для реального бизнеса.

Сравнение моделей: Pass@1 vs Observed 20/20

| Модель | Pass@1 (Успех с 1 попытки) | Observed 20/20 (Надежность) | | :--- | :--- | :--- | | Claude Opus 5.5 | 67.16% | 241 задача (47.5%) | | GPT-6 Astra | 58.31% | 231 задача (45.5%) | | Kimi-K3 (Open-weight) | 57.37% | 68 задач (13.4%) | | Grok-4.3 | 14.38% | Низкая консистентность |

Примечание о Grok и xAI: В тестах участвовала модель Grok-4.3 от компании xAI. Важно разделять потребительский продукт Grok и доступ через xAI API. В данном бенчмарке модели xAI показали высокую способность к решению задач «хотя бы один раз», но значительно уступали лидерам от Anthropic и OpenAI в плане стабильности и консистентности результатов при многократных повторениях.

Экономика надежности

Microsoft вводит понятие Cost per dependable task (Стоимость надежно выполненной задачи). Это общая стоимость 20 запусков, деленная на количество задач, которые модель прошла идеально все 20 раз.

• GPT-5.4: Самая низкая стоимость надежной задачи — $6.80.
• Claude Opus 5.5: Стоимость $7.80, но при этом самый высокий показатель стабильности.
• Kimi-K3: Несмотря на открытость, стоимость «надежности» возрастает до $20.68 из-за необходимости множественных перезапусков для достижения эталонного результата.

Как запустить ThinkingBox самостоятельно

ThinkingBox теперь доступен на Hugging Face через адаптер OpenEnv. Для запуска вам потребуется Python 3.11, Docker и доступ к API выбранных моделей.

Основные шаги:

1. Клонирование репозитория:

   git clone https://github.com/huggingface/OpenEnv
   uv sync --project envs/thinkingbox_env
   

2. Запуск серверов MCP (Model Context Protocol): Это обеспечивает изоляцию сессий инструментов.
3. Запуск Typesense: Для работы с данными.
4. Оценка: Используйте команду thinkingbox-eval для запуска тестов.

FAQ: Часто задаваемые вопросы

В: Почему 20 попыток, а не 5? О: Microsoft обнаружила, что многие модели показывают «ложную компетентность». Только при 20 повторениях проявляются скрытые ошибки в логике обработки инструментов и краевых случаях.

В: Какие основные причины сбоев агентов? О: Около 80% ошибок связаны с обработкой инструментов (tool usage) — неверные параметры, неумение восстановиться после ошибки API или игнорирование предусловий.

В: Является ли ThinkingBox бесплатным? О: Код фреймворка распространяется под лицензией MIT, а данные бенчмарка — CDLA-Permissive-2.0. Вы платите только за токены используемых вами API (OpenAI, Anthropic, xAI и др.).

Заключение

ThinkingBox переносит фокус оценки ИИ с «красноречия» на «исполнительность». Для бизнеса это означает, что выбор модели теперь должен основываться не на лидербордах по Pass@1, а на стоимости достижения 100% стабильности в конкретных рабочих процессах.