Каталог / google / google-agents-cli-eval
google-agents-cli-eval
google/agents-cli
12.6K
установок
#755
в рейтинге
Что делает
Оценивай ADK-агентов метриками, evalsets и итеративным eval-fix циклом.
- Запускай оценки через agents-cli eval run с настраиваемыми критериями (траектория инструментов, соответствие ответов, rubric-скоринг, детектирование галлюцинаций, safety-проверки) и типами совпадений (EXACT, IN_ORDER, ANY_ORDER).
- Страивай evalsets с многоходовыми диалогами, ожидаемыми траекториями инструментов, промежуточными ответами и переопределениями состояния сессии.
- Итерируй через 5-10+ eval-fix циклов: диагностируй ошибки, фиксь инструкции агента или логику инструментов, перезапускай и отслеживай прогресс.
- Избегай ловушек: не снижай пороги чтобы скрыть баги, обрабатывай лишние вызовы инструментов через IN_ORDER matching, проверяй совпадение имён приложений, инициализируй состояние callbacks чтобы избежать KeyError.
Установка
$ npx skills add google/agents-cli