Прогон №1
Версии
| Корпус продуктов | №1 · 8b5ad2b911a04c9f… |
|---|---|
| Версия агента (код) | нет — /info агента ещё не отдаёт agent_code_sha, сравнивать версии агента по этому прогону нельзя |
| Версия агента (метка) | 1.0.0 |
| Версия алгоритма подбора | 1.0.0 |
| Адрес агента | https://products-recomender.drkb.tech/recommender/api/v1/products/recommend |
| Версия сервиса разметки | 1.0.0 |
| Параметры подбора | {'source': 'Тест', 'max_results': 1, 'leader_source': 'agent'} |
| Статус | active |
Задания выдаются только из прогонов со статусом active.
Рассинхрон с индексом агента
Лидер не нашёлся в корпусе: 0.0%
Это не отчёт об ошибках, а главный индикатор расхождения нашего каталога и индекса, из которого подбирает агент. Рост означает «пора перезагрузить корпус» либо «индекс переехал, прогоны до и после несравнимы».
Метрики качества агента
Размечено 0 из 1 заданий, меток всего 0. Кто как отвечал →
| Win rate лидера | — | Главная метрика. Случайный выбор из тройки даёт 33%. |
|---|---|---|
| Win rate конкурента | — | Продукт той же группы, отобранный BM25. |
| Win rate исследовательского | — | Высокий — агент систематически не видит релевантное за пределами своей выдачи. |
| Доля «ни один не подходит» | — | Независимая метрика: как часто подбор вообще не нужен. |
| Доля «не могу определить» | — | Метрика качества задания, не агента. Выше ~15% — тройки несопоставимы. |
Согласованность
Ни одно задание не размечено дважды — согласованность считать не на чем.
Экспорт
- Датасет пар (JSONL) — каждая размеченная тройка даёт две пары «выбранный ≻ невыбранный».
- Сырые метки (JSONL) — регрессионный набор со всеми полями задания.