Detailed Summary (EN)
Read-like-fullpaper digest
This paper tackles Agent benchmarks, however, introduce a source of shift that static evaluations lack: performance depends not only on the underlying model but also on the scaffold, the harness governing tool use, memory, retry logic, and execution flow. Together, these results support a practical conclusion: routine leaderboard evaluation can default to reduced task suites, with full-benchmark runs reserved for initialization, drift monitoring, and major capability transitions. The reduction problem is also more stringent: agent benchmarks typically contain dozens to hundreds of tasks rather than thousands, and each task requires a full agent loop rather than a single prompt–response pass.
The empirical case is built around This paper studies whether the number of benchmark tasks can be significantly reduced while preserving the signal that agent leaderboards actually consume: rankings. Across eight benchmarks, 33 agent scaffolds, and 70+ model configurations, we find that absolute score prediction degrades under this shift, while rank-order prediction remains stable. This paper studies whether the number of benchmark tasks can be significantly reduced while preserving the signal that agent leaderboards actually consume: rankings. Agent benchmarks, however, introduce a source of shift that static evaluations lack: performance depends not only on the underlying model but also on the scaffold, the harness governing tool use, memory, retry logic, and execution flow.
The central reported finding is Across eight benchmarks, 33 agent scaffolds, and 70+ model configurations, we find that absolute score prediction degrades under this shift, while rank-order prediction remains stable. This paper studies whether the number of benchmark tasks can be significantly reduced while preserving the signal that agent leaderboards actually consume: rankings. Agent benchmarks, however, introduce a source of shift that static evaluations lack: performance depends not only on the underlying model but also on the scaffold, the harness governing tool use, memory, retry logic, and execution flow. The reduction problem is also more stringent: agent benchmarks typically contain dozens to hundreds of tasks rather than thousands, and each task requires a full agent loop rather than a single prompt–response pass.
Overall, the paper is most convincing where its proposed method is directly supported by the reported comparisons, but the scope of the claim should still be read in light of the evaluation setup and stated limitations.
Final takeaway
- Main takeaway: Across eight benchmarks, 33 agent scaffolds, and 70+ model configurations, we find that absolute score prediction degrades under this shift, while rank-order prediction remains stable.
- Most important supporting result: This paper studies whether the number of benchmark tasks can be significantly reduced while preserving the signal that agent leaderboards actually consume: rankings.
Problem definition
- Agent benchmarks, however, introduce a source of shift that static evaluations lack: performance depends not only on the underlying model but also on the scaffold, the harness governing tool use, memory, retry logic, and execution flow.
- Together, these results support a practical conclusion: routine leaderboard evaluation can default to reduced task suites, with full-benchmark runs reserved for initialization, drift monitoring, and major capability transitions.
- The reduction problem is also more stringent: agent benchmarks typically contain dozens to hundreds of tasks rather than thousands, and each task requires a full agent loop rather than a single prompt–response pass.
- We evaluate MR against greedy, random, stratified, and extreme-difficulty baselines under five protocols of increasing distributional shift, using proper nested cross-validation throughout.
Core idea & method
Actual findings
- Across eight benchmarks, 33 agent scaffolds, and 70+ model configurations, we find that absolute score prediction degrades under this shift, while rank-order prediction remains stable.
- This paper studies whether the number of benchmark tasks can be significantly reduced while preserving the signal that agent leaderboards actually consume: rankings.
How the conclusion was reached
- Step 2 — Evaluation setup or comparison basis: This paper studies whether the number of benchmark tasks can be significantly reduced while preserving the signal that agent leaderboards actually consume: rankings.
- Step 3 — Main reported evidence: Across eight benchmarks, 33 agent scaffolds, and 70+ model configurations, we find that absolute score prediction degrades under this shift, while rank-order prediction remains stable.
- Step 4 — Additional supporting or qualifying result: This paper studies whether the number of benchmark tasks can be significantly reduced while preserving the signal that agent leaderboards actually consume: rankings.
Experimental setup & results
- Across eight benchmarks, 33 agent scaffolds, and 70+ model configurations, we find that absolute score prediction degrades under this shift, while rank-order prediction remains stable.
- This paper studies whether the number of benchmark tasks can be significantly reduced while preserving the signal that agent leaderboards actually consume: rankings.
- Agent benchmarks, however, introduce a source of shift that static evaluations lack: performance depends not only on the underlying model but also on the scaffold, the harness governing tool use, memory, retry logic, and execution flow.
- The reduction problem is also more stringent: agent benchmarks typically contain dozens to hundreds of tasks rather than thousands, and each task requires a full agent loop rather than a single prompt–response pass.
- This mid-range difficulty filter, motivated by Item Response Theory, reduces the number of evaluation tasks by 44–70% while maintaining high rank fidelity under scaffold and temporal shifts.
- Unlike static language model benchmarks, agent evaluation is subject to scaffold-driven distribution shift, since performance depends on the framework wrapping the underlying model.
Limitations & risks
상세 요약 (KO)
전체 논문 읽은 느낌 요약
그러나 이 백서에서는 에이전트 벤치마크를 다루지만 정적 평가에는 부족한 변화의 원인을 소개합니다. 성능은 기본 모델뿐만 아니라 스캐폴드, 하네스 관리 도구 사용, 메모리, 재시도 로직 및 실행 흐름에 따라 달라집니다. 이러한 결과는 실용적인 결론을 뒷받침합니다. 일상적인 리더보드 평가는 기본적으로 초기화, 드리프트 모니터링 및 주요 기능 전환을 위해 예약된 전체 벤치마크 실행을 사용하여 축소된 작업 제품군으로 이루어질 수 있습니다. 감소 문제도 더욱 엄격합니다. 에이전트 벤치마크에는 일반적으로 수천 개가 아닌 수십에서 수백 개의 작업이 포함되며, 각 작업에는 단일 프롬프트-응답 단계가 아닌 전체 에이전트 루프가 필요합니다. 경험적 사례는 이 문서에서 상담원 리더보드가 실제로 소비하는 신호인 순위를 유지하면서 벤치마크 작업 수를 크게 줄일 수 있는지 여부를 연구합니다. 8개의 벤치마크, 33개의 에이전트 비계 및 70개 이상의 모델 구성에서 절대 점수 예측은 이러한 변화로 인해 저하되는 반면 순위 순서 예측은 안정적으로 유지되는 것으로 나타났습니다. 이 문서에서는 에이전트 순위표가 실제로 소비하는 신호인 순위를 유지하면서 벤치마크 작업 수를 크게 줄일 수 있는지 여부를 연구합니다. 그러나 에이전트 벤치마크는 정적 평가에서 부족한 변화의 원인을 소개합니다. 성능은 기본 모델뿐만 아니라 스캐폴드, 도구 사용을 관리하는 하네스, 메모리, 재시도 논리 및 실행 흐름에 따라 달라집니다. 보고된 핵심 결과는 다음과 같습니다. 8개 벤치마크, 33개 에이전트 비계 및 70개 이상의 모델 구성에서 절대 점수 예측은 이러한 변화에 따라 저하되는 반면 순위 순서 예측은 안정적으로 유지되는 것으로 나타났습니다. 이 문서에서는 에이전트 순위표가 실제로 소비하는 신호인 순위를 유지하면서 벤치마크 작업 수를 크게 줄일 수 있는지 여부를 연구합니다. 그러나 에이전트 벤치마크는 정적 평가에서 부족한 변화의 원인을 소개합니다. 성능은 기본 모델뿐만 아니라 스캐폴드, 도구 사용을 관리하는 하네스, 메모리, 재시도 논리 및 실행 흐름에 따라 달라집니다. 감소 문제도 더욱 엄격합니다. 에이전트 벤치마크에는 일반적으로 수천 개가 아닌 수십에서 수백 개의 작업이 포함되며, 각 작업에는 단일 프롬프트-응답 단계가 아닌 전체 에이전트 루프가 필요합니다. 전반적으로, 이 논문은 제안된 방법이 보고된 비교에 의해 직접적으로 뒷받침된다는 점에서 가장 설득력이 있지만, 청구 범위는 평가 설정 및 명시된 제한 사항을 고려하여 읽어야 합니다.
핵심 결론
- 주요 시사점: 8개 벤치마크, 33개 에이전트 스캐폴드, 70개 이상의 모델 구성에서 절대 점수 예측은 이러한 변화로 인해 저하되는 반면 순위 순서 예측은 안정적으로 유지된다는 사실을 발견했습니다.
- 가장 중요한 지원 결과: 이 문서에서는 에이전트 순위표가 실제로 소비하는 신호인 순위를 유지하면서 벤치마크 작업 수를 크게 줄일 수 있는지 여부를 연구합니다.
문제 정의
- 그러나 에이전트 벤치마크는 정적 평가에서 부족한 변화의 원인을 소개합니다. 성능은 기본 모델뿐만 아니라 스캐폴드, 도구 사용을 관리하는 하네스, 메모리, 재시도 논리 및 실행 흐름에 따라 달라집니다.
- 이러한 결과는 실용적인 결론을 뒷받침합니다. 일상적인 리더보드 평가는 기본적으로 초기화, 드리프트 모니터링 및 주요 기능 전환을 위해 예약된 전체 벤치마크 실행을 사용하여 축소된 작업 제품군으로 이루어질 수 있습니다.
- 감소 문제도 더욱 엄격합니다. 에이전트 벤치마크에는 일반적으로 수천 개가 아닌 수십에서 수백 개의 작업이 포함되며, 각 작업에는 단일 프롬프트-응답 단계가 아닌 전체 에이전트 루프가 필요합니다.
- 우리는 전체적으로 적절한 중첩 교차 검증을 사용하여 분포 이동을 증가시키는 5가지 프로토콜에 따라 탐욕, 무작위, 계층화 및 극한 난이도 기준에 대해 MR을 평가합니다.
핵심 아이디어/방법
실제 결과
- 8개의 벤치마크, 33개의 에이전트 비계 및 70개 이상의 모델 구성에서 절대 점수 예측은 이러한 변화로 인해 저하되는 반면 순위 순서 예측은 안정적으로 유지되는 것으로 나타났습니다.
- 이 문서에서는 에이전트 순위표가 실제로 소비하는 신호인 순위를 유지하면서 벤치마크 작업 수를 크게 줄일 수 있는지 여부를 연구합니다.
결론이 나온 과정
- 2단계 - 평가 설정 또는 비교 기준: 이 문서에서는 에이전트 순위표가 실제로 소비하는 신호인 순위를 유지하면서 벤치마크 작업 수를 크게 줄일 수 있는지 여부를 연구합니다.
- 3단계 — 보고된 주요 증거: 8개의 벤치마크, 33개의 에이전트 비계 및 70개 이상의 모델 구성에서 절대 점수 예측은 이러한 변화로 인해 저하되는 반면 순위 순서 예측은 안정적으로 유지되는 것으로 나타났습니다.
- 4단계 - 추가 지원 또는 적격 결과: 이 문서에서는 에이전트 리더보드가 실제로 소비하는 신호인 순위를 유지하면서 벤치마크 작업 수를 크게 줄일 수 있는지 여부를 연구합니다.
실험 설정/결과
- 8개의 벤치마크, 33개의 에이전트 비계 및 70개 이상의 모델 구성에서 절대 점수 예측은 이러한 변화로 인해 저하되는 반면 순위 순서 예측은 안정적으로 유지되는 것으로 나타났습니다.
- 이 문서에서는 에이전트 순위표가 실제로 소비하는 신호인 순위를 유지하면서 벤치마크 작업 수를 크게 줄일 수 있는지 여부를 연구합니다.
- 그러나 에이전트 벤치마크는 정적 평가에서 부족한 변화의 원인을 소개합니다. 성능은 기본 모델뿐만 아니라 스캐폴드, 도구 사용을 관리하는 하네스, 메모리, 재시도 논리 및 실행 흐름에 따라 달라집니다.
- 감소 문제도 더욱 엄격합니다. 에이전트 벤치마크에는 일반적으로 수천 개가 아닌 수십에서 수백 개의 작업이 포함되며, 각 작업에는 단일 프롬프트-응답 단계가 아닌 전체 에이전트 루프가 필요합니다.
- 항목 반응 이론에 기반을 둔 이 중간 범위 난이도 필터는 비계 및 시간적 변화 하에서 높은 순위 충실도를 유지하면서 평가 작업 수를 44~70% 줄입니다.
- 정적 언어 모델 벤치마크와 달리 에이전트 평가는 기본 모델을 래핑하는 프레임워크에 따라 성능이 달라지기 때문에 스캐폴드 기반 배포 변화가 적용됩니다.
한계/리스크