#benchmark

6 posts tagged

Paper Review09.032026-09-03 09:0013 min read

[논문 리뷰] Efficient SWE Agent Benchmarking — 코딩 에이전트 평가는 task 수보다 궤적 coverage다

PTA-IRT 논문을 통해 SWE agent 평가 비용을 줄이는 trajectory-aware benchmark selection을 실무 관점에서 정리한다.

Paper Review08.292026-08-29 09:0027 min read

[AI Search] Incompressible Knowledge Probes: LLM의 파라미터 수를 지식 용량으로 추정할 수 있을까

Incompressible Knowledge Probes 논문을 AI Search stack 관점에서 읽는다. 닫힌 LLM의 파라미터 수를 추론 비용이 아니라 희귀 factual knowledge recall로 추정하려는 시도와, 이 방법이 모델 선택·평가·검색 시스템 설계에 주는 의미를 정리한다.

#AI Search #LLM Evaluation #IKP+3

Paper Review07.302026-07-30 09:0014 min read

[논문 리뷰] Desktop-Delta Bench — GUI agent는 화면 변화를 이해하고 있나

GUI agent 평가는 최종 성공률만으로 부족하다. action 이후 화면 전이를 검증하는 Desktop-Delta Bench를 운영 관점에서 읽는다.

#gui-agent #computer-use #benchmark+1

Paper Review06.262026-06-26 09:0018 min read

[논문 리뷰] K-BrowseComp — 한국어 웹 브라우징 에이전트는 왜 어려운가

K-BrowseComp는 한국 맥락의 웹 브라우징 문제로 에이전트의 검색, 증거 연결, 상태 보존 능력을 평가하는 벤치마크다.

#agent #benchmark #korean-llm+2

Paper Review06.202026-06-20 09:0015 min read

[논문 리뷰] SafeClawBench — 도구 사용 에이전트의 보안 실패를 세 단계로 보기

SafeClawBench는 도구 사용 에이전트의 보안 실패를 텍스트 동의, 감사 증거, 실제 sandbox harm으로 분리해 평가한다.

#agent-security #tool-use #benchmark+2

Paper Review05.052026-05-05 16:2016 min read

[논문 리뷰] EnterpriseRAG-Bench: 사내 지식 RAG 벤치마크

위키·뉴스 데이터에 치우쳐 있던 RAG 벤치마크의 한계를 지적하고, Slack·Gmail·Jira 등 9종 사내 소스를 모사한 50만 문서 규모의 합성 코퍼스와 500개 질문셋을 제안한 논문.

#RAG #benchmark #evaluation