중국 산둥대와 미국 UC버클리 연구진은 AI 코딩 에이전트의 실행 환경인 하네스가 성능과 비용에 미치는 영향을 비교했다. 대상은 '클로드 코드', '오픈코드', '미니-SWE-에이전트' 3종이며, 오픈웨이트 모델 2종과 API 기반 모델 3종, 비교 기준용 클로드 오퍼스 5를 사용했다. 평가는 'SWE-벤치 베리파이드'의 오프라인 과제 492개로 진행됐고, 이 중 45개는 사람이 해결하는 데 1~4시간 이상 걸리는 어려운 문제로 따로 살폈다.
결과는 기능이 많은 하네스가 더 높은 정확도를 꾸준히 보인다는 근거를 주지 못했다. 하네스를 바꿨을 때 나타난 성능 차이 상당수는 같은 조건의 반복 실행에서도 비슷하게 나타나, 확률적 변동 범위로 해석됐다. 반면 비용 차이는 뚜렷했다. 하네스마다 입력 토큰 수가 2~3배까지 달랐고, 시스템 프롬프트와 도구 정의 같은 고정 문맥이 긴 경우 첫 호출부터 비용이 커졌다. 연구진은 복잡한 환경을 늘리기보다 지시문과 도구 정의를 줄이고, 실제 사용할 모델에서 반복 측정으로 효과가 확인된 기능만 남겨야 한다고 밝혔다.