사카나 AI는 논문 심사 AI의 평가 기준을 사람과의 유사성에서 실제 오류 탐지로 옮긴 연구를 공개했다. 연구진은 '모순 벤치마크'와 다층 검토 시스템 MLR(Multi-Layered Review)을 함께 제시했다. 벤치마크는 ACL, AISTATS, CVPR, ICML 2025와 NeurIPS 2024 논문 257편에 1164개의 논리적 모순을 의도적으로 넣어 만들었다. 이때 제미나이 2.5 프로로 핵심 주장과 근거, 방법, 실험 결과를 잇는 지식 그래프를 만들고, 핵심 주장과의 연결 정도에 따라 오류의 중요도를 나눴다.
MLR은 부록 분석, 선행 연구 검토, 최종 심사의 세 에이전트가 순차적으로 논문을 읽는 구조다. 부록 에이전트는 클로드 하이쿠 3.5, 검토와 심사 에이전트는 클로드 소네트 4를 사용했다. 심사 에이전트는 전체 구조 파악, 주장과 근거 대조, 최종 평가 작성의 세 단계로 본문을 검토한다. 평가 결과 핵심 주장 오류 탐지율은 4회 검토에서 73.43%, 1회 검토에서도 60.79%였다. 다만 수치는 인위적으로 삽입한 모순 기준이며, 실제 논문의 모든 자연 발생 오류 탐지율을 뜻하지는 않는다.