ICTS, 타타 기초과학연구소, 펜실베이니아대학교, 구글 딥마인드 등 연구진 35명은 9일 아카이브에 이론물리 평가 벤치마크 ‘TheoPhysEval’과 결과를 공개했다. 이 시험은 AI 에이전트가 실제 연구에 가까운 문제를 얼마나 스스로 해결하는지 보기 위해 만들어졌다. 검색과 코드 실행 도구를 붙인 뒤, 고전물리학부터 양자장론, 입자물리학, 중력·우주론까지 11개 분야 문제를 제시했다. 일부 문제는 기존 논문의 조건을 바꿔 새 계산을 해야 해, 단순 검색만으로는 풀 수 없도록 구성됐다.

웹 검색과 코드 실행이 허용된 조건에서 GPT-6 아스트라는 50문제 중 49개를 맞혔고, 비용은 총 116.28달러였다. 인터넷을 차단한 조건에서도 46개를 해결했다. 채점 과정에서는 더 눈에 띄는 일이 있었다. 오답으로 분류된 답을 다시 확인하는 과정에서 전문가 기준 답안의 계산 오류가 발견됐고, 수정 뒤 최종 정답률은 98%가 됐다. 연구진은 이 결과가 AI가 이론물리 연구에 필요한 구체적 계산을 높은 정확도로 수행할 수 있음을 보여준다고 설명했다. 다만 평가는 문제당 한 차례만 진행됐고, 문제나 정답의 사전 노출 가능성은 완전히 배제하지 않았다고 밝혔다.