Hugging Face의 최고정책책임자 Irene Solaiman은 TechCrunch Disrupt 대담에서 AI 모델 벤치마킹이 업계에서 중요한 기준으로 쓰이지만, 평가 방법 자체는 아직 복잡하고 성숙 단계에 있다고 말했다. 현재 공개되는 시험 결과를 그대로 신뢰할 수 있는지에 대해 그는 결과 재현 가능성이 핵심이라고 짚었다. 같은 평가를 다시 수행해 비슷한 결과를 얻을 수 있어야 하고, 이를 위해서는 모델에 충분히 접근할 수 있어야 하는데 이 지점에서 공개 가중치가 큰 역할을 한다고 설명했다.
문제는 개별 평가의 타당성만이 아니다. 서로 다른 평가를 어떤 기준으로 비교할지도 아직 분명하지 않다는 점이 함께 제기됐다. 그는 평가 체계가 빠르게 효율을 잃을 수 있고, 이를 뒷받침할 생태계도 충분히 크지 않다고 말했다. 최근 AI 연구소들이 안전 문제 대응책으로 조직 내부에 중립적인 제3자 평가자를 두는 방안을 선호하고 있지만, 누가 어떤 과제를 평가할 자격이 있는지에 대한 표준화가 더 필요하다는 것이다. 즉, 평가자를 조직 안에 넣는 방식만으로는 신뢰성과 효과를 바로 확보하기 어렵다는 이야기다.