• 연구진은 논문 ‘빈 선반인가, 잃어버린 열쇠인가’에서 최신 LLM이 테스트 사실의 95~98%를 파라미터에 저장하고 있다고 분석했다.
  • 하지만 별도 추론 과정 없이는 저장된 사실의 25~33%를 직접 회상하지 못하는 ‘잃어버린 열쇠’ 현상이 나타났다고 밝혔다.
  • 2150개의 위키피디아 사실로 ‘위키프로파일’ 벤치마크를 만들고, 13개 LLM의 450만건 응답을 분석해 지식 인출 문제를 평가했다.