미국 예일대학교 연구진은 챗GPT와 클로드 같은 대규모 언어모델이 내부에서 정보를 어떻게 표현하는지 분석해, 신경망의 벡터 표현이 인간의 상징적 사고를 이루는 구조와 수학적으로 동등한 형태로 근사될 수 있다고 밝혔다. 연구에는 마이크로소프트, 뉴욕대학교, 마이크로소프트 리서치 소속 연구자들도 참여했으며, 결과는 사전 공개 논문으로 발표됐다. 핵심 질문은 기호를 직접 다루지 않는 모델이 문법, 수학, 논리를 어떻게 처리하느냐는 점이었다.
연구진은 텐서 곱 표현(TPR)으로 벡터를 분석했다. 이 방법은 정보를 내용과 그 내용이 맡는 역할로 나눠 표현한다. 문장에서는 단어와 주어·목적어·동사 같은 기능을, 수학에서는 숫자와 분자·분모 같은 위치를 분리해 다룬다. 연구진은 여러 신경망과 대규모 언어모델 7종을 살펴본 결과, 벡터가 무작위 숫자 묶음이 아니라 내용과 역할을 구분하는 구조를 형성한다고 설명했다. 또 기존 표현 생성 과정을 이런 근사 표현으로 바꿔도 모델의 행동이 대체로 유지돼, 언어·산술·논리·코딩 같은 과제를 푸는 내부 단서를 보여줬다.