얀 르쿤 뉴욕대학교 교수와 랜들 베일스트리에로 브라운대학교 교수는 29일 arXiv에 JEPA를 이용해 ‘플라톤적 표상 가설’을 설명하는 논문을 공개했다. 이 가설은 서로 다른 데이터를 학습한 AI라도 규모가 커질수록 현실의 대상을 비슷한 관계로 정리한다는 내용이다. 연구진은 왜 이런 현상이 나타나는지에 주목했고, 특정한 수학적 조건에서는 독립적으로 학습한 JEPA 모델들이 같은 내부 표현을 만들 수 있음을 보였다. 좌표계가 달라도 회전으로 맞출 수 있는 수준의 유사성이라는 설명이다.
핵심은 AI에 어떤 자료를 서로 관련된 관찰로 묶어 주느냐였다. JEPA는 데이터를 그대로 복원하는 대신, 관련된 자료가 공유하는 특징을 학습한다. 연구진은 같은 장면을 다르게 설명한 문장에서 공통 요소를 배우게 하는 ‘좋은 관찰’ 방식을 사용했고, 일부를 잘라내 공통 특징에 더 집중하도록 했다. 반대로 이런 연결이 부족하면 데이터 표현 방식이나 불필요한 세부까지 함께 배우기 쉬웠다. 실험에서는 이 방식이 다음 토큰 예측보다 표현 유사성을 더 효율적으로 만들었고, 같은 수준에 도달하는 데 학습 샘플이 42배 적게 들었다.