구글 딥마인드와 스탠퍼드대학교 공동 연구진은 arXiv에 시각언어모델이 단순한 색상과 도형에 어떻게 반응하는지 다룬 논문을 공개했다. 연구진은 '클로드 오퍼스 4.7' 'GPT-5.4' '제미나이 3.1 프로'에 트리 구조를 순서대로 탐색하는 코딩 문제를 주고, 이미지와 함께 볼 때 재귀와 반복 중 어떤 방식을 택하는지 비교했다. 이미지가 없을 때 클로드 오퍼스 4.7과 GPT-5.4는 모두 반복 코드를 만들었지만, 빨간 하트가 추가되면 두 모델 모두 100% 재귀를 선택했다. 제미나이 3.1 프로도 특정 기호에서 재귀 선택률이 크게 높아졌다.
연구진은 도형 24종과 색상 12종을 조합한 288개 기호를 시험했고, 어떤 기호가 영향을 주는지는 모델마다 달랐다고 설명했다. 반면 이미지를 문장으로 설명한 경우, 무작위 노이즈, 일반 동물 사진은 비슷한 효과를 거의 내지 못했다. 또 모델의 설명과 실제 행동도 자주 어긋났다. 영향을 받고도 관련 없다고 판단하거나, 반대로 영향이 없는데도 기호가 작용했다고 설명한 사례가 나왔다. 이런 현상은 글쓰기와 계절 선택 실험에서도 나타나, 시각 기호가 모델 내부 판단을 바꾸지만 그 근거는 투명하게 드러나지 않을 수 있음을 보여준다.