MIT CSAIL과 MIT-IBM 컴퓨팅 연구소 연구진은 AI 모델이 결과를 글로 요약해 전달하는 대신, 내부 계산 정보인 KV 캐시를 직접 변환해 다른 모델에 넘기는 기술 ‘스웜 텔레파시(SwaT)’를 발표했다. 기존 멀티 에이전트 방식은 한 모델이 텍스트를 만들고, 다른 모델이 그 글을 다시 읽어 맥락을 파악해야 해 정보 손실과 추가 연산이 생긴다. SwaT는 송신 모델의 KV 캐시를 수신 모델의 잠재 공간에 맞게 바꾸는 변환기만 학습하고, 두 모델 자체는 고정한 채 사용한다.
연구진은 어텐션 매칭과 결합해 여러 대화·독해 벤치마크와 모델 조합에서 성능을 시험했다. 그 결과 텍스트 요약 전달 방식보다 평균 정확도는 40% 높았고, 전체 처리 시간은 평균 4배 짧았다. 메타의 라마, 알리바바의 큐원, 구글의 젬마, IBM의 그래나이트, 미니스트랄, 스몰LM 등 서로 다른 계열 사이에서도 동작했고, 이미지 이해 모델의 내부 상태를 텍스트 전용 모델로 넘겨 응답 정확도를 높이는 실험도 진행됐다. 다만 모델 조합마다 별도 변환기를 학습해야 하는 점은 한계로 남아 있다.