ETRI와 GIST는 로봇이 주변을 보고, 과거에 확인한 정보를 기억에서 다시 찾아 검증한 뒤 행동을 정하는 AI 에이전트 '씬쿼리플래너(SceneQueryPlanner)'를 개발했다. 최근 로봇은 대형언어모델로 자연어 지시를 이해하고 여러 단계를 계획할 수 있지만, 실제 환경에서는 물체의 재질이나 상태, 주변과의 관계까지 알아야 작업이 정확해진다. 연구진은 기존 방식이 부족한 관측 정보에 기대 추측하거나, 반대로 너무 많은 정보를 함께 처리해 추론이 흔들리는 한계가 있다고 설명했다.
이 기술은 로봇이 본 환경을 3차원 장면 그래프로 저장하는 점이 핵심이다. 방, 가구, 물체의 위치와 속성, 문이 열렸는지나 전원이 켜졌는지 같은 상태를 구조화된 기억으로 남기고, 작업 중에는 필요한 정보만 골라 검색하거나 추가 관측을 수행한다. 연구진은 이를 기억과 환경을 함께 근거로 삼는 이중 그라운딩으로 설명했다. 저장된 정보를 한꺼번에 언어모델에 넘기지 않아 불필요한 내용 개입을 줄였고, 그 결과 기존 방식보다 복합작업 성공률을 최대 24%포인트 높였다.