앤트로픽은 2024년 10월 클로드 3.5 소넷에 ‘Computer Use’를 공개하며, AI가 컴퓨터 화면을 보고 커서를 움직이고 버튼을 누르며 가상 키보드로 문자를 입력할 수 있다고 설명했다. 기사에서 함께 다룬 미국 특허 제12585862호는 이런 방식의 배경을 보여준다. 특허 명칭은 멀티모달 소프트웨어 사용을 자동화하기 위한 AI 에이전트 학습 데이터이며, 2026년 3월 24일 등록됐다. 서지사항상 출원인은 Anthropic, PBC로 기재돼 있지만, 명세서에는 어뎁트의 멀티모달 에이전트 기술과 워크플로우가 폭넓게 설명되고 현재 권리자 항목에는 Adept AI Labs, Inc.가 표시된다고 기사 는 전했다.
이 특허의 초점은 AI에게 컴퓨터 사용법을 어떻게 가르칠지에 있다. 기존 RPA가 정해진 위치와 순서에 의존했다면, 여기서는 화면을 보고 현재 상태를 이해한 뒤 다음 행동을 정하는 능력이 필요하다고 본다. 이를 위해 텍스트만이 아니라 이미지가 섞인 문서, 이미지 속 글자, 사람이 소프트웨어를 사용하는 영상, PDF, 일반 웹페이지와 업무용 웹페이지 화면 이미지, 그리고 에이전트가 실제 자동화 작업을 수행하며 남긴 이력까지 학습에 활용한다고 설명한다. 중요한 점은 컴퓨터 사용을 텍스트 처리 문제가 아니라, 화면 인식과 언어 이해, 행동 선택이 함께 돌아가는 멀티모달 작업으로 본다는 데 있다.