CNN에 따르면, 올봄 이란과의 전쟁이 한창이던 시기 중동에 있던 중국 선박이 핵무기 개발 프로그램 부품을 운반 중이라는 정보 보고서가 미군 지휘부 전반에 배포됐다. 미군은 이를 근거로 즉시 작전에 착수했고, 무장 병력의 승선 준비와 군용기 출격까지 진행됐다. 하지만 작전 개시 직전 보고서를 다시 검토하는 과정에서 치명적인 오류가 확인되면서 작전은 철회됐다.
문제의 보고서는 하와이 본부의 태평양특수작전사령부(SOCPAC) 분석관이 AI를 활용해 작성한 것이었다. AI가 선박의 화물 목록을 잘못 분석해 환각을 일으켰고, 공개 출처 정보(OSINT)와 정부 내 비밀 신호정보(SIGINT)를 결합하는 과정에서도 잘못된 결론을 냈다. 분석관은 이 결과를 AI로 표준 보고서 양식에 담아 군 내부에 유포한 것으로 전해졌다.
이번 일은 미국 국방부와 정보기관이 정보 분석, 표적 선정, 물류 관리 등 여러 업무에 AI 도입을 빠르게 확대하는 가운데 나왔다. 기사에 따르면 정부 부처마다 서로 다른 AI 도구를 쓰고 있고, 통일된 정보 검증 기준도 부족하다는 지적이 있다. 특히 표적 선정 같은 민감한 업무에서 인간 개입 장치가 미비하면, AI의 오류가 실제 군사 행동으로 이어질 수 있다는 점이 이번 사건에서 드러났다.