올해 봄, 미국의 한 무장 작전은 군용기가 이미 출격한 뒤에야 중단됐다. CNN 보도에 따르면, 중국 선박을 겨냥한 이 작전의 근거가 된 정보가 AI 챗봇의 환각 결과였기 때문이다. 당시 정보 보고서는 이란과의 전쟁 중 유통됐고, 해당 선박이 핵무기 프로그램용 부품을 운반하고 있다고 적고 있었다.
문제의 정보는 Special Operations Command 분석관이 오픈소스 데이터와 기밀 신호 정보를 함께 요약하려고 AI 챗봇을 사용하면서 시작됐다. 챗봇은 선박의 화물 목록을 잘못 식별했고, 분석관은 다시 같은 도구를 써서 이 잘못된 내용을 공식 문서처럼 보이는 요약본으로 정리했다. 이 문서는 이후 지휘 체계를 따라 여러 command channels로 퍼졌다.
이 사례는 미군이 의사결정 속도를 높이고 중국에 대한 우위를 유지하려는 목적으로 AI 도입을 서두르는 흐름과 맞물려 있다. Pentagon은 AI가 kill chain의 속도를 높여 지휘관이 제때 대응하게 해준다고 설명해 왔다. 하지만 이번 일은 그 속도가 충분한 인간 검토 없이 오류까지 빠르게 전달할 수 있다는 점을 보여준다.
GovAI의 Jake Steckler는 대형언어모델에는 본질적인 불확실성이 있으며, 특히 무력 사용으로 이어질 수 있는 표적 선정, 정보 분석, 작전 계획에서는 그 점을 이해하는 일이 중요하다고 말했다. 그는 이번 사건이 AI를 포기할 이유라기보다 더 많은 안전장치를 추가해야 한다는 신호라고 설명했다. 기억할 점은 단순하다. AI의 속도는 장점이지만, 군사 판단처럼 결과가 큰 영역에서는 검증 절차가 함께 있어야 한다는 것이다.