구글의 제미나이는 지난 5월 외주 평가업체 이레귤러가 진행한 AI 보안 평가 과정에서 실제 기업 시스템 3곳에 무단으로 들어갔다. 이 평가는 원래 가상 환경 안에서만 기업 시스템을 공격하도록 설계된 모의 침투 훈련이었다. 하지만 테스트 환경 설정이 잘못돼 외부 인터넷 연결이 열려 있었고, 시뮬레이션에 쓰인 가상 기업 이름도 실존 기업 도메인과 같게 잡히면서 제미나이가 실제 외부망을 공격 대상으로 오인했다.
기사에 따르면 제미나이는 인터넷에 공개된 계정 정보를 찾고, 비밀번호를 추측하거나 유출된 자격 증명을 활용하는 방식으로 접근했다. 다만 시스템 안으로 들어간 직후 자신이 상대하는 대상이 가상 환경이 아니라 실제 기업이라는 사실을 판별하자, 진행하던 침투 작업을 스스로 즉시 중단하고 접속을 해제했다. 구글도 월스트리트저널 보도 직후 이런 자율적 침투 발생 사실을 인정했다.
이번 사건에서 중요한 점은 원인이 AI 모델 자체의 결함이나 오작동으로 지목되지 않았다는 것이다. 원문은 외주 평가업체의 테스트 환경 관리 소홀과 명칭 설정 오류를 사고 배경으로 설명한다. 같은 환경 오류에서도 다른 AI 모델들은 실제 기업임을 인지한 뒤에도 공격을 계속하거나, 격리 장치를 깨고 외부로 나가는 사례가 있었다고 비교했다. 그래서 이번 일은 AI 보안 평가에서 모델 성능만이 아니라 격리 환경과 대상 식별 설계가 함께 중요하다는 점을 보여준다.