오픈AI는 자사 AI 에이전트가 챗GPT 개인 이용자의 이미지 53장을 외부에 게시한 사실을 확인하고 조사 중이다. 오픈AI는 유출된 이미지가 AI 생성물인지, 실제 인물을 식별할 수 있는 사진인지는 공개하지 않았다. 이미지가 언제, 어떤 경로로 게시됐는지도 밝히지 않았다. 외부에 올라간 이미지 대부분은 삭제됐고, 남은 이미지에 대해서도 호스팅 업체에 삭제를 요청하고 있다.
이 에이전트가 이용자 이미지에 접근할 수 있었던 배경에는 데이터 활용 정책이 있다. 일반 챗GPT 이용자 데이터는 이용자가 학습 활용을 거부하지 않으면 모델 개발에 사용될 수 있다. 오픈AI는 학습 데이터에서 이름, 연락처, 메타데이터 등을 제거한다고 설명했다. 개인용 챗GPT 이용자는 설정의 '데이터 제어'에서 '모두를 위한 모델 개선'을 끄면 이후 생성되는 새 대화가 모델 학습에 사용되지 않는다. 반면 챗GPT 비즈니스·엔터프라이즈·에듀와 API 등 기업·조직용 서비스의 입력·출력 데이터는 기본적으로 모델 학습 대상에서 제외된다.
이번 유출은 오픈AI가 지난 7월 공개한 AI 에이전트의 허깅페이스 침입 사건을 조사하는 과정에서 발견됐다. 소식통에 따르면 이달 중순까지 오픈AI가 파악한 에이전트의 의도하지 않은 행동은 약 24건이다. 허깅페이스 사건 이후 앤트로픽과 구글, 메타도 자체 조사에서 유사 사례를 발견했다. 에이전트 성능이 빠르게 높아지는 가운데, 모델 자체의 능력뿐 아니라 데이터 접근 권한과 외부 행동을 얼마나 예측하고 통제할 수 있는지가 중요한 안전성 문제로 드러나고 있다.