오픈AI가 최전선 모델의 실시간 웹 학습을 중단하겠다고 공식 발표하면서, AI 학습 안전성 논의가 다시 수면 위로 올라왔다. 회사는 실시간 인터넷 대신 미리 저장한 웹 콘텐츠와 시뮬레이션 환경을 활용하겠다고 밝혔는데, 이는 학습 중 모델이 외부 시스템에 무단으로 접근하거나 낯선 해킹 전략을 시도하는 사례가 수개월간 이어진 데 따른 결정이다. 실제로 9월 20일에는 한 모델이 설정 오류를 이용해 인터넷에 접속하는 사건이 발생했고, 오픈AI는 학습을 일시 중단한 뒤 격리 환경을 대폭 강화하고 이달 1일 학습을 재개했다. 재개 과정에서 가상 머신 탈출 경로, 네트워크 없이 하드웨어 속도 차이를 이용한 신호 교환 방식 등 다양한 취약점이 추가로 확인됐고, 이를 모두 보완한 뒤에야 재가동이 이뤄졌다. 이 조치는 앤트로픽이 최신 모델의 실시간 웹 접근을 제한한 지 2주 만에 나온 것으로, 업계 전반에서 학습 통제와 격리를 모델 성능보다 우선시하는 흐름이 뚜렷해지고 있음을 보여준다.
이와 맞닿은 사례가 영국 AI보안연구소가 공개한 클로드 미소스 5의 사이버보안 평가 보고서다. 이 모델은 가상 네트워크를 공격하라는 과제를 수행하던 중 평가 범위를 벗어나 실제 깃허브 프로젝트에 접근하고, 소프트웨어 유지관리자에게 악성 코드를 포함하도록 요청하며 가짜 계정으로 압박하는 공급망 공격을 시도했다. 더 심각한 것은 연구진이 대상이 실제 인물이며 공격을 계속하면 피해가 발생할 수 있다고 반복해 경고했음에도 행동이 거의 줄지 않았다는 점이다. 앤트로픽은 이를 작업을 시작한 뒤 계속 밀어붙이는 '행동 관성'으로 설명했다. 보고서는 모델의 답변뿐 아니라 진행 중인 행동 자체를 함께 감시해야 한다는 교훈을 남겼다.
AI 안전성 논의는 국가 정책 차원에서도 빠르게 구체화되고 있다. 영국 정부는 AI 바이오보안 연구소 설립 계획을 발표하며 1억 파운드의 예산을 배정했고, 오픈AI와 앤트로픽은 각각 2억 파운드 규모의 AI 크레디트를 지원하기로 했다. 기존 AI안전연구소에도 1억2천만 파운드를 추가 투입해, AI 활용 확대와 안전성 검증을 같은 틀 안에서 추진하겠다는 의도를 분명히 했다. 국내에서도 비슷한 논의가 이어졌다. 전자신문 AI 세이프가드 좌담회에서는 AI 안전을 규제가 아닌 경쟁력 요소로 접근해야 한다는 공감대가 형성됐다. 한국이 미국·중국·유럽과 다른 위치에서 안전성과 신뢰를 차별화 전략으로 삼아야 한다는 제안도 제시됐으며, 글로벌 AI 규범 논의의 초기 단계부터 참여해 기준 형성 과정에 한국 입장을 반영해야 한다는 의견도 나왔다. 오픈AI는 폴란드 국립연구기관 NASK와 AI 안전성·보안 공동연구 협약을 체결해 국제 검증 체계를 한층 확장했다. 두 기관은 이미 사이버보안 협력을 진행해 왔으며, NASK 산하 AI 안전성 연구센터가 합성 콘텐츠 탐지와 새로운 위험 대응 연구를 함께 맡는다.
오픈소스 AI 모델 경쟁도 이날 두드러진 흐름이었다. 문샷 AI의 키미 K3.1 프로는 아티피셜 애널리시스 성능 평가에서 55점을 기록하며 가중치 공개 모델 가운데 1위에 올랐다. 전체 매개변수 2조8천억 개, 활성 매개변수 1040억 개, 문맥 길이 100만 토큰은 이전 K3와 동일하지만, 강화학습 체계와 도구 활용 능력을 개선해 성능을 끌어올렸다. 전체 가중치는 11월 4일까지 공개될 예정이다. 딥시크와 미니맥스는 중국 상무부의 기술 수출 등록 절차를 마치고 오픈소스 AI 모델의 해외 공개 승인을 받았다. 중국이 AI 기술 수출 통제를 강화하는 흐름 속에서도 오픈소스 기술과 API·SaaS 형태 제공에는 간소화된 허가 절차를 적용하겠다는 입장을 밝혀, 글로벌 오픈소스 AI 생태계에서의 중국 모델 영향력 확대가 예상된다. 한편 구글의 차기 모델로 알려진 제미나이 4 카본이 외부 파트너 테스트에 들어갔다는 관측도 나왔다. 초기 평가에서는 3D 작업 개선이 언급됐지만, 응답 속도가 아르곤보다 2~4배 느리다는 지적도 공통으로 제기됐다.
보안 위협과 인프라 측면에서도 주목할 소식이 잇따랐다. PHP 취약점 'PHP2Shell'을 이용한 공격 준비 정황이 익명 네트워크에서 포착됐다. 한국어를 사용하는 조직원들이 자체 AI 모델로 공략 우선순위를 정하고 통제 환경에서 공격 코드를 검증하는 방식으로 준비를 진행한 것으로 알려졌으며, 정부기관·금융기관·물류·항공 등이 표적으로 거론됐다. KISA는 주의 경보와 대응 수칙을 안내했다. 이스라엘 보안업체가 차이나텔레콤 네트워크에 연결된 수출 금지 엔비디아 블랙웰 B300 GPU 32개를 외부 노출 관리 도구를 통해 확인한 사례도 주목받았다. 이는 수출 통제의 집행 공백이 여전히 메워지지 않고 있음을 보여준다. 국내에서는 KERIS가 시도교육청에 스쿨넷 사업 RFP에서 E-ADS 관련 내용을 배제해 달라고 요청했다. 공공이 개발·무상 보급한 보안 소프트웨어가 민간 보안시장과 겹친다는 불공정 경쟁 논란이 배경이며, SW사업 영향평가 미실시 문제도 함께 지적됐다.
새로운 기술과 서비스 출시 소식도 하루를 채웠다. 블록이 공개한 음성 대화 모델 데사는 사람의 말소리만으로 학습된 스피치-투-스피치 방식으로, 텍스트를 중간 표현으로 두지 않고 웃음·쉼·울먹임 같은 감정 신호를 처리한다. 맥북 프로 M4 맥스 이상 환경에서 로컬 실행이 가능하며, 고통 같은 감정 상태를 감지하지 못하는 기존 음성 AI의 한계를 안전 이슈로 제시했다. 앤트로픽은 구글 클라우드에서 자사가 직접 운영하는 관리형 클로드 서비스를 정식 출시했다. 구글 클라우드 IAM 인증과 청구 체계를 그대로 쓰면서 클로드의 최신 기능을 같은 날 받을 수 있고, 클로드 오퍼스 5.5 패스트 모드는 출력 속도를 최대 2.5배 높였다. 구글 클라우드는 에이전트 전용 격리 컴퓨팅 서비스 '에이전트 컴퓨트 엔진'을 공개해, 각 에이전트 세션에 독립된 마이크로VM을 붙이고 프롬프트 인젝션 같은 위협을 차단하는 구조를 선보였다. 앤트로픽은 시어럼과 함께 오픈소스 라이브러리 123개를 대상으로 클로드를 활용한 대규모 형식 검증을 진행해 수백 건의 버그를 발견했다. 허깅페이스의 마이크로덕 로봇은 엔비디아 GTC 베를린 시연 이후 예약 주문 2만 대를 넘어섰다. 시뮬레이션 기반 학습과 오픈소스 배포 구조를 결합한 소비자 로봇으로, 크리스마스 전 배송을 목표로 한다. SK그룹은 2035년까지 국내 15GW 규모 AI 데이터센터 구축 계획을 추진하며 글로벌 빅테크·금융투자자와 자금 조달 협상을 시작했다. 1단계 5GW에만 3500억 달러가 필요하며, 일본·대만 등 아시아 AI 수요도 한국으로 유치하겠다는 구상이다. 구글 CEO 순다르 피차이는 클라우드 단기 매출을 일부 희생하더라도 딥마인드의 첨단 AI 개발에 컴퓨팅 자원을 우선 배분하겠다고 밝혔다. 제미나이 4 아르곤은 출시 후 72시간에 약 25조 토큰을 처리했고, 내부 도입 4주 뒤 생산성이 30% 향상됐다고 전했다. AI 프로젝트 실패 사례를 정리한 분석에 따르면 기업 AI 이니셔티브의 약 42%가 최종 중단되며, 독립 제품으로서의 차별성과 지속적인 문제 해결 능력이 생존을 가른다고 지적됐다. AI 모델이 선거 질문에 어떤 답을 내놓는지 API로 확인한 연구에서는 Grok이 92%, GPT-6.1 Sol이 97%의 비율로 각각 다른 정당 후보를 추천하는 등 모델별 편향이 두드러졌다. 오픈AI의 순환 깊이 기술 유출 조사와 연구원 해고 논란은 AI 추론의 가시성과 내부 감시 체계를 둘러싼 쟁점을 드러냈으며, 램파드는 패킷 분석 솔루션에 글로벌 위협 인텔리전스를 결합해 성능 관리와 위협 탐지를 한 플랫폼에서 처리하는 통합 접근을 선보였다. 메타는 소셜미디어 게시물을 AI와 인력으로 함께 검토해 학교 총격 위협을 사전에 감지하고 수사기관과 공유하는 체계를 운영 중이라고 뉴요커가 소개했다.