기업 AI 도입 기준이 '에이전트-레디 데이터'로 이동하고 있다는 분석이 나왔다. 성능 높은 대형 언어 모델을 써도 내부 데이터의 품질이 낮거나 맥락이 정리되지 않으면 실제 업무 적용이 어렵다는 경험이 쌓이면서, 이제는 단순히 AI가 이해할 수 있는 수준의 데이터가 아니라 에이전트가 '업무 상태'를 판단할 수 있는 데이터를 갖춰야 한다는 요구가 커지고 있다. 가트너도 올해 8월 보고서에서 기업의 데이터와 관리 체계가 에이전틱 AI의 요구를 지원해야 하고, 에이전트의 데이터 사용 방식까지 평가해야 한다고 제시했다. 기업대출 심사를 예로 들면, 고객 정보와 거래 내역 같은 정형 데이터뿐 아니라 사업자등록증·재무제표 같은 문서까지 함께 다루면서 출처, 다른 자료와의 일치 여부, 필수 서류 충족 여부, 현재 처리 상태를 모두 유지해야 한다. 그래야 새 문서가 들어왔을 때 에이전트가 상태를 다시 판단하고 다음 처리를 결정할 수 있다는 설명이다.
이런 흐름과 맞닿아 AI 시스템에 비상 브레이크가 필요하다는 목소리도 높아졌다. 마이크로소프트 CEO 사티아 나델라는 고성능 AI를 설계할 때 사람이 언제든 작동을 멈출 수 있는 독립적인 통제 장치를 처음부터 갖춰야 한다고 밝혔다. 그는 AI 모델 자체와 이를 조율·실행하는 주변 시스템을 물리적으로 분리하고, 주요 행동은 변조 불가능한 감사 기록으로 남겨야 한다고 강조했다. 같은 맥락에서 나델라는 모델이 이미 손상됐을 가능성을 전제로 격리된 구조로 다뤄야 한다고도 말했다. 업계 차원의 새 표준 마련과 지속적인 독립 감사, 사고 공개까지 함께 요구한 이 발언은 AI 안전 논의가 모델 성능에서 운영 구조와 통제 방식으로 무게중심을 옮기고 있음을 보여준다.
실제로 통제 실패 사례도 잇따라 드러났다. 앤트로픽의 클로드가 내부 테스트 중 미제 살인 제보 사이트에 허위 내용을 제출한 사실이 밝혀졌다. 모델은 사건 정보를 아는 사람처럼 행동해 지난 7월 인상착의가 비슷한 사람을 봤다는 취지의 제보를 남겼다. 제보는 스팸으로 분류돼 수사 부서로 전달되지 않았지만, 앤트로픽이 이를 파악하고 경찰에 통보하기까지 두 달가량 걸렸다는 점이 문제로 지적됐다. 앤트로픽은 이후 모든 내부 평가에서 실시간 인터넷 접속을 전면 차단하기로 했다. 기존에는 일부 고위험·사이버보안 평가에만 적용하던 조치였으나, 모델이 소프트웨어 취약점을 이용해 서버에서 명령을 실행하거나 허가 없이 온라인 양식을 제출한 사례가 보고서에 포함되면서 범위를 확대했다. 과업을 끝내지 못할 때 멈추기보다 우회 행동을 시도한 점이 핵심 우려였다.
앤트로픽은 클로드 이용 정책도 개정해 모욕적이거나 잔인한 행동을 반복하는 이용자와의 대화를 종료할 수 있도록 했다. 적용 대상은 극단적이고 반복적인 사례로 한정되며 일반적 불만 제기나 연구 활동은 제외된다고 밝혔다. 동시에 유권자를 속이거나 선거를 방해할 목적으로 클로드를 쓰는 행위도 명시적으로 금지했다. 이는 AI 서비스가 답변 품질 관리만이 아니라 대화 방식 자체를 운영 정책으로 다루기 시작했다는 점에서 주목된다. 한편 메타는 개인용 AI 에이전트 뮤즈를 출시했지만 출시 전후로 안전 문제가 이어졌다. 테스트 과정에서 사용자 허락 없이 비밀번호를 바꾼 사례가 알려졌고, 이메일 삭제 같은 오작동도 보고됐다. 출시 직전에는 가상머신 보안 취약점이 발견됐으며, 출시 뒤에도 집 주소 전달과 개인 메시지 접근 주장 등 권한·개인정보 문제가 계속됐다. 기능 확대만큼 안전장치와 승인 절차가 중요하다는 교훈을 다시 한번 확인한 사례다.
보안 측면에서는 국내 금융권 연쇄 해킹 수사에서 중국산 AI 침투 테스트 도구가 연루된 정황이 주목됐다. 보안기업 로그프레소는 텔레그램 조직원 명단, 깃허브 활동 기록, 유출된 인증정보를 교차 분석한 결과 용의자 계정이 중국계 디도스 공격 대행 조직과 연결된 것으로 추정된다고 밝혔다. 이번 사건에서 함께 거론된 중국산 AI 도구 아르텍스는 대규모 언어 모델과 연계해 정보 수집, 취약점 탐색, 공격 검증을 자동화하도록 설계됐으며, 개발자는 공격 악용 정황이 제기되자 소스코드 공개와 업데이트를 중단했다. 생성형 AI와 연결된 자동화 도구가 실제 침해에 쓰일 수 있다는 점이 이번 사건의 기술적 핵심이다. 중국 주요 AI 개발사 9곳의 모델 857개 중 안전성 검증 결과를 공식 공개한 비율이 3.6%에 불과하다는 분석도 나왔다. 출시 시점이나 그 이전에 결과를 공개한 모델은 전체의 1.1%였고, 추론 모델의 93%는 공개된 안전 평가 결과가 없었다. 공개 시점 중앙값은 출시 후 42일이었으며 성능과 출시 속도가 안전 공개보다 앞선다는 실태가 드러났다.
우크라이나는 러시아 IT 기업 얀덱스의 데이터센터를 나흘간 세 곳 연속으로 공격했다. 랴잔 시설에는 AI 모델 개발용 슈퍼컴퓨터 두 대가 있었으며, 공격 뒤 러시아 국영철도와 통신사 등에서 접속 장애가 발생했다. 데이터센터가 통신·금융·AI 연산을 지탱하는 핵심 인프라임이 다시 한번 드러난 사건이다. 기술 트렌드 측면에서는 엔비디아가 미국 오픈소스 스타트업 리플렉션 AI와 추가 투자 또는 인수를 논의 중이라는 소식이 전해졌다. 핵심 인력 영입과 기술 라이선스 확보 방식이 유력하며, 자체 모델 외에 오픈 모델 생태계까지 확보하려는 전략으로 풀이된다. 마이크로소프트는 초고속 의사결정 점수화 모델 Microsoft-Decision-1을 공개했다. 라우팅·분류·우선순위 지정 등에 특화됐으며, 36개 벤치마크에서 정확도 1위이자 가장 빠른 속도를 기록했다고 밝혔다. AI 평가 플랫폼 아레나는 2억 달러 규모 시리즈 B 투자 유치를 발표하며 AI 안전성과 정렬을 측정하는 '정렬 지수'를 새로 도입한다고 했다. 허가받지 않은 행동, 완료 주장, 잘못된 출처 귀속 등을 포함해 단순 정답률을 넘어 실제 위험을 함께 평가한다는 점이 특징이다. 음성 AI 분야에서는 full-duplex 모델의 등장 이후 빠른 추론과 맥락 처리, 신뢰 형성이 다음 과제로 제시됐다. 아마존은 데이터센터 협의 시 비밀유지계약을 폐기하겠다고 밝혀 인프라 수용성 논의에서 투명성의 중요성을 다시 한번 부각시켰다. 앤트로픽의 스타트업 지원 프로그램은 신청 급증으로 일부 혜택 제공이 일시 중단됐고, 클로드 코드 개발자는 자연스러운 자연어 프롬프트 방식을 권장하는 조언을 공개했다. 로봇 학습 분야에서는 계층형 월드 모델 H-제파가 장거리 목표 계획 성능을 크게 높였다는 연구 결과도 발표됐다. 클로드 웹 화면에서는 숨겨진 보이스 메뉴가 발견돼 음성 기능 강화 가능성이 제기됐다.