오픈AI는 30일(현지시간) 웹사이트 운영자와 콘텐츠 발행자가 AI 모델 학습에 대한 선호를 공통 신호로 표시할 수 있는 표준화 작업을 지원하고, 수개월 안에 이를 자사 시스템에 구현할 계획이라고 밝혔다. 대상은 웹사이트의 크롤링 정책을 정하는 robots.txt다. 지금까지는 운영자가 AI 기업별 크롤러를 따로 식별해 접근 허용이나 차단 정책을 각각 관리해야 했지만, 새 방식은 한 번의 표시로 이를 지원하는 여러 AI 제공업체에 같은 의사를 전달하는 데 초점을 둔다.

이 논의는 인터넷기술표준화기구 IETF의 ‘AI Preferences’ 작업반에서 진행 중이다. 새 신호는 기존 개별 크롤러 통제 기능을 없애는 것이 아니라, 학습 관련 선호를 전달하는 추가 수단으로 도입된다. 따라서 운영자는 세부 접근 정책을 유지하면서 공통 신호를 함께 쓸 수 있다. 다만 구현 시점과 기술 방식은 아직 확정되지 않았고, 모든 기업이 자동으로 따르는 강제 규칙도 아니다. 실제 효과는 참여 기업의 채택과 준수에 달려 있다.