OpenAI, Google, Microsoft, Anthropic는 퍼블리셔가 AI 크롤러의 접근을 막는 공통 신호를 지원하겠다고 밝혔다. 이 방식은 Anthropic의 표준 담당 Kevin Kelley가 IETF에서 제안한 ‘policy token’으로, 웹사이트의 robots.txt 파일 안에 들어간다. robots.txt는 그동안 검색 색인, 보관, AI 학습 같은 목적의 크롤링 허용 여부를 알리는 데 쓰여 왔다. 지금까지는 사이트가 AI 학습 관련 선호를 회사별로 따로 표시해야 했지만, 이번 방식은 여러 사업자에 한 번에 적용하는 것이 목적이다.
핵심은 퍼블리셔가 같은 규칙을 여러 AI 회사에 공통으로 전달할 수 있다는 점이다. 네 회사는 이 토큰을 만나면 자사 AI 크롤러의 접근을 제한하겠다고 밝혔다. Microsoft는 여기에 더해 AI 학습과 AI grounding을 구분해 거부할 수 있는 세부 제어를 제공할 예정이라고 설명했다. grounding은 모델이 검증된 정보원을 참조해 환각을 줄이도록 하는 방식이다. 또 Microsoft는 이런 설정과 관계없이 웹사이트가 Bing 검색 결과에는 계속 나타난다고 밝혔고, Google도 검색 노출에 영향을 주지 않으면서 AI 기능 노출이나 학습 사용 여부를 조절하는 유사한 제어를 이미 제공한 바 있다.