possirak
2026년 11월 18일 수요일
AI & Tech

AI 학습 거부 공통 신호 도입

오픈AI·구글·마이크로소프트·앤트로픽이 웹사이트 콘텐츠 활용 제한 기준 마련

"한 번 설정으로 AI 학습 거부"…오픈AI·구글·MS·앤트로픽 동참
출처: arcpublishing.com

한눈에 보기

  • 오픈AI, 구글, 마이크로소프트, 앤트로픽이 AI 학습 콘텐츠 사용을 거부할 수 있는 공통 신호를 도입하며, 웹사이트 운영자가 로봇 배제 표준(robots.txt)에 'User-Agent: __usage_ai-training'과 'Disallow: /'를 추가함으로써 한 번의 설정으로 여러 AI 기업에 동시에 학습 거부 의사를 전달할 수 있게 되었다.
  • 오픈AI와 앤트로픽은 이 신호를 구현하기 위한 작업을 이미 시작했고, 마이크로소프트는 2027년 2월 1일부터 새로운 설정을 적용할 계획이다. 이 신호는 AI 모델 학습에 콘텐츠를 사용하지 않도록 하는 의사 표시일 뿐이며, 웹사이트 접근이나 검색 결과 노출을 차단하는 기능은 아니다.
  • 웹사이트 운영자는 기존의 별도 설정(예: 구글의 '구글 익스텐디드', 마이크로소프트의 '노아카이브'와 '노캐시')을 유지하면서도 공통 신호를 병행 적용할 수 있다. 특히 마이크로소프트는 기존에 검색엔진의 웹페이지 저장본 제공을 제한하던 '노아카이브'와 '노캐시' 설정을 AI 콘텐츠 활용 제한에도 동일하게 적용할 방침이며, AI 그라운딩(grounding) 행위에 대한 별도 제한 설정도 제공한다.

1일 오픈AI, 구글, 마이크로소프트, 앤트로픽은 웹사이트 운영자가 AI 모델 학습에 콘텐츠를 사용하지 않도록 하는 공통 신호를 도입하겠다고 발표했다. 이는 국제인터넷표준화기구(IETF)의 AI 선호도(AIPREF) 작업반에서 논의 중인 기술을 기반으로 한다. 핵심은 로봇 배제 표준(robots.txt) 파일에 'User-Agent: __usage_ai-training'과 'Disallow: /'라는 두 줄을 추가하는 것이다.

이 설정은 웹사이트 전체 콘텐츠를 AI 모델 학습에 사용하지 말라는 의사를 명시한다. 기존에는 각 기업별로 다른 크롤러 식별자(예: 오픈AI의 'GPT봇', 구글의 '구글 익스텐디드')를 사용해 별도 규칙을 설정해야 했다. 이번 방식은 공통 식별자를 도입해 한 번의 설정으로 여러 AI 기업에 동시에 학습 거부 의사를 전달할 수 있도록 했다.

AI 학습 거부 공통 신호 도입

이번 조치는 콘텐츠 창작자와 웹사이트 운영자의 권리를 강화하는 데 의미가 있다. 기존에는 콘텐츠 사용 여부를 각 AI 기업마다 별도로 설정해야 했고, 이로 인해 설정 오류나 누락이 발생하기 쉬웠다. 공통 신호 도입으로 설정의 복잡성이 줄어들고, 콘텐츠 소유자의 의지가 보다 명확하게 전달된다.

앤트로픽의 케빈 켈리는 IETF 메일링리스트에서 "이는 콘텐츠 활용에 관한 의사 표시이지, 크롤링 트래픽을 통제하기 위한 신호가 아니다. 두 기능은 의도적으로 분리돼 있다"고 밝혔다.

AI 학습 거부 공통 신호 도입

이전에는 AI 기업마다 고유한 설정 방식이 존재해 웹사이트 운영자가 일일이 설정을 조정해야 했다. 오픈AI는 'GPT봇', 구글은 '구글 익스텐디드', 마이크로소프트는 'MS AI 크롤러' 등 각각 다른 식별자를 사용해왔다. 이번 공통 신호는 이들 기업이 모두 동일한 식별자 '__usage_ai-training'을 인식하도록 설계됐다.

이로 인해 기존에 별도로 설정한 규칙을 유지하면서도 공통 신호를 병행 적용할 수 있다. 예를 들어, 구글은 별도의 '구글 익스텐디드' 설정이 없을 경우 공통 신호를 기존 설정과 동일하게 해석할 계획이다. 마이크로소프트는 2027년 2월 1일부터 새로운 설정을 적용할 예정이며, 기존에 사용하던 '노아카이브'와 '노캐시' 설정도 AI 콘텐츠 활용 제한에 동일하게 적용할 방침이다. 이는 AI 모델이 검색 결과 등을 참고해 답변을 생성하는 '그라운딩' 행위도 별도로 관리할 수 있도록 한다.

공통 신호는 아직 IETF의 정식 표준이 아니라 개별 인터넷 초안 단계다. 이를 따르지 않는 AI 기업에 대한 강제력은 없으며, 실제 효과는 참여 기업의 자율적 준수에 달려 있다. 오픈AI는 앞으로 수개월 내 관련 기능을 구현하고 구체적인 적용 방식을 공개할 계획이다.

앤트로픽 역시 공통 신호 지원을 위한 구현 작업에 착수했다. 다만 이번 신호는 AI 학습용 콘텐츠 활용에 대한 의사 표시에 한정된다. 웹사이트 접근이나 검색 결과 노출 자체를 차단하는 기능은 아니며, AI가 검색 결과 등을 참고해 답변을 생성하는 행위도 직접적인 적용 대상이 아니다. 따라서 웹사이트 운영자는 기존 설정과 병행해 공통 신호를 활용할 수 있다. 2027년 3월 1일 이전까지는 기존 설정을 사용하던 웹사이트가 새로운 방식으로 전환해야 한다.

주요 사실 정리

오픈AI, 구글, 마이크로소프트, 앤트로픽은 AI 학습용 데이터 수집을 거부할 수 있는 새 표준을 선보였다. 이전에는 각 기업별로 고유한 식별자(예: 오픈AI의 'GPT봇', 구글의 '구글 익스텐디드', 마이크로소프트의 'MS AI 크롤러')를 사용해 별도 설정이 필요했으나, 이번에는 공통 식별자 '__usage_ai-training'을 도입해 한 번의 설정으로 여러 기업에 동시에 학습 거부 의사를 전달할 수 있도록 했다.

윤리강령 · 저작권 정책 · 정정보도 청구