OpenAI, 웹사이트의 공통 학습 선호 신호 지지…검색·접근 제한은 따로

크롤러는 웹페이지를 자동으로 찾아 읽는 프로그램입니다. 검색용 수집은 질문에 맞는 페이지를 찾게 하는 일이고, 학습용 사용은 자료로 모델의 배운 수치를 바꾸는 일입니다. 사용자가 AI에게 특정 주소를 열어 달라고 요청하는 동작도 별도로 봐야 합니다.

OpenAI의 현재 안내는 다음 역할을 나눕니다. 설정은 서로 독립적이므로 검색을 허용하면서 학습용 크롤러를 거부하는 선택도 가능합니다. 크롤러 안내

검색용 수집을 거부해도 사이트 주소를 가리키는 탐색 링크는 남을 수 있습니다. 현재 안내의 검색 설정 반영은 약 24시간이 걸릴 수 있다는 설명이지, 특정 사이트의 반영을 측정한 결과는 아닙니다.

robots.txt는 사이트가 자동 방문 프로그램에 규칙을 알려 주는 공개 파일입니다. 기존에는 업체별 프로그램 이름에 맞춰 규칙을 관리했다면, 이번 제안은 ‘AI 학습’이라는 사용 목적에 공통 이름을 붙입니다. 초안의 이름은 __usage_ai-training입니다.

가상의 가게가 매장 소개 글은 학습에 쓰지 말고, 별도로 공개한 보도 자료는 허용하고 싶다고 합시다. 아래는 초안의 경로별 선호를 설명하는 예시이며 이 사이트나 실제 가게에 설정을 저장한 결과가 아닙니다.

%% 학습 선호가 전달되는 개념도 · OpenAI의 공통 신호 구현은 예정 단계
flowchart TD
  A["운영자가 경로별 학습 선호 표시"] --> B["신호를 지원하는 업체가 읽기"]
  B --> C["업체가 자신의 처리에 반영<br/>실제 적용 범위는 따로 확인"]

이 신호는 수집 프로그램의 출입 규칙 자체를 대체하지 않습니다. 제안은 콘텐츠 사용 선호와 수집 트래픽 규칙을 별도로 다룹니다. 개인 초안의 설계

공통 신호를 지지한다는 발표, 실제 제품의 구현, 표준 확정은 각각 다른 확인 지점입니다. 운영자는 어느 단계인지에 따라 현재 설정을 유지할지, 새 안내를 기다릴지 결정할 수 있습니다.

초안에서는 공통 학습 이름이 없는 파일을 ‘그 선호가 표현되지 않음’으로 봅니다. 이를 운영자가 모든 사용에 동의했다는 뜻으로 바꾸어 읽어서는 안 됩니다. 기존 크롤러 규칙도 별도로 남습니다.

규칙을 알려 주는 파일은 방문자가 이를 존중해 처리하도록 하는 장치입니다. 비밀번호처럼 페이지를 열지 못하게 하는 장치는 아닙니다. 기존 robots.txt 규격인 RFC 9309도 이 규칙은 접근 권한 부여 방식이 아니라고 설명합니다. 비공개 자료는 인증 등 서버의 실제 보안 수단으로 보호해야 합니다. RFC 9309