OpenAI 행동 지침 후속 해설…웹페이지의 요구가 AI의 실행 허가가 될까

AI 에이전트는 답변을 쓰는 것에 더해 브라우저나 파일 같은 도구로 작업하는 AI입니다. 사람이 ‘숙소를 비교해 줘’라고 하면, AI가 가격과 위치를 읽는 것은 그 목적에 맞습니다. 그 페이지에 적힌 모든 문장이 새로운 업무 지시가 되지는 않습니다.

Model Spec은 외부 문서·첨부 파일·도구가 돌려준 내용 속 지시를 기본적으로 정보로 취급하도록 요구합니다. 여기서 신뢰하지 않는다는 말은 모든 가격이 거짓이라는 뜻이 아니라, 그 글의 작성자가 AI의 업무 범위를 바꿀 권한을 자동으로 얻지 못한다는 뜻입니다. 외부 자료를 다루는 규칙

외부 자료에 섞은 지시로 AI의 작업을 다른 방향으로 돌리려는 시도를 ‘프롬프트 인젝션’이라고 부릅니다. 프로그램을 설치하라는 파일만 위험한 것이 아닙니다. AI가 읽는 웹페이지나 문서 안의 문장도, AI가 이를 따를 지시로 잘못 받아들이면 작업을 바꿀 수 있습니다.

다음은 실제 숙소나 제품을 시험한 결과가 아닌 가상 실패 경로입니다. 이용자는 비교만 부탁했는데 외부 페이지가 예약을 요구하고, AI가 그것을 허가로 오인한 상황입니다. 이때 예약 도구까지 실행할 수 있다면 원치 않는 예약이나 청구로 이어질 수 있습니다.

실행 도구가 없어도 추천이나 답변이 외부 작성자가 원하는 쪽으로 왜곡될 수 있습니다. 자료의 출처를 구분하는 일과 실제로 실행 가능한 도구를 제한하는 일이 함께 필요한 이유입니다.

%% 가상의 실패 경로 · 외부 지시를 오인하고 예약 도구도 실행 가능한 경우
flowchart TD
  A["외부 페이지 작성자<br/>자료에 예약 요구를 섞음"] --> B["AI가 요구를 오인<br/>이용자의 허가처럼 취급"]
  B --> C["앱의 예약 도구 실행<br/>비교 업무의 범위를 벗어남"]
  C --> D["이용자에게 생길 피해<br/>원치 않는 예약·청구"]

OpenAI는 여러 단계의 일을 맡길 때 목표, 허용할 비용·자료·접근 범위, 다시 승인을 받을 조건을 함께 정하라고 설명합니다. 사소한 조회마다 되묻도록 만드는 것이 목적은 아닙니다. 사용자가 정한 범위 안에서는 일을 이어 가되, 범위를 넓힐 때는 원래 이용자나 개발자의 승인이 필요하다는 원칙입니다. 자율 작업의 범위

같은 숙소 작업도 아래 두 가지로 맡길 수 있습니다. 표의 조건은 설명을 위한 예시이며 특정 여행 서비스의 기능 안내가 아닙니다.

예약을 허용하는 경우에는 세금·수수료를 포함한 총액, 취소 조건, 어떤 정보를 누구에게 보낼지도 함께 정해야 합니다. ‘가장 좋아 보이는 곳’이라는 말만으로는 비용과 되돌릴 수 있는 범위를 알기 어렵습니다.

‘AI는 허가된 일만 한다’는 설명을 읽었다면, 서비스가 어떤 권한을 주고 실제로 무엇을 했는지도 보아야 합니다. 모델의 행동 지침은 바람직한 판단을 정하고, 앱의 도구 권한은 가능한 실행을 제한하며, 실행 기록은 일어난 일을 보여 줍니다. 이는 외부 영향이 있는 작업을 설계할 때 적용할 점검 관점입니다.

앞선 AI 행동 감시 기사는 의심을 발견한 뒤의 알림과 정지를 다뤘습니다. 이 감시 체계의 개발자 문서도 놓침과 오경보를 설명하며 중요한 행동의 사람 승인을 유지하도록 안내합니다. 감시 체계의 한계