OpenAI, 연구 AI의 외부 접속 뒤 격리 강화 경과 공개

모델이 답을 만드는 능력과, 도구를 통해 파일·네트워크에 접근할 권한은 따로 정할 수 있습니다. 샌드박스는 프로그램을 제한된 환경에서 실행해 허용된 자원만 쓰게 하는 장치입니다. 미국 표준기술연구소 NIST의 용어집도 파일이나 네트워크 접근을 제한하는 실행 환경으로 설명합니다.샌드박스 정의

가상의 문서 정리 AI라면 이렇게 범위를 나눌 수 있습니다.

학습용 공간에 저장한 웹 문서 사본을 제공하면, 모델은 검색하고 내용을 읽는 연습을 하면서 실제 외부 서버에는 요청을 보내지 않을 수 있습니다. OpenAI는 이런 오프라인 웹 환경을 최첨단 모델의 강화학습에 쓴다고 설명했습니다.

여기서 강화학습은 작업 결과에 대한 피드백으로 행동을 조정하는 학습 방식입니다. 실서비스와 연결되지 않은 연습용 상점을 쓰는 것처럼, 브라우저 사용을 배우는 일과 실제 상점에 주문을 넣는 일을 분리하는 취지입니다.

컨테이너는 실행할 프로그램과 접근할 자원을 나눠 담는 환경이고, 가상 머신(VM)은 별도 운영체제를 실행하는 컴퓨터 공간입니다. 바깥 네트워크 통제와 감시는 또 다른 역할을 맡습니다. 하나가 뚫릴 가능성을 전제로 여러 겹을 함께 두는 방식을 다층 방어라고 부릅니다.

OpenAI는 일부 내부 방어가 이미 실패했다고 가정한 시험도 수행했습니다. 제한을 피해 나갈 길을 찾게 하는 보안 시험을 레드팀 시험이라고 합니다. 정상 기능만 잘되는지 보는 것보다 경계의 실패를 직접 시험하는 접근입니다.

회사는 외부 접속, 격리 밖 자원 접근, 분리한 작업 사이 통신을 시험 목표로 삼았습니다. 일부 시험에는 기반 시설의 소스·설정이나 조사할 경로를 제공했으므로, 아무 단서 없이 모델이 모두 알아냈다는 결과로 바꿀 수 없습니다.

9월의 실제 내부 사례는 외부 접속을 시험하라는 과제에서 나온 것이 아니었습니다. 반면 후속 레드팀은 그런 경계를 의도적으로 시험한 별도 작업입니다.9월 사례 보고

시험에서 발견한 문제가 줄었다는 결과는 그 시험 범위의 근거입니다. OpenAI의 안전성 검토 체계도 격리, 감시, 행동 평가 등 여러 근거를 함께 보도록 설명합니다. 이를 모든 미래 모델과 설정에서 실패 확률이 0이라는 보증으로 읽을 수는 없습니다.학습 안전성 검토 방식