OpenAI, 생활 과제 평가 LifeVal 소개…평균 점수와 실제 완료를 읽는 법

평가를 만들려면 AI에게 어떤 일을 맡길지부터 정해야 합니다. 시험 문제를 잘 푸는 능력만으로는 이사 뒤 학교를 찾거나 가족의 일정을 맞추는 수고가 얼마나 줄었는지 알기 어렵습니다. LifeVal은 사람들이 도움을 원하는 생활 과제를 출발점으로 삼습니다.

OpenAI는 미국과 여러 나라의 시간 사용 조사를 참고하고, 별도로 3995명에게 개인 비서의 도움이 필요한 일을 물었다고 밝혔습니다. 미국 노동통계국의 ATUS는 일·돌봄·여가 등에 쓰는 시간을 조사하고, MTUS는 여러 나라의 시간 일기를 공통 형식으로 모은 자료입니다. 미국 시간 사용 조사 · 다국가 시간 사용 연구

%% 과제를 고른 흐름 · OpenAI의 평가 구성 설명
flowchart TD
  A["시간 사용 조사<br/>사람들이 하는 생활 활동"] --> B["별도 설문 3995명<br/>어떤 도움을 원하는가"]
  B --> C["LifeVal의 생활 과제 구성"]
  C --> D["모델의 과제 수행을 평가<br/>시간에 따른 성능 추적"]

공개된 유치원 예시는 새집 근처의 유치원을 비교해 적합한 후보를 추리는 부탁입니다. 제시된 응답은 후보 세 곳과 입학 관련 정보를 정리했으며, 선호 조건 두 가지는 이용자의 선택이 남아 있다고 설명합니다. 후보표를 받아 검토하는 장면까지는 보이지만, 그 응답만으로 실제 원서 접수나 입학 확정을 증명할 수는 없습니다.

아래 표는 공개 예시의 응답과, 이용자가 그 뒤 실제 절차를 진행할 때 살펴볼 자료를 나눕니다. 특정 지역의 입학 규정을 안내하는 표는 아닙니다.

발표의 그래프는 모델별 지표를 ‘가중치 없는 평균 보상 점수’로 표시합니다. 일부 점수에 더 큰 비중을 주지 않고 평균한 값이라는 표시입니다. 여기서 보상은 이용자에게 주는 돈이 아니라 평가에서 얻은 점수입니다. 과제별로 더 보는 표의 제목은 ‘GPT-6 Astra의 가장 높은 기록 점수’여서, 평균 그래프와 구분해서 읽어야 합니다.

앞의 두 평균 차이는 80.6 − 80.0 = 0.6퍼센트포인트입니다. 이는 생활의 모든 일을 0.6% 더 성공한다는 뜻이 아닙니다. 확인한 발표 본문과 펼친 과제 표에서는 시도 수, 세부 채점 방식, 불확실성 구간을 제시하지 않아 이 작은 차이의 통계적 의미까지 판단하기 어렵습니다.

OpenAI는 브라우저·컴퓨터 조작과 연결 앱을 통한 작업 능력의 발전을 설명합니다. 연결 앱은 다른 서비스의 자료나 기능에 이어지는 통로입니다. 실제 이용자는 모델 이름뿐 아니라 쓰는 앱의 지원 기능, 자료 접근 권한, 실행을 맡긴 범위를 함께 살펴야 합니다.

다음은 생활 과제를 맡길 때 쓸 수 있는 일반적인 점검 예시입니다. 평가 점수로 특정 계정의 기능이나 실제 처리 결과를 보장하는 표가 아닙니다.

개발 작업에서 실행 결과를 살피는 과정은 앞선 HackerTube 제작 해설에서도 다뤘습니다. 생활 과제에서도 비교표, 저장된 일정, 접수 기록처럼 맡긴 일에 맞는 결과를 받아야 합니다.