OpenAI, ChatGPT 저장 읽기 지연 120ms→10ms 개선 과정 공개

데이터베이스는 자료를 보관하고 조건에 맞는 항목을 찾아주는 시스템입니다. 저장할 자리가 충분한지와, 많은 요청을 제때 처리할 수 있는지는 서로 다른 질문입니다. 책장이 넓어도 안내 창구가 하나뿐이면 사람이 몰릴 때 기다리는 것과 비슷합니다.

Azure Cosmos DB는 처리에 필요한 CPU·입출력·메모리 등의 부담을 RU라는 단위로 표현합니다. RU/s는 초당 처리 용량을 말합니다. 요청마다 부담이 달라서, RU 수를 그대로 요청 건수로 바꾸면 안 됩니다.RU 설명

여러 작업이 용량을 나눠 쓰면 한쪽의 남는 여유를 활용하기 쉽습니다. 반면 한 작업에 요청이 몰려 다른 작업까지 느려지는 ‘시끄러운 이웃’ 문제가 생길 수 있습니다. 자료의 논리적 구분과 실제 처리 자원의 구분도 같지 않을 수 있습니다.분할 구조 설명

120ms는 0.12초, 10ms는 0.01초입니다. p50은 요청들을 지연 시간 순서로 놓았을 때 중간에 있는 값, 즉 중앙값입니다. OpenAI가 올해 성능 개선 전후로 비교한 수치는 저장 계층의 읽기에 대한 것으로, 모든 사용자의 최악 대기 시간이나 AI 답변 생성 시간을 뜻하지 않습니다.

120을 10으로 나누면 12이고, 감소량 110ms를 기존 120ms로 나누면 약 91.7%입니다. 이것은 해당 지표의 변화입니다. 전체 응답에는 인증·자료 조회·모델 계산·전송 같은 다른 시간도 들어갑니다.

캐시는 자주 읽는 자료의 복사본을 가까운 곳에 두어 원래 저장소까지 가는 횟수를 줄이는 장치입니다. 다만 원본이 바뀌었는데 복사본이 남아 있으면 오래된 값을 보여줄 수 있습니다. Azure의 일반 캐시 문서도 반복 읽기, 데이터가 머무는 시간과 갱신 조건을 함께 설명합니다.일반 캐시 설명

이 문서의 Azure 전용 게이트웨이 캐시와 Habitat의 Valkey 기반 캐시는 같은 구현이 아닙니다. OpenAI는 원본의 변경 신호를 받아 캐시를 무효화하고 다음 읽기에서 새 값을 채우는 방식을 설명했습니다.

가상의 가게가 상품명을 바꾼 경우를 보면, ‘가까운 복사본을 읽기’ 뒤에는 ‘변경 신호로 낡은 복사본을 버리기’도 필요합니다. 데이터를 가까이 옮길 때는 저장 지역 요구사항과 실제 지역별 용량도 고려해야 합니다.