Andrej Karpathy가 공개한 autoresearch는 코딩 에이전트에 작은 언어 모델의 학습 실험을 반복해서 맡기는 저장소입니다. 같은 사람이 공개한 LLM Wiki는 원문을 바탕으로 마크다운 위키를 관리하는 설계입니다. 하나는 실험 결과를 쌓고, 다른 하나는 출처가 붙은 지식을 쌓습니다.
autoresearch의 5분 실험
에이전트가 바꾸는 파일은 모델과 학습 루프가 들어 있는 train.py입니다. 데이터 준비와 평가 기준은 prepare.py에 두고, 사람이 program.md에서 실험 절차를 정합니다. 각 실험은 시작과 컴파일을 제외한 학습 시간 5분을 사용합니다. 평가 지표 val_bpb는 검증 데이터의 바이트당 비트 수이며 낮을수록 좋습니다. GPU가 바뀌면 같은 시간 안에 처리할 수 있는 양도 달라지므로, 같은 장비에서 얻은 기준 결과와 비교합니다. autoresearch 원본 저장소
%% autoresearch의 반복 실험
flowchart TD
A["train.py 수정"]
A --> B["같은 GPU에서 5분 학습"]
B --> C["val_bpb를 이전 결과와 비교"]
C --> D["채택 또는 되돌리고 기록"]
D --> A기준 결과부터 남기기
원본의 빠른 시작은 NVIDIA GPU 한 대, Python 3.10 이상과 uv를 전제로 합니다. 학습을 맡기기 전에 원본 README에 따라 데이터와 토크나이저를 준비하고 기본 설정으로 한 번 실행해 결과를 보관합니다. 그런 다음 작업 브랜치에서 시도 횟수를 제한하고, 변경한 설정과 점수, 실패 여부를 기록하면 무엇이 달라졌는지 되짚기 쉽습니다. 이 글에서는 GPU 학습을 실행한 수치를 제시하지 않습니다. 실험 절차 원문
LLM Wiki는 문서 세 개로 시작
Karpathy가 공개한 LLM Wiki는 설치형 패키지 대신 에이전트와 함께 구현하는 설계 문서입니다. 원문을 보관하고, 에이전트가 여러 문서를 읽어 서로 연결된 주제 페이지를 갱신하는 방식입니다. 공개 문서 세 개를 골라 작은 폴더에서 아래처럼 시작할 수 있습니다. Karpathy의 LLM Wiki 원문
%% LLM Wiki에서 주장의 출처를 따라가는 방법
flowchart TD
A["공개 문서 원본 보관"]
A --> B["주제 페이지와 목차 갱신"]
B --> C["페이지의 출처 링크로 원문 확인"]sources의 문서 세 개를 읽고 원본은 수정하지 마.
wiki에 주제별 페이지와 목차를 만들고, 각 주장에 원문 경로를 붙여 줘.
자료끼리 설명이 다르면 둘 다 남기고 무엇이 다른지 적어 줘.첫 검증은 위키의 주장 하나를 골라 원문에서 실제로 찾을 수 있는지 보는 겁니다. 새 자료를 한 개 넣은 뒤 기존 설명이나 링크가 어떻게 갱신되는지도 확인할 수 있습니다.