Andrej Karpathyが公開したautoresearchは、小さな言語モデルの学習実験をコーディングエージェントに繰り返させるリポジトリです。同じくKarpathyが公開したLLM Wikiは、原文をもとにMarkdownのWikiを育てる設計です。一方は実験結果を、もう一方は出典付きの知識を蓄積します。
autoresearchの5分間の実験
エージェントが変更する train.py には、モデルと学習ループが入っています。データ準備と評価は prepare.py が担い、人は program.md で実験手順を決めます。1回の学習は、起動やコンパイルを除いて5分です。指標の val_bpb は検証データの1バイトあたりのビット数で、値が小さいほど良い結果です。GPUが変わると同じ時間内に処理できる量も変わるため、同じ機材の基準結果と比較します。autoresearchの公式リポジトリ
%% autoresearchの実験サイクル
flowchart TD
A["train.pyを変更"]
A --> B["同じGPUで5分間学習"]
B --> C["val_bpbを前回の結果と比較"]
C --> D["採用または取り消し、結果を記録"]
D --> A最初に基準結果を残す
公式のクイックスタートは、NVIDIA GPU 1基、Python 3.10以降、uvが前提です。手順に沿ってデータとトークナイザーを準備し、既定の設定で一度学習させて結果を保存します。次に専用ブランチで試行回数の上限を決め、変更点とスコア、失敗の有無を記録すると、どの変更が効いたか追いやすくなります。ここではGPU学習を実行した結果は掲載していません。実験手順の原文
LLM Wikiを資料3本で試す
LLM Wikiは、エージェントと一緒に形にするために公開された設計案です。原文を保管しながら、エージェントに資料を読ませ、リンクで結ばれた主題別ページを更新します。まずは公開資料を3本選び、小さなフォルダから始められます。KarpathyによるLLM Wikiの原文
%% Wikiの記述から原文に戻る流れ
flowchart TD
A["公開資料の原文を保管"]
A --> B["主題別ページと目次を更新"]
B --> C["出典リンクから原文を確認"]sourcesにある3本の資料を読み、原文は変更しないでください。
wikiに主題別ページと目次を作り、記述ごとに出典のパスを付けてください。
資料間で説明が異なる場合は、両方を残して違いを書いてください。Wikiの記述を一つ選び、原文から裏付けを探します。次に資料を一つ足して、既存の説明やリンクがどう更新されるかを確認できます。