小さな言語モデルに、
何を残し、何を戻すか。
What should a small language model
remember and reuse?
VISTARCの構造・学習設定・失敗から得た知見
Lessons from VISTARC architectures, training recipes, and unsuccessful experiments
状態の幅、層数、学習率、予測候補の帰還、行列型の記憶。数多くの組み合わせを試した記録を、前提から読める解説と実測データにまとめました。
State width, depth, learning rates, candidate feedback, and matrix memories. This notebook explains the experiments from the ground up and connects each observation to its recorded data.
点数を見る前に、比較の単位をそろえる。
Understand the comparison before reading the score.
構造と学習設定
Architecture and training
一つのモデルIDは、部品構成・学習設定・seedをまとめた実験の識別子です。番号は順位ではありません。幅や部品が同じでも、LRやデータの区切りが違えば同じ条件ではありません。
A model ID identifies an experimental configuration and seed. It is not a rank. The same dimensions do not ensure the same learning rate, input context, or training conditions.
最高点と再現性
Peaks and repeated seeds
最高点は、採点した学習時点の中での最大値です。三seed平均とは別の値です。単発の高得点が、別seedでも同じ構造の優位を保証するわけではありません。
A peak is the best among measured training ages. It is distinct from a three-seed mean. A high single-seed score does not establish that the architecture will consistently outperform another.
三つの総合点
Three different aggregates
5軸・6軸は課題群の平均。明確回答は、固定した17,274問の総正答率です。それぞれを独立にソートできます。未採点は空欄にし、0点にはしません。
Five and six axes average task groups. Clear-answer accuracy pools correct answers over a frozen 17,274-item bank. Sort them independently. An unmeasured result is missing, not zero.
背景から、実験の読み方まで。
From the foundations to the findings.
この研究は、何を調べてきたのか
What this research investigates
小型言語モデルの部品と学習条件を変え、何が予測に役立つかを調べた実験記録です。最初に、構造と評価の読み方を説明します。
A starting point for understanding the models, their training, and the measurements in this notebook.
02 / Guide点数と比較条件をどう読むか
How to read scores and comparisons
学習量、seed、最高点、5軸・6軸、明確回答ベンチはそれぞれ違う意味を持ちます。
Training exposure, seeds, observed peaks, legacy aggregates, and the clear-answer bank measure different things.
03 / Reliability単発の最高点と、seedを変えた強さは一致しない
A single-run record can hide substantial seed variation
320幅9層とF付き384幅8層を同じ三つのseedで比べると、最高点と平均・ばらつきで見え方が変わりました。
Matched three-seed comparisons of 320-wide and 384-wide configurations change the interpretation of their best runs.
04 / Optimization幅を変えた結果には、実際の学習率も混ざっている
Width comparisons also depend on the effective learning rate
384幅の同じ構造で主要行列のLRを下げると改善しました。ただし、幅に対する最適LRの法則が求まったわけではありません。
Reducing matrix learning rates helped one 384-wide configuration, but the experiment did not identify a universal scaling law.
05 / Architecture最適な深さは、組み合わせる部品によって変わる
The favorable depth depends on the rest of the architecture
Fなしでは9層、F付きの試行では8層が有望でした。層数の効果は単調ではありませんでした。
Nine layers led the tested non-F series, while eight layers led the F-equipped depth series.
06 / ArchitectureFFN幅は、状態幅との比率だけで決められるか
Can FFN width be chosen from a single ratio?
336幅で1120・1176・1232を三seed比較すると、40Mでは1232の平均が高くなりました。
A three-seed sweep at width 336 favored FFN1232 at 40M within the tested range.
07 / ArchitectureFFN加算は、平均を改善しても全seedを改善しなかった
FFN addition improved some averages, but not every seed
ゼロ初期化した加算経路は旧6軸の三seed平均を上げましたが、最高点と別の問題集では同じ結論になりませんでした。
A zero-initialized additive path helped the historical three-seed mean, with different outcomes for the best seed and the filtered bank.
08 / Optimization学習率は部品ごとに記録し、変更の組み合わせで読む
Read learning-rate changes as named, coupled settings
「主要−10％・その他＋5％」の配分と、そこから一部を戻す試験では、得点とピーク時点が変わりました。
Grouped LR changes and partial resets altered both scores and peak ages; one base-LR label was insufficient.
09 / Memory記憶の次元を増やしても、性能は単調に伸びなかった
More memory dimensions did not produce monotonic gains
予測誤差のValue幅と、読み書きに使うKey幅を別々に変えると、結果も異なりました。
Increasing value dimensions and increasing key dimensions had different outcomes in the F memory family.
10 / Memory記憶を作れたことと、予測に役立ったことを分ける
Storing information and using it profitably are different tests
D/Cモデルの経路を止める監査では、自己変化の記憶Dと候補記憶Cで寄与が大きく違いました。
A frozen-weight intervention found very different contributions from processing-change memory D and candidate memory C.
11 / Training文章の区切り方も、学習条件の一部だった
Text boundaries and update size are part of the recipe
保存ファイルの一行を文脈として扱うか、隣接行をまとめるかで、記憶を利用する機会と更新単位が変わります。
Treating a stored line as a context or grouping adjacent lines changes both memory opportunities and optimization.
12 / Implementation速くする前に、何の計算が増えたかを測る
Measure the added computation before optimizing it
1-pass化や候補の絞り込みだけでは速度を保証できません。実際の状態更新、保存、中間値、同期まで確認します。
One pass or fewer active candidates does not guarantee speed; recurrence, saved states, and synchronization still matter.
13 / Evaluation途中の順位と、最終的な到達点を混同しない
An early ranking and a later peak answer different questions
40Mは探索予算の判断に使えますが、70M・80Mの順位や最高点を一意に決めるものではありません。
A 40M screen can guide research budgets without determining late rankings or observed peaks.
同じ表で、構造と結果を比較。
Compare configurations and outcomes.
初期表示はBaby同系列の5軸最高点順です。明確回答ボタンで、その問題集を採点済みのモデルを総正答率順に表示します。表の見出しで並べ替え、番号で部品・LR・学習時点別の内訳を開けます。
The initial view sorts the main Baby cohort by peak five-axis score. Use Clear-answer to show models evaluated on that bank, ordered by pooled accuracy. Sort any score column or open an ID for components, LRs, and results by age.
| 構造 / 部品Architecture / parts | 評価範囲Coverage | |||||
|---|---|---|---|---|---|---|
| Loading… | ||||||
同系列は比較候補の整理であり、全項目が一致する因果対照ではありません。最高点の学習量は各セルに表示。5軸と6軸が別checkpointの場合もあります。A cohort groups relevant comparisons; it does not guarantee every condition is matched. Each peak shows its training age. Five- and six-axis peaks may come from different checkpoints.
根拠をたどり、再集計できるように。
Trace the evidence and recompute the results.
この公開版は2026年11月2日時点の実験台帳のスナップショットです。302 IDのうち261件に旧評価の得点があり、38件は未採点、3件は停止・削除済みの登録情報だけが残っています。明確回答は16モデル・20checkpointを採点しています。
This is a snapshot of the experiment catalogue on November 2, 2026. Of 302 IDs, 261 have legacy scores, 38 are unscored, and three retain registry records after cancellation/deletion. The clear-answer bank covers 16 models and 20 checkpoints.
明確回答ベンチは、問題の曖昧さをAPIで審査して凍結した研究用集合です。採用した全問題の正答数をそのまま合算し、同点の選択肢は不正解とします。第三者による全問正解保証や、新たな公式BabyLM順位を意味するものではありません。モデルの選出も無作為ではありません。
The clear-answer bank is a frozen research set screened for ambiguity with an API. Its score pools correct answers across all included items, with answer-score ties counted incorrect. Screening is not a guarantee that every item is unambiguous, and this is not a new official BabyLM ranking. Model selection was not random.
出典一覧には2,690件のファイル参照を載せ、そのうち2,508件は保存されていたハッシュと今回読み取ったファイルの一致を確認しました。参照とファイル全文の公開は別です。ここでは集計データ、選んだ監査記録、元資料の識別情報を公開し、問題本文・学習データ・非公開作業パスは配布していません。記録に条件の食い違いがある2件には詳細で印を付けています。
The source index contains 2,690 file references; 2,508 were checked against their previously recorded hashes. A reference does not imply that the full underlying file is public. This release includes aggregates, selected audit records, and source identities, without redistributing question text, training data, or private working paths. Two records have configuration conflicts and are flagged in their details.
公開重みと実行コードはモデルリポジトリにあります。Released weights and executable model code are in the model repository. VISTARC-320-9L-MoS3 ↗