途中の順位と、最終的な到達点を混同しない
An early ranking and a later peak answer different questions
40Mは探索予算の判断に使えますが、70M・80Mの順位や最高点を一意に決めるものではありません。
A 40M screen can guide research budgets without determining late rankings or observed peaks.
なぜ途中で比べるのか
Why evaluate early?
すべての候補を長く学習するには時間がかかります。40Mの評価は、次に計算を配分する候補を絞るために使いました。ただし、同じ課題の後半順位を予測することと、80Mの総合点を予測することは違います。ある課題の順位が持続しても、それだけで総合点の順位を当てられるとは限りません。
Training every candidate for a long horizon is expensive. The 40M evaluations helped allocate further compute. Predicting the later rank of the same task differs from predicting an 80M aggregate: persistence in one task does not guarantee accurate aggregate selection.
同じrunでもピークは違う
Peaks occur at different ages
384幅の主要−10％・その他＋5％モデルは6軸49.642を70Mで記録し、80Mでは48.713でした。F付き8層は6軸最高が80Mの49.771ですが、5軸最高は70Mの51.660です。後で下がっても、実際に到達した途中最高を取り消す理由にはなりません。
一方で、最高点を選ぶ際に何地点を測ったかは公平な比較に関係します。表には採点済みの全時点を残し、同時点の比較も開けるようにしています。
The 384-wide main−10%/other+5% model reached 49.642 on six axes at 70M, then 48.713 at 80M. The F-equipped eight-layer model peaked on six axes at 80M with 49.771, but on five axes at 70M with 51.660. A later decline does not erase a demonstrated earlier peak.
The number of evaluated checkpoints still affects peak-selection opportunities. All available ages remain visible, and the explorer also permits matched-age inspection.
| ID | 構造：状態幅 / FFN / 層Structure: width / FFN / layers | Seed | 学習量Exposure | 5軸Five | 6軸Six |
|---|---|---|---|---|---|
| #3 | 384 / FFN 1408 / 9L | 20260907 | 40M | 50.474 | 48.079 |
| #3 | 384 / FFN 1408 / 9L | 20260907 | 70M | 51.354 | 49.642 |
| #3 | 384 / FFN 1408 / 9L | 20260907 | 80M | 50.732 | 48.713 |
| #277 | 384 / FFN 1408 / 8L · F 16×16 | 20260907 | 70M | 51.660 | 49.487 |
| #277 | 384 / FFN 1408 / 8L · F 16×16 | 20260907 | 80M | 51.598 | 49.771 |
| #277 | 384 / FFN 1408 / 8L · F 16×16 | 20260907 | 90M | 50.106 | 47.692 |
| #277 | 384 / FFN 1408 / 8L · F 16×16 | 20260907 | 100M | 50.484 | 48.673 |
| #268 | 384 / FFN 1408 / 9L | 20260907 | 40M | 50.812 | 48.116 |
| #268 | 384 / FFN 1408 / 9L | 20260907 | 70M | 51.048 | 48.562 |
| #268 | 384 / FFN 1408 / 9L | 20260907 | 80M | 51.306 | 48.947 |
| #269 | 384 / FFN 1408 / 9L | 20260907 | 70M | 51.298 | 48.609 |
| #269 | 384 / FFN 1408 / 9L | 20260907 | 80M | 51.076 | 48.508 |
この記録をどう使うか
How to use these records
初期評価では総合点と課題別の得失を読み、後半の伸びを断定せずに予算判断をします。結果が出た後は、その見立てが外れた例も残します。説明のもっともらしさと、未見runを予測できることは別だからです。
この知見集は、幅・深さ・LRから最高点を正確に予測する公式を得たという報告ではありません。どの条件を変えると何が起きたかを、後の研究者が検討できる形で残す資料です。
Use early totals together with task-level gains and losses for budget decisions, while retaining uncertainty about later growth. Once late results arrive, keep the failed forecasts too. A plausible explanation and successful prediction of an unseen run are different achievements.
This notebook does not claim a formula that accurately predicts peak performance from width, depth, and LR. It preserves what happened under specified changes so others can examine and build on the evidence.