学習率は部品ごとに記録し、変更の組み合わせで読む
Read learning-rate changes as named, coupled settings
「主要−10%・その他+5%」の配分と、そこから一部を戻す試験では、得点とピーク時点が変わりました。
Grouped LR changes and partial resets altered both scores and peak ages; one base-LR label was insufficient.
「主要」と「その他」の中身
What the groups mean
この384幅系列の主要グループは、Attention・FFNなどの大きな投影やMoS行列を含みます。その他には埋め込み、正規化係数、候補帰還の係数、温度、Readerなどが含まれます。実際の分類はモデルのparameter名で固定してあり、一般的な部品分類の標準ではありません。
基準から主要を10%下げ、その他を5%上げた構成では、主要実LRは0.00048→0.00042→0.00036になります。「0%へ戻す」は基準LRに戻すという意味で、学習率ゼロや凍結ではありません。
In this 384-wide series, the main group includes large Attention/FFN projections and MoS matrices. Other parameters include embeddings, normalization gains, feedback coefficients, temperature, and Reader parameters. Membership is fixed by parameter name; these labels are not a universal component taxonomy.
Reducing the main group by 10% and raising the others by 5% gives a main schedule of 0.00048 → 0.00042 → 0.00036. Resetting an item to 0% means returning to its reference LR, not freezing it or setting LR to zero.
一部を戻した結果
Partial resets
全体配分版から8種類48tensorを基準LRへ戻した設定では、最高6軸48.947を80Mで記録しました。そこから帰還係数α・候補温度τ・Attention gate biasを再び+5%へ戻した設定は、最高6軸48.609を70Mで記録しました。
三項目を一緒に変えているので、この低下をαだけ、τだけ、biasだけの責任に分解できません。また前者と後者は70Mだけを見ると後者が上で、80Mでは前者が上です。変更の符号と最終順位を一対一で結び付けるのは危険です。
Resetting eight parameter types, 48 tensors, from the grouped recipe to their reference LRs produced a six-axis peak of 48.947 at 80M. Raising feedback α, candidate temperature τ, and Attention gate bias back to +5% then produced a peak of 48.609 at 70M.
Because all three types changed together, the decline cannot be assigned to α, τ, or bias alone. The latter configuration was better at 70M, while the former was better at 80M. The direction of an LR adjustment does not map to a fixed ranking across ages.
| ID | 構造:状態幅 / FFN / 層Structure: width / FFN / layers | Seed | 学習量Exposure | 5軸Five | 6軸Six |
|---|---|---|---|---|---|
| #31 | 384 / FFN 1408 / 9L | 20260907 | 40M | 50.316 | 48.286 |
| #31 | 384 / FFN 1408 / 9L | 20260907 | 70M | 50.618 | 48.854 |
| #31 | 384 / FFN 1408 / 9L | 20260907 | 80M | 50.634 | 48.960 |
| #3 | 384 / FFN 1408 / 9L | 20260907 | 40M | 50.474 | 48.079 |
| #3 | 384 / FFN 1408 / 9L | 20260907 | 70M | 51.354 | 49.642 |
| #3 | 384 / FFN 1408 / 9L | 20260907 | 80M | 50.732 | 48.713 |
| #268 | 384 / FFN 1408 / 9L | 20260907 | 40M | 50.812 | 48.116 |
| #268 | 384 / FFN 1408 / 9L | 20260907 | 70M | 51.048 | 48.562 |
| #268 | 384 / FFN 1408 / 9L | 20260907 | 80M | 51.306 | 48.947 |
| #269 | 384 / FFN 1408 / 9L | 20260907 | 70M | 51.298 | 48.609 |
| #269 | 384 / FFN 1408 / 9L | 20260907 | 80M | 51.076 | 48.508 |
再利用できる記録
A reusable record
細分化した探索の価値は、部品名に加えて実LR・WDと切替時点が残ることです。次に使う人は、「その他+5%」という略称だけでなく、詳細にあるparameter名と数値を確認できます。
これまでの結果から、各部品を独立に少し動かせば得点を足し算で予測できる法則は確立していません。本文ではその未解決も含め、成功した配分と下がった配分を同じ表に残しています。
Fine-grained searches are reusable when component names, effective LRs, WD, and schedule boundaries are retained. Readers can inspect named parameters instead of relying on a shorthand such as “other +5%”.
The experiments have not established an additive rule that predicts performance by independently nudging each component. Both successful and unsuccessful allocations remain visible.