FFN幅は、状態幅との比率だけで決められるか
Can FFN width be chosen from a single ratio?
336幅で1120・1176・1232を三seed比較すると、40Mでは1232の平均が高くなりました。
A three-seed sweep at width 336 favored FFN1232 at 40M within the tested range.
状態幅とFFN幅は違う
State width and FFN width
状態幅は層から層へ渡すベクトルの幅です。FFN中間幅は、そのベクトルを加工するときに一時的に広げる幅です。336幅でFFN1120なら約3.33倍、1176なら3.5倍、1232なら約3.67倍です。
無条件FFN加算を持つ336幅・9層を土台に、この三つを各三seed、40Mまで比較しました。実LR・WDは合わせていますが、形状が変わるため初期化と乱数消費の違いも含みます。
State width is the vector passed between layers; FFN intermediate width is the temporary expansion used to transform it. At width 336, FFN1120 is about 3.33×, FFN1176 is 3.5×, and FFN1232 is about 3.67×.
The comparison used a nine-layer, 336-wide model with unconditional FFN addition, three seeds per width, and 40M exposure. Effective LR and WD were matched, while the shape change also affected initialization and random-number consumption.
40Mで分かったこと
What the 40M comparison showed
三seed平均の6軸は1120が47.597、1176が47.858、1232が48.035でした。5軸は50.047、50.361、50.577です。1232は1176に対してBLiMPが三seedすべてで改善しましたが、平均EWoKとEntityには損失もありました。
この比較は、試した範囲の40M予算配分を1232へ寄せる根拠になりました。より広げれば必ず伸びるという結果でも、後半の最高点を決めた結果でもありません。
Mean six-axis scores were 47.597, 47.858, and 48.035 for widths 1120, 1176, and 1232. Five-axis means were 50.047, 50.361, and 50.577. FFN1232 improved BLiMP over 1176 at all three seeds, while mean EWoK and Entity scores also had losses.
This supported prioritizing 1232 within that 40M screening budget. It did not show that further widening must help or determine the late-training peak.
| FFN | 状態幅との比率FFN / state | IDs | 5軸 平均Five mean | 6軸 平均Six mean |
|---|---|---|---|---|
| 1120 | 3.333 | #108, #102, #147 | 50.047 | 47.597 |
| 1176 | 3.500 | #80, #101, #123 | 50.361 | 47.857 |
| 1232 | 3.667 | #19, #111, #88 | 50.577 | 48.035 |
この比率を他の構造へ移すとき
Transferring the ratio
約3.67倍は、この実験群で試した有望な設定です。状態幅、出力枝、加算の有無、LR、訓練量が変われば結果も変わり得ます。新しい構造へそのまま「最適比率」として持ち出すより、これらの条件をセットで記録しておく方が再利用できます。
Approximately 3.67× is a promising tested setting in this cohort. Results can change with state width, output branches, addition, LR, or training exposure. Preserve those conditions together rather than treating the ratio alone as an established optimum.