単発の最高点と、seedを変えた強さは一致しない
A single-run record can hide substantial seed variation
320幅9層とF付き384幅8層を同じ三つのseedで比べると、最高点と平均・ばらつきで見え方が変わりました。
Matched three-seed comparisons of 320-wide and 384-wide configurations change the interpretation of their best runs.
比較したもの
The comparison
比較したのは、320幅・FFN1120・9層のVISTARCと、384幅・FFN1408・8層に予測誤差の行列記憶Fを加えた構成です。各構成を20260907、731946281、137の三つのseedで学習し、同じ80M地点を同一の明確回答ベンチで採点しました。
幅、深さ、Fの有無、学習率に違いがあるため、これは構成全体の比較です。F一部品の効果だけを分離した実験ではありません。
The comparison uses a 320-wide, FFN1120, nine-layer VISTARC and a 384-wide, FFN1408, eight-layer configuration with F prediction-error memory. Both were trained with seeds 20260907, 731946281, and 137, then evaluated at the same 80M age on the same clear-answer bank.
Width, depth, F, and learning rates differ. This compares complete configurations rather than isolating the causal effect of F.
観測されたこと
What happened
最初のseedではF付き384幅が73.237％で、320幅の71.026％を上回りました。しかし二つ目のseedではほぼ並び、三つ目ではF付きが69.393％、320幅が71.628％となりました。
三つのseedの平均は320幅が71.076％、F付き384幅が71.030％です。差は約0.046ポイント。一方、標本標準偏差はそれぞれ約0.529と1.985ポイントでした。最良の一回と、平均およびばらつきは別々に評価する必要がある結果です。
At the first seed, the F-equipped 384-wide configuration scored 73.237%, above the 320-wide model’s 71.026%. The second seed was nearly tied. At the third, the F-equipped model scored 69.393% and the 320-wide model 71.628%.
The three-seed means were 71.076% and 71.030%, a difference of about 0.046 percentage points. Their sample standard deviations were about 0.529 and 1.985 points, respectively. Best-run performance and repeatability tell different stories here.
| 構造Architecture | IDs | 20260907 | 731946281 | 137 | 明確回答 平均Clear mean | 標本SDSample SD | 5軸 平均Five mean | 6軸 平均Six mean |
|---|---|---|---|---|---|---|---|---|
| 320・9層・FFN1120320 / 9L / FFN1120 | #1, #81, #26 | 71.026 | 70.574 | 71.628 | 71.076 | 0.529 | 51.123 | 48.690 |
| 384・8層・FFN1408・F16×16384 / 8L / FFN1408 / F16×16 | #277, #294, #302 | 73.237 | 70.458 | 69.393 | 71.030 | 1.985 | 51.103 | 49.220 |
共有したい知見
The useful lesson
最高点だけから「この構造は安定して強い」と決めると、次のseedへの期待を誤ります。この比較では、384幅の単発記録は残したまま、320幅の平均の近さと小さな観測ばらつきも報告するのが適切です。
三つのseedは一般的な頑健性を確定するには少数です。この結果からあらゆる320幅が安定する、または384幅が不安定になるという法則までは作れません。
Selecting only the best run can produce misleading expectations for the next seed. The 384-wide single-run record remains valid, while the 320-wide configuration’s similar mean and smaller observed spread must also be reported.
Three seeds are still a small sample. This does not establish that all 320-wide models are stable or all 384-wide models are unstable.