記憶の次元を増やしても、性能は単調に伸びなかった
More memory dimensions did not produce monotonic gains
予測誤差のValue幅と、読み書きに使うKey幅を別々に変えると、結果も異なりました。
Increasing value dimensions and increasing key dimensions had different outcomes in the F memory family.
二つの次元は別の役割
Two dimensions, two roles
Fでは、保存する予測の食い違いを表すValueと、どの状態でその情報を使うかを対応付けるKeyを使います。元の小行列は16×16です。ここでいう16は特徴の幅で、保持する過去トークン数の上限ではありません。
同じ8層の構成を土台に、Valueだけ32、Keyだけ32、両方32へ広げた試行を比較しました。行列の容量、投影の形、初期化が連動して変わるため、単なるメモリ容量だけの比較にはなりません。
F uses a value representation of prediction discrepancy and a key representation for associating information with the state in which it should be used. The original small matrix has 16×16 dimensions. Sixteen is a feature width, not a limit of sixteen past tokens.
Using the same eight-layer family, experiments increased only value width, only key width, or both to 32. Memory capacity, projection shapes, and initialization changed together.
観測された差
Observed differences
元の16×16の最高6軸は49.771。Value32・Key16は48.568、Value16・Key32は49.232、32×32は48.465でした。5軸でも、Keyだけを広げた設定は51.642で元の51.660に近く、Valueだけを広げた設定は50.358でした。
少なくともこのseedと訓練条件では、「幅を増やせば情報を残せるので強くなる」という単純な予測は外れました。読み出し側の識別と、書き込む情報の次元は分けて考える必要があります。
The 16×16 baseline reached a six-axis peak of 49.771. Value32/Key16 reached 48.568, Value16/Key32 reached 49.232, and 32×32 reached 48.465. On five axes, the key-only expansion reached 51.642, close to the baseline’s 51.660, while the value-only expansion reached 50.358.
For this seed and recipe, simply retaining more dimensions did not improve prediction. The dimensions used to store content and those used to address it have distinct roles.
| ID | 構造：状態幅 / FFN / 層Structure: width / FFN / layers | Seed | 5軸最高Peak five | その時点Age | 6軸最高Peak six | その時点Age |
|---|---|---|---|---|---|---|
| #277 | 384 / FFN 1408 / 8L · F 16×16 | 20260907 | 51.660 | 70.0M | 49.771 | 80.0M |
| #289 | 384 / FFN 1408 / 8L · F 32×16 | 20260907 | 50.358 | 80.0M | 48.568 | 80.0M |
| #290 | 384 / FFN 1408 / 8L · F 16×32 | 20260907 | 51.642 | 80.0M | 49.232 | 80.0M |
| #288 | 384 / FFN 1408 / 8L · F 32×32 | 20260907 | 50.806 | 100.0M | 48.465 | 70.0M |
| #291 | 384 / FFN 1408 / 8L · F 16×16 | 20260907 | 50.684 | 80.0M | 48.500 | 70.0M |
| #292 | 384 / FFN 1408 / 8L · F 16×16 | 20260907 | 50.592 | 100.0M | 48.732 | 80.0M |
| #293 | 384 / FFN 1408 / 8L · F 16×16 | 20260907 | 51.124 | 70.0M | 49.038 | 70.0M |
まだ解けていない点
What remains unresolved
この結果だけでは、次元増加そのもの、投影の学習、初期スケール、他部品との相互作用のどれが低下を生んだかは確定しません。履歴を外す版、しきい値で候補を選ぶ版、Delta型の書き換え版も台帳にありますが、同じ名称の「記憶改善」として一括りにしない方がよい結果です。
The scores do not isolate whether the loss came from dimensionality, projection learning, initial scale, or interaction with other components. History removal, candidate thresholding, and delta-style rewriting were also tested and are retained in the catalogue. They represent different interventions, not interchangeable memory improvements.