文章の区切り方も、学習条件の一部だった
Text boundaries and update size are part of the recipe
保存ファイルの一行を文脈として扱うか、隣接行をまとめるかで、記憶を利用する機会と更新単位が変わります。
Treating a stored line as a context or grouping adjacent lines changes both memory opportunities and optimization.
同じコーパスでも同じ学習にはならない
The same corpus can define a different training problem
記憶を持つモデルでは、どこで状態をリセットするかが、そのモデルに何を覚えさせるかを決めます。短い保存行ごとにリセットすれば、行をまたぐ情報は使えません。隣接行をまとめれば文脈は長くなりますが、そのまとまりが本当の文書境界と一致するとは限りません。
同様に、一更新で何個の予測位置をまとめるかも重要です。ファイルの行長に応じて更新回数や平均の取り方が変わると、同じLRと総語数でもoptimizerが受ける系列が変わります。
For a memory model, reset boundaries determine which information can persist. Resetting at every short stored line prevents cross-line use. Grouping adjacent lines gives longer contexts, but those groups are not necessarily true document boundaries.
The number of supervised positions in an optimizer update also matters. If line lengths change update counts or averaging, identical LR and word exposure do not imply the same optimization trajectory.
Dのみの系列で修正したもの
A D-only recipe correction
初期のDのみモデルは行単位の文脈・可変更新・LR固定でした。後のモデルは隣接行グループ、4096位置を基本にする更新、0.0004→0.00035→0.0003のscheduleへ変えています。複数条件を同時に変えた比較です。
最高5軸は50.026から50.272へ上がる一方、最高6軸は47.594から47.440へ下がりました。実装条件をそろえる修正が、そのまま全指標の改善になるとは限りません。
The initial D-only model used line-level contexts, variable-size updates, and a constant LR. A later version used adjacent-line groups, updates based on 4096 positions, and a 0.0004 → 0.00035 → 0.0003 schedule. Several conditions changed together.
The five-axis peak rose from 50.026 to 50.272, while the six-axis peak fell from 47.594 to 47.440. Correcting recipe comparability did not automatically improve every aggregate.
| ID | 構造：状態幅 / FFN / 層Structure: width / FFN / layers | Seed | 5軸最高Peak five | その時点Age | 6軸最高Peak six | その時点Age |
|---|---|---|---|---|---|---|
| #298 | 384 / FFN 1408 / 8L · D 7×(128×384) | 20260907 | 50.026 | 80.0M | 47.594 | 70.0M |
| #299 | 384 / FFN 1408 / 8L · D 7×(128×384) | 20260907 | 50.272 | 80.0M | 47.440 | 80.0M |
| #300 | 384 / FFN 1408 / 8L · D 7×(128×384) | 20260907 | 49.930 | 80.0M | 47.312 | 80.0M |
| #301 | 384 / FFN 1408 / 8L · D 7×(128×384) | 20260907 | 50.258 | 80.0M | 47.722 | 70.0M |
公開するときに必要な情報
What should accompany a result
モデル構造と総語数だけでは再現に足りません。トークン化、文脈を切る規則、Attention mask、記憶reset、最後の端数更新、lossを平均する単位、データの次位置まで記録する必要があります。
この知見集の設定詳細は既存記録の範囲を公開しています。欠けた項目は未確認として残し、ファイル名だけから推定して埋めていません。
Architecture and exposure alone are insufficient for reproduction. Tokenization, context splitting, Attention masks, memory resets, partial final updates, loss averaging, and the next data position all belong in the recipe.
The explorer publishes the available records. Missing settings remain unknown rather than being inferred from a filename.