点数と比較条件をどう読むか
How to read scores and comparisons
学習量、seed、最高点、5軸・6軸、明確回答ベンチはそれぞれ違う意味を持ちます。
Training exposure, seeds, observed peaks, legacy aggregates, and the clear-answer bank measure different things.
学習量とseed
Exposure and seeds
Mは百万を表します。80Mは延べ8000万語の入力露出で、パラメータ数ではありません。主系列では1000万語のコーパスを繰り返して学習します。語数は空白区切りの入力語に基づき、BPEで分割したトークン数とは別です。
seedは初期乱数などを指定する値です。同じ構造と設定でも、異なるseedで学習すると異なる重みになります。途中の70M・80M・90Mを三つ測っても、独立した三つのseedにはなりません。
M means million. An 80M checkpoint has received 80 million word exposures; this is not its parameter count. The main series repeats a 10-million-word corpus. Word exposure is based on whitespace-separated input words and differs from BPE token count.
A seed controls random initialization and other random operations. Different seeds can produce different learned weights under the same architecture and recipe. Evaluating 70M, 80M, and 90M checkpoints of one run does not provide three independent seeds.
歴史的な5軸・6軸
Historical five- and six-axis scores
旧5軸はBLiMP、Supplement、EWoK、Entity Tracking、CoMPSの記録済み得点の単純平均です。旧6軸は、Global PIQAのparallelとnonparallelを平均して第6軸に加えます。各課題の問題数に比例した集計ではありません。
parallelは103問の4択、nonparallelは100問の2択です。一問の正誤だけでも、その集合の得点は約1ポイント動きます。5軸を見ればこのPIQAの影響を除けますが、seed差や他の評価項目の不確実性まで消えるわけではありません。これらは研究中のローカル集計で、コンテスト全体の得点と同一ではありません。
The legacy five-axis score is the arithmetic mean of recorded BLiMP, Supplement, EWoK, Entity Tracking, and CoMPS scores. The six-axis score adds the mean of Global PIQA parallel and nonparallel as a sixth axis. These are task-level averages, not question-count-weighted accuracy.
The parallel set has 103 four-choice questions, and nonparallel has 100 two-choice questions. One answer changes either set’s score by about one percentage point. Excluding PIQA removes that particular influence, but not seed variation or uncertainty elsewhere. These historical local aggregates are not the overall contest score.
| 問題の出典群Source task | 採用された問題数Included questions |
|---|---|
| blimp_filtered | 8392 |
| comps | 6299 |
| supplement_filtered | 1106 |
| qqp | 947 |
| mnli | 203 |
| piqa1838 | 114 |
| boolq | 53 |
| multirc | 52 |
| ewok_filtered | 30 |
| babi_qa11 | 11 |
| entity_tracking | 10 |
| mrpc | 10 |
| rte | 8 |
| proofwriter_depth2 | 7 |
| babi_qa01 | 6 |
| proofwriter_depth0 | 6 |
| babi_qa12 | 5 |
| proofwriter_depth1 | 5 |
| babi_qa13 | 3 |
| proofwriter_depth3 | 2 |
| proofwriter_depth5 | 2 |
| global_piqa_nonparallel | 1 |
| global_piqa_parallel | 1 |
| babi_qa14 | 1 |
明確回答ベンチ
The clear-answer benchmark
後から、答えの明確さをAPIによる選別で審査した17,274問の固定問題集を作りました。主得点は「正解数÷17,274×100」です。一つの問題を一点とし、ジャンルの平均を均等に混ぜ直しません。採用問題の出所別件数は診断情報として残します。
この選別は「全問の正解が人間により保証された」という意味ではありません。採用基準による偏りも残ります。現在の比較は同一問題集を完全採点できた16モデル・20地点に限ります。追加学習用課題に由来する問題も、ここでは追加学習なしの尤度比較です。公式の7課題fine-tuning得点とは分けて読んでください。
A later frozen bank contains 17,274 questions selected through an API review of answer clarity. Its primary score is 100 × correct / 17,274: one canonical question, one point. Task percentages are not rebalanced into an equal-weight average. Counts by source task remain diagnostic metadata.
API selection does not guarantee that every retained answer is unambiguous to a human. Selection bias remains. Current results cover 16 fully scored models at 20 checkpoints. Questions originating from supervised tasks are scored here without additional learning, so these numbers are separate from official seven-task fine-tuning results.
最高点と同時点平均
Observed peaks and matched-age means
最高点は、そのrunで実際に採点した地点の最大値です。5軸最高と6軸最高は別々の地点になることがあり、表には各時点を表示します。課題ごとの最高点を寄せ集めた架空の総合点は作りません。
最高点は到達実績を見るのに役立ち、同じ80M・同じ三つのseedを対応させた平均は設定の再現性を見るのに役立ちます。評価地点の多いrunは最高点を探す機会も多いため、評価範囲も併記しています。台帳の異なるデータ・推論介入・本体凍結後の追加学習は別条件群です。
An observed peak is the best checkpoint actually evaluated for a run. The five-axis and six-axis peaks may occur at different ages, which are shown separately. We do not construct a synthetic total from each task’s individual maximum.
Peaks describe demonstrated records. Means across the same three seeds at the same 80M age describe repeatability more directly. Runs with more evaluated checkpoints also have more chances to produce a peak, so coverage is shown. Different datasets, inference-only interventions, and frozen-body continuation belong to separate cohorts.
この章の根拠を調べるInspect the evidence
番号から構成と実測を確認できます。元資料の識別子・ハッシュも各モデル詳細にあります。Model IDs open recorded configurations and measurements. Source identifiers and hashes are provided in the model details.