Таблица префилла переснята: модель быстрее, чем утверждала карточка

У прежней строки 2496 / 1799 / 1140 / 648 не было квитанции в репозитории —
сплошная сверка чисел пошла её искать и не нашла. Сняты они были до правок
арены, плана позиций и распределителя.

131 072: 2496 -> 3840 т/с (34 с)
262 144: 1799 -> 2400 т/с (109 с)
524 288: 1140 -> 1375 т/с (381 с)
1 010 000: 648 -> 768 т/с (22 мин)

Ловушка замера, вынесенная в карточку: первый запрос в свежем процессе
компилирует ядра Triton на ходу. Холодные 131 072 дают 2277 т/с, прогретые
3840 — та же работа, разница 41%. Опубликовано прогретое, потому что его и
выдаёт работающий сервер.

Плюс квитанция на арифметику карты позиций: 447 941 и 251 333 проверены
счётом, и названа опущенная тонкость — пары 15-21 кладут последний токен
на 415 173, а не туда же, куда остальные.

README.md

@@ -305,15 +305,29 @@ at stock clocks, `turboquant_3bit_nc`, one sequence.
 
 | context | read time | tokens/s |
 |---:|---:|---:|
-| 131,072 | 52 s | 2496 |
-| 262,144 | 146 s | 1799 |
-| 524,288 | 460 s (7.7 min) | 1140 |
-| 1,010,000 | **26 min** | 648 |
+| 131,072 | 34 s | **3840** |
+| 262,144 | 109 s | **2400** |
+| 524,288 | 381 s (6.4 min) | **1375** |
+| 1,010,000 | **22 min** | **768** |
 
 RTX 4090: 32,768 tokens in 38 s (861 tok/s).
 
+> **Re-measured 2026-07-26, and the old row was slower than the model.** This
+> table used to read 2496 / 1799 / 1140 / 648. Those numbers had **no receipt in
+> this repository** — an audit of every figure in the card went looking and found
+> none — and they were taken before the arena, the position map and the allocator
+> settings changed. Re-measured on the release configuration with `max_tokens=1`,
+> the model is 18–54% faster than the card claimed
+> (`receipts/prefill_table.json`, reproduced by `prefill_table.py`).
+>
+> One measurement trap worth passing on: the **first** request in a fresh process
+> compiles Triton kernels while it runs. Measured cold, 131,072 tokens gives
+> 2277 tok/s; measured after one warm-up request, 3840 — the same work, 41%
+> apart. The table above is the warm figure, which is what a running server
+> delivers. The first request a user makes will be the slow one.
+
 The slowdown with length is attention's quadratic cost rather than an
-implementation flaw: 460 s at 524,288 is *faster* than a pure quadratic
+implementation flaw: 381 s at 524,288 is *faster* than a pure quadratic
 extrapolation from 262,144.
 
 **The second question about the same text is nearly free.** Prefix caching gives
@@ -608,6 +622,14 @@ answers. It is not that the attention layers are ignored — they clearly respon
 It is that whatever they contribute at this length is not what decides whether
 the needle is found.
 
+Those two positions are arithmetic, and checkable:
+`251,333 = 1,005,333 // 4` for bare division, `447,941 = 262,144 + (1,005,333 −
+262,144) // 4` for the faithful prefix. One refinement the sentence above
+glosses over: the shipped map does not place the last token at a single
+position. Pairs 15–21 carry the earlier stage too and land at **415,173**; the
+other twenty-six pairs land at 447,941
+(`receipts/POSITION_MAP_ARITHMETIC_RECEIPT.json`).
+
 None of this changes the shipped choice, and the reason it was chosen never
 depended on the million: below 262,144 the map is the identity and therefore
 cannot spoil anything inside the trained window, which no other candidate can
@@ -984,15 +1006,29 @@ RTX 5090, заводские частоты, кодек `turboquant_3bit_nc`, о
 
 | контекст | сколько читается | токенов в секунду |
 |---:|---:|---:|
-| 131 072 | 52 с | 2496 |
-| 262 144 | 146 с | 1799 |
-| 524 288 | 460 с (7.7 мин) | 1140 |
-| 1 010 000 | **26 мин** | 648 |
+| 131 072 | 34 с | **3840** |
+| 262 144 | 109 с | **2400** |
+| 524 288 | 381 с (6.4 мин) | **1375** |
+| 1 010 000 | **22 мин** | **768** |
+
+> **Переснято 2026-07-26, и прежняя строка была медленнее самой модели.** Здесь
+> стояло 2496 / 1799 / 1140 / 648. У этих чисел **не было квитанции в
+> репозитории** — сплошная сверка всех цифр карточки пошла её искать и не нашла,
+> — и сняты они были до правок арены, плана позиций и распределителя. Замер на
+> релизной сборке с `max_tokens=1` показал, что модель на 18–54% быстрее, чем
+> утверждала карточка (`receipts/prefill_table.json`, воспроизводится
+> `prefill_table.py`).
+>
+> Одну ловушку замера стоит передать дальше: **первый** запрос в свежем процессе
+> компилирует ядра Triton прямо на ходу. На холодную 131 072 токена дают
+> 2277 т/с, после одного прогревочного запроса — 3840. Та же работа, разница 41%.
+> В таблице стоит прогретое число, потому что именно его выдаёт работающий
+> сервер. Первый запрос пользователя будет медленным.
 
 RTX 4090: 32 768 токенов за 38 с (861 т/с).
 
 Спад с ростом контекста — квадратичная стоимость внимания, а не изъян
-реализации: 460 с на 524 288 токенах **быстрее** чистой квадратичной
+реализации: 381 с на 524 288 токенах **быстрее** чистой квадратичной
 экстраполяции от 262 144.
 
 **Второй вопрос по тому же тексту почти бесплатен.** Кэш префикса даёт
@@ -1282,6 +1318,13 @@ YaRN делает две вещи, и каждая стоила примерно
 они явно откликаются. Дело в том, что их вклад на такой длине не решает, будет
 закладка найдена или нет.
 
+Обе позиции — арифметика, и её можно проверить: `251 333 = 1 005 333 // 4` для
+голого деления, `447 941 = 262 144 + (1 005 333 − 262 144) // 4` для карты с
+верным началом. Одну тонкость фраза выше сглаживает: отгружаемая карта кладёт
+последний токен не в одну точку. Пары 15–21 несут ещё и первую ступень и
+попадают на **415 173**, прочие двадцать шесть — на 447 941
+(`receipts/POSITION_MAP_ARITHMETIC_RECEIPT.json`).
+
 Релизный выбор от этого не меняется, и его причина никогда не опиралась на
 миллион: до 262 144 карта тождественна и потому ничего не может испортить внутри
 обученного окна, чего не может заявить ни один другой вариант. А выше ни одна из

prefill_table.py

@@ -0,0 +1,93 @@
+#!/usr/bin/env python3
+"""Таблица префилла на релизной сборке. Замер, а не наследство.
+
+Зачем. В карточке таблица 131К 2496 т/с, 262К 1799, 524К 1140, 1M 648 подана как
+замеренная, но квитанции у неё в репозитории нет — сплошная сверка чисел этого не
+нашла. Карточка при этом обещает: «каждое число ниже замерено на нашем железе и
+имеет квитанцию». Значит либо квитанция, либо число уходит.
+
+Кроме того числа расходятся с сегодняшними прогонами процентов на семнадцать —
+конфигурация с тех пор менялась (арена, план позиций, распределитель), так что
+старые значения могли просто устареть.
+
+Как мерится. `max_tokens=1`, чтобы декод не размазывал итог: одна ступень декода
+стоит около 150 мс, и на коротких длинах это заметная доля. Отдельно пишется
+время до первого токена, которое движок сообщает сам, — из него и считается
+скорость префилла. Промпт подаётся идентификаторами: построение текстом
+повторами даёт не ту длину, на которой думаешь мерить.
+"""
+from __future__ import annotations
+
+import argparse, json, os, time
+
+
+def main() -> int:
+    ap = argparse.ArgumentParser()
+    ap.add_argument("--model", required=True)
+    ap.add_argument("--out", required=True)
+    ap.add_argument("--lengths", default="131072,262144,524288,1010000")
+    args = ap.parse_args()
+    lengths = [int(x) for x in args.lengths.split(",")]
+
+    from vllm import LLM, SamplingParams
+
+    t0 = time.time()
+    llm = LLM(model=args.model)                 # без флагов: профиль решает всё
+    load_s = round(time.time() - t0, 1)
+    cfg = llm.llm_engine.vllm_config
+    tok = llm.get_tokenizer()
+
+    unit = ("Полярная станция ведёт наблюдения за дрейфом льда, и записи "
+            "хранятся в общем журнале смены. ")
+    per = len(tok(unit).input_ids)
+
+    rows = []
+    for n in lengths:
+        text = unit * (n // max(per - 1, 1) + 64)
+        ids = tok(text).input_ids[:n]
+        if len(ids) < n:
+            rows.append({"target": n, "error": "корпус короче цели"})
+            continue
+        t1 = time.time()
+        out = llm.generate([{"prompt_token_ids": ids}],
+                           SamplingParams(temperature=0.0, max_tokens=1))
+        wall = time.time() - t1
+        m = out[0].metrics
+        ttft = None
+        if m is not None and getattr(m, "first_token_time", None) and \
+           getattr(m, "first_scheduled_time", None):
+            ttft = m.first_token_time - m.first_scheduled_time
+        rows.append({
+            "tokens": len(ids),
+            "wall_seconds": round(wall, 2),
+            "wall_tokens_per_second": round(len(ids) / wall, 1),
+            "time_to_first_token_seconds": round(ttft, 2) if ttft else None,
+            "prefill_tokens_per_second": round(len(ids) / ttft, 1) if ttft else None,
+        })
+        print(json.dumps(rows[-1], ensure_ascii=False), flush=True)
+
+    receipt = {
+        "schema": "lomonosov_zenit_prefill_table_v2",
+        "what_this_shows": "скорость префилла на релизной сборке, max_tokens=1",
+        "supersedes": "таблица карточки 131К 2496 / 262К 1799 / 524К 1140 / 1M 648 — "
+                      "без квитанции в репозитории и снятая до правок арены, плана "
+                      "позиций и распределителя",
+        "load_seconds": load_s,
+        "max_model_len": int(cfg.model_config.max_model_len),
+        "kv_cache_dtype": str(cfg.cache_config.cache_dtype),
+        "arena_bytes": getattr(cfg.cache_config, "kv_cache_memory_bytes", None),
+        "chunk": int(cfg.scheduler_config.max_num_batched_tokens),
+        "enforce_eager": bool(cfg.model_config.enforce_eager),
+        "pytorch_cuda_alloc_conf": os.environ.get("PYTORCH_CUDA_ALLOC_CONF"),
+        "position_stages": os.environ.get("ZENIT_POSITION_STAGES"),
+        "clocks": "заводские, не фиксировались",
+        "rows": rows,
+    }
+    with open(args.out, "w", encoding="utf-8") as fh:
+        json.dump(receipt, fh, ensure_ascii=False, indent=1)
+    print(json.dumps(receipt, ensure_ascii=False, indent=1))
+    return 0
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())

receipts/POSITION_MAP_ARITHMETIC_RECEIPT.json

@@ -0,0 +1,29 @@
+{
+ "schema": "lomonosov_zenit_position_map_arithmetic_v1",
+ "what_this_shows": "куда три карты кладут последний токен промпта на 1 005 334 токена",
+ "why": "числа 447 941 и 251 333 стоят в карточке как замеренные; это арифметика, и она обязана быть проверяемой, а не приниматься на слово",
+ "last_token_position": 1005333,
+ "stages_from_config": [
+  {
+   "from": 196608,
+   "group": 2,
+   "first_pair": 15,
+   "last_pair": 21
+  },
+  {
+   "from": 262144,
+   "group": 4,
+   "first_pair": 0,
+   "last_pair": 31
+  }
+ ],
+ "bare_floor_div_4": 251333,
+ "faithful_prefix_then_div_4": 447941,
+ "staged_map_pairs_15_21": 415173,
+ "staged_map_other_pairs": 447941,
+ "card_figures": {
+  "447941": true,
+  "251333": true
+ },
+ "note": "отгружаемая ступенчатая карта кладёт последний токен НЕ в одну точку: пары 15-21 попадают на 415173, прочие 26 пар — на 447941. Прежняя формулировка карточки называла только вторую цифру."
+}

receipts/prefill_table.json

@@ -0,0 +1,53 @@
+{
+ "schema": "lomonosov_zenit_prefill_table_v2",
+ "what_this_shows": "скорость префилла на релизной сборке, max_tokens=1",
+ "supersedes": "таблица карточки 131К 2496 / 262К 1799 / 524К 1140 / 1M 648 — без квитанции в репозитории и снятая до правок арены, плана позиций и распределителя",
+ "load_seconds": 50.3,
+ "max_model_len": 1010001,
+ "kv_cache_dtype": "turboquant_3bit_nc",
+ "arena_bytes": 13000000000,
+ "chunk": 4096,
+ "enforce_eager": true,
+ "pytorch_cuda_alloc_conf": "expandable_segments:True",
+ "position_stages": "[{\"from\":196608,\"group\":2,\"first_pair\":15,\"last_pair\":21},{\"from\":262144,\"group\":4,\"first_pair\":0,\"last_pair\":31}]",
+ "clocks": "заводские, не фиксировались",
+ "rows": [
+  {
+   "tokens": 131072,
+   "wall_seconds": 57.57,
+   "wall_tokens_per_second": 2276.9,
+   "time_to_first_token_seconds": null,
+   "prefill_tokens_per_second": null
+  },
+  {
+   "tokens": 262144,
+   "wall_seconds": 109.22,
+   "wall_tokens_per_second": 2400.1,
+   "time_to_first_token_seconds": null,
+   "prefill_tokens_per_second": null
+  },
+  {
+   "tokens": 524288,
+   "wall_seconds": 381.32,
+   "wall_tokens_per_second": 1374.9,
+   "time_to_first_token_seconds": null,
+   "prefill_tokens_per_second": null
+  },
+  {
+   "tokens": 1010000,
+   "wall_seconds": 1315.46,
+   "wall_tokens_per_second": 767.8,
+   "time_to_first_token_seconds": null,
+   "prefill_tokens_per_second": null
+  }
+ ],
+ "cold_start_note": "точка 131 072 в rows снята ПЕРВОЙ в процессе и потому платит компиляцию ядер Triton на ходу: 2276.9 т/с. После прогревочного запроса на 8 192 та же длина даёт 3839.7 т/с — разница 41%. В карточке стоит прогретое число.",
+ "warm_131072_tokens_per_second": 3839.7,
+ "warm_run_receipt": "prefill_warm131k.json",
+ "published_table": {
+  "131072": 3839.7,
+  "262144": 2400.1,
+  "524288": 1374.9,
+  "1010000": 767.8
+ }
+}

receipts/prefill_warm131k.json

@@ -0,0 +1,30 @@
+{
+ "schema": "lomonosov_zenit_prefill_table_v2",
+ "what_this_shows": "скорость префилла на релизной сборке, max_tokens=1",
+ "supersedes": "таблица карточки 131К 2496 / 262К 1799 / 524К 1140 / 1M 648 — без квитанции в репозитории и снятая до правок арены, плана позиций и распределителя",
+ "load_seconds": 50.4,
+ "max_model_len": 1010001,
+ "kv_cache_dtype": "turboquant_3bit_nc",
+ "arena_bytes": 13000000000,
+ "chunk": 4096,
+ "enforce_eager": true,
+ "pytorch_cuda_alloc_conf": "expandable_segments:True",
+ "position_stages": "[{\"from\":196608,\"group\":2,\"first_pair\":15,\"last_pair\":21},{\"from\":262144,\"group\":4,\"first_pair\":0,\"last_pair\":31}]",
+ "clocks": "заводские, не фиксировались",
+ "rows": [
+  {
+   "tokens": 8192,
+   "wall_seconds": 24.19,
+   "wall_tokens_per_second": 338.7,
+   "time_to_first_token_seconds": null,
+   "prefill_tokens_per_second": null
+  },
+  {
+   "tokens": 131072,
+   "wall_seconds": 34.14,
+   "wall_tokens_per_second": 3839.7,
+   "time_to_first_token_seconds": null,
+   "prefill_tokens_per_second": null
+  }
+ ]
+}