今週のTOPIC

[paper] Functional Flexibility in Generative AI Interfaces: Text Editing with LLMs through Conversations, Toolbars, and Prompts

LLMを用いたテキスト編集を行う際のインタラクションについての研究。『AIインターフェースデザイン』で紹介されていて興味を持った。HCI系の論文ってあんまり読んできていないなとも思ったので。

結論：ユーザーは、会話型インタフェースが提供されている場合でも、短くコマンド的なプロンプトを好む傾向があり、ツールバーボタンと自由入力欄の組み合わせが提供された場合に最もパフォーマンスが高かった。日常的タスクについてはワンクリック操作の効率性を求める一方で、複雑または新規の依頼については自然言語の柔軟性も求めている。

ただ、サンプル数は少ない。あと、あくまで当時のLLMの性能という前提はどうしてもあるなと思った。

実験が、ChatGPT UI が一般的になる（2022年くらい）前に行われているという意味では興味深い。「生成AI＝チャット形式で対話するもの」という先入観がない状態での実験と言える。

CUI単体の対話型UI（Study1）ツールボタンとのハイブリット型UI（Study2）でシステムユーザビリティスケール（SUS）テストの結果を比較すると、ハイブリット型のほうが良い結果となった。

• 研究1（CUI単体）：83.5 (Excellent)

• 研究2（ハイブリッド）：87.29 (Best in class)

 

[blog] DFlash 2: Keep Drafting Parallel

DFlash 2は、LLM推論の高速化手法である投機的デコーディング（Speculative Decoding）において、「完全並列（ワンパス）でのドラフト生成」を維持したまま、受容されるトークン数を大幅に増やすことで推論を高速化しています。

従来の投機的デコーディングでは小型モデルが1トークンずつ自己回帰的にドラフトを行っていましたが、初代DFlashはブロック全体のトークンを1回のフォワードパスで並列予測する方式を採用しました。DFlash 2では、並列予測特有の課題であった「単語同士のつながり（一貫性）の欠落」と「ブロック後半の精度低下」を、極めて小さな計算コストで解決する2つの新機構を導入しています。

 

1. 軽量パスセレクタ（Lightweight Path Selector）

• 背景にある課題: 各位置のトークンを独立して予測すると、個々の単語としてはもっともらしくても、連続させると同じ単語を繰り返すなど一貫性が崩れ、ターゲットモデルの検証で途中で破棄されてしまいます。しかし分析の結果、第1位置のTop-1予測の正解率は85.4%であるのに対し、上位16候補（Top-16）の中には99.5%の確率で正解が含まれていることが判明しました。

• 高速化の仕組み: 高コストなモデルで順次修正するのではなく、各位置でTop-16の候補を保持し、隣接する候補ペア（前後のつながり）の適合度をワンショットで完全に並列スコアリングします。 スコアはDFlash自身のロジットと、256次元のコンパクトな埋め込みによる低ランク双線形アテンション（コンテキストゲート付き）を組み合わせて算出されます。最後に事前計算されたスコア上を辿ることで、破棄されにくい自然な1本のトークンパスを選択します。
• 低ランク双線形アテンション: 通常の高コストな自己回帰モデル（LMヘッドや大規模なバックボーン）を再実行する代わりに、低次元埋め込みと双線形の内積演算を用いることで、計算コストを最小限にするものらしい

• 効果: パラメータ増加はわずか2.0M、サイクルレイテンシ増加は0.6%にとどまり、自己回帰的な修正手法（DSparkなど）に比べて大幅に低オーバーヘッドで受容長（1回あたりに採択されるトークン数）を引き上げます。

---

2. Two-tap Dynamic Convolution

なぜ導入されたのか？

（課題：Suffix Decay）並列ドラフトでは、ブロックの後半（末尾）に進むほどトークンの予測精度が下がる「Suffix Decay」という現象が発生します。

• ドラフトモデルのTransformer層のアテンションは本来、「それまでの文脈を読むこと」と「ブロック内のトークン間の依存関係を処理すること」の2つの役割を持ちます4。 • しかし層が深くなるにつれて、ブロック内の依存関係に割かれるアテンションの割合が激減（第1層の30%から第5層では8%に低下）し、ごく一部のヘッドに集中してしまいます。

• かといってTransformer層自体を何層も増やすと、計算コストが跳ね上がり並列予測の高速性が失われます。

• 分析の結果、ブロック内の依存関係は基本的に隣接するトークン同士（局所的）であることが判明したため、「文脈の読み込みはアテンションに任せ、ブロック内の局所的な情報伝達は畳み込みに任せる」という役割分担を行いました。

 

数式と仕組み

ドラフトモデルの各層において、アテンション層およびMLP（Feed-Forward）層の前後にそれぞれ挿入されます16。各位置 $t$ における計算式は以下の通りです

• 「2タップ」の意味: フィルターの参照幅（カーネルサイズ）が2であることを指します。各位置 は、「自分自身の表現 ()」と「1つ前の位置の表現 ()」の2つのみを混合します。
• なお、ブロックの先頭位置（第1位置）の には、直前にターゲットモデルで検証済みのトークンの表現が入力されます。

• 「動的（Dynamic）」の意味: 畳み込みの重み係数（カーネル）が固定値ではなく、入力された隠れ状態（コンテキスト）に応じて動的に適応・調整されます。学習されたベースカーネルに、現在の隠れ状態から計算した小さな補正値を加えて生成され、16チャネルごとに1つの補正値が共有されます。

• 「Depthwise」の意味: チャネル間の全結合を混ぜ合わせず、チャネルごと（あるいはグループごと）に独立して畳み込みを適用するため、パラメータ数と計算量を最小限に抑えられます。

結果

平均承認長

 

どちらのモデルでも、DFlash 2 は平均して DSpark より1 トークン以上高速です。また、各モデルの公式ドラフターである Qwen3.8-27B の MTP と Muse Glimmer の DFlash も上回ります。これは、 Qwen3.8-27B の自己回帰デコードのスループットの2.7 ～ 3.4 倍、Muse Glimmer の 3.1 ～ 4.6 倍に相当します。

社内gpu実験

結果

対象は kubeai の （RTX 6000 Ada ×2 / TP=2 / BF16）。vLLM を v0.27.1 から v0.28.0 に上げています。計測は 2026-08-28、各条件 3 回、ばらつき 0.1% 未満。

[paper] In-context Learning of Evolving Data Streams with Tabular Foundational Models

https://arxiv.org/abs/2502.16840 ／ Lourenço, Gama, Xing, Marreiros ／ Accepted at 32nd SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

0. 概要

• 一言で: TabPFN の重みを更新せず、コンテキストに含めるサンプルを入れ替えるだけで概念ドリフトに追従し、ストリーム学習の定番アンサンブルを 7 ベンチマークで上回った

• 平均精度 82.65% / 平均ランク 1.00、対 SRP +3.78pp、対 ARF +5.18pp

• ストリーム学習が継続的にモデルの重みを更新する方式から In-Context 学習に変わった点が面白い

項目	内容
タイトル	In-context Learning of Evolving Data Streams with Tabular Foundational Models
著者	Afonso Lourenço, João Gama, Eric P. Xing, Goreti Marreiros
URL	https://arxiv.org/abs/2502.16840
版	arXiv preprint（初版 2025-02-24 / v2 2025-12-15）

1. 背景

本論文は、データが 1 件ずつ絶え間なく流れてくる状況で予測を続ける、ストリーム学習の手法を提案する。

電力需要の予測や不正検知では、データを全部集めてから学習し直せず、いつ問い合わせが来ても答えられる状態を保つ必要があるため、バッチ学習の前提はそのままでは成り立たない。問題をさらに難しくするのが概念ドリフトで、入力分布や正解との対応関係そのものが時間とともに変わるため、昨日まで当たっていたモデルが今日から外れはじめる。

この分野で 25 年間の定番だったのが Hoeffding 木で、各データを一度しか見られない制約下でも、「何件観測すれば分割を確定してよいか」を統計的に保証しながら木を育てる。現在の最強クラスは、これにドリフト検知と多数決を組み合わせた Adaptive Random Forest（ARF）や Streaming Random Patches（SRP）といったアンサンブルである。

ただしいずれも「新しいデータが来たらモデルの重みを更新する」という枠組みに基づくため、実務では 2 つの課題が残る。1 つはドリフト直後の精度低下で、更新が追いつくまでは外れた予測を返し続ける。もう 1 つはハイパーパラメータへの敏感さで、木の本数や grace period の設定次第で結果が大きく振れる。

本論文は、この「重みを更新して適応する」という前提そのものを置き換える。表形式データ向けの基盤モデルである TabPFN は、事前学習済みの重みを固定したまま、コンテキストに入れた訓練サンプルだけで新しいタスクを解く（in-context learning）。この仕組みでは、適応の問題は「モデルをどう更新するか」から「コンテキストに何を置くか」に変わる。著者は TabPFN の重みに一切触れず、コンテキストを入れ替える規則を設計するだけで、7 つのストリームベンチマークで ARF と SRP を上回った。

2. 提案手法

• input: 直近のストリームから選んだ最大 1000 件のラベル付きサンプル（= コンテキスト）と、いま予測したい 1 件

• output: その 1 件のクラス予測

• 学習に相当する処理: 勾配更新ではなく、コンテキストに入れるサンプルの入れ替えのみ

メモリを短期と長期の 2 本の FIFO に分ける

• 短期メモリは直近のサンプルを保持して最新の分布に追従し、そこからあふれたサンプルが長期メモリに移ります。

• 長期メモリは容量を超えると「いま最も多く入っているクラス」の最古サンプルを捨てるため、稀なクラスが押し出されずクラス間のバランスが保たれます。この 2 つを結合したものをそのまま TabPFN に渡して 1 件を予測します。

分散はコンテキストを増やせば下がるので長期メモリで件数を稼ぎ、バイアスは古い概念がコンテキストに残ることで生じるので短期メモリで押し出す、という役割分担です。調整するのはメモリ総量（600 / 800 / 1000）と短期の比率（0.65 / 0.75 / 0.85）だけです。

3. 結果

• 数値上は全ベンチマークで最高値。

• 直近のごく少数のサンプルしか見ない手法が、全データを逐次学習してきた木のアンサンブルに勝てる。事前学習で得た表データ一般の知識が、ストリーム適応に転用できていることを示唆する。

• グリッドサーチ全体での結果のばらつきが LTM では小さく、VFDT では大きい。チューニングの手間が実質ゼロになる点は、精度差より実務的な意味が大きい。

• 推論コストは 1 件あたりで ARF の参照値より 1 桁以上遅いオーダー。

4. 結論

ストリーム学習における適応が、モデルの更新ではなくコンテキストの選択で実現できることを示した論文です。ドリフト検知器も再学習パイプラインも持たず、FIFO を 2 本並べるだけで既存の最強アンサンブルを上回った点が主要な貢献で、逆に言えば「基盤モデル側は何も工夫していない」ことがこの結果の面白さでもあります。

• monoke 感想
• 以前から TabPFN, TabPFNv2.5などに注目していたが、データが継続的に更新されていくストリーム学習でも有効なのが興味深い。
• やはり時代は In-Context Learning

[Paper]Prompt Injection as Role Confusion

ICML 2026 論文

LLM は入力中の特殊タグ <system> や <thinking> などによってシステムプロンプト・CoT・ユーザーの入力などを区別して動作するよう期待されている。Webページなどに書いてある悪意のある命令に従ったり、Opus4.8がユーザーの返答を捏造しそれに従ってしまうといったプロンプトインジェクションは発生しないことが期待されるが実際問題になっている。この論文では既存 LLM がタグではなく文体・語彙・位置などの、偽装可能な情報から判断している事を指摘している。

ツール出力に指示が紛れている例

手法

 

これを調べるため、論文では Role Probe を作っている。

同じ無関係な文章を、

でそれぞれ囲み、その hidden state から role を分類する線形 probe を学習している。

文章自体は同じなので、この probe が学習できるのは本来 role tag による内部表現の差だけである。

ところが実際の会話に適用すると、CoT の文章は正しい タグがある場合 85% の確率で CoT と判定されたが、タグをすべて削除しても 83%と判定された。

さらに会話全体を明示的に として入力しても、CoT 風の文章は 85% CoT、2% User と判定された。

Role Probe の訓練

Role Probe は、モデルの hidden state から、その token がどの role として表現されているかを予測する単純な線形分類器として訓練する。

訓練データには会話文を使わず、C4 / Dolma3 から取った中立的な文章を使う。同じ文章をそのまま

/ / / /

の各 role に入れた複数の入力を作り、それぞれの 本文 token の hidden state を取り出す。role tag 自体の hidden state は訓練には使わない。

つまり各クラスで文章の内容・文体は完全に同じで、違うのは architecture 上の role だけになる。この状態から各 layer ごとに multinomial logistic regression を訓練することで、probe が「user っぽい文体」などを学習する余地をなくし、role tag が本文の内部表現に与える変化だけを学習させる。

そのため、後からこの probe がタグなしの文章を CoT と判定したり、 内の文章を User と判定した場合、それは probe 自身が文体を覚えた結果ではなく、元の LLM 内部で文体と role tag が似た表現を作っていることを意味する。

CoT Forgery

この性質を利用すると、論文内で CoT Forgery と称されている攻撃方法が出てくる。通常プロンプトインジェクションと聞いて思い浮かべるものとは違い、モデルの思考とさせたいものをインジェクションすることで通常よりも高い成功率で攻撃が可能。

 

Limitations

Role Probe による内部表現の分析は 20–120B の4つの open-weight model に限られており、GPT-5 や o4-mini などで同じ内部機構が働いていることを直接確認したわけではない。また、linear probe は role が hidden state 上の線形な subspace として表現されることを仮定している。

さらに、実験した攻撃は CoT Forgery と典型的な Agent Prompt Injection が中心であり、すべての Prompt Injection が Role Confusion で説明できるかは未検証。Role Confusion を防ぐ学習法や、probe を利用した検出法についても、この論文では提案に留まっている。（プローブ出力との不一致の監視など）

 

メインTOPIC

On the Design of Qwen3.8-Next Architecture: Evalutaion, Efficiency, and Training Stability

Slide(こっちで喋ります)

 

概要

• アクティブパラメータ 約 1/3

• 学習トークン 約 1/3

• 学習 FLOPs 約 1/9

4 つの中核コンポーネント

背景

• Full attention の限界: 全トークンへの直接アクセスを提供するが、計算は系列長の二乗、KV キャッシュは線形に増える。Sliding-window attention (SWA) はコストを抑えるが、窓外の情報は深さ方向にしか伝播できない。

• 線形 attention / 状態空間系: Gated DeltaNet (GDN, Yang et al., 2024) は prefix を固定サイズの再帰状態に圧縮し線形コストで処理するが、有限状態メモリでは「特定トークンのピンポイント検索」を厳密に再現できない。

• Sparse attention: DeepSeek の DSA (Liu et al., 2025a) は軽量 indexer でトークンレベルのスパースマスクを作るが、indexer 自体が O(n²) であり長文脈では無視できないオーバーヘッドになる。

• 残差ストリーム拡幅: AltUp (Baykal et al., 2023) や Hyper-Connections (HC, Zhu et al., 2024)、mHC (Xie et al., 2025) が単一の残差ベクトルを複数ブランチに拡張する路線を開拓。

• Embedding によるスケーリング: Gemma 3n の per-layer embedding や n-gram 埋め込み（Cheng et al., 2026 等）が「FLOPs をほぼ増やさずにパラメータを増やす」新たなスパース性の軸として登場。

• Muon: 行列パラメータのモメンタムを Newton–Schulz 反復で直交化するオプティマイザ (Jordan et al., 2024)。Kimi K2 などで大規模実証済み。

提案手法

1. GDN ハイブリッド構造（§2.1.1）

• 減衰ゲート α_t が既存状態の寿命を制御（S̃ = α_t S_{t-1}）

• delta 項が「key k_t に既に紐付いた値」を推定し、残差誤差だけを書き込む（e_t = v_t − S̃ᵀk_t、S_t = S̃ + β_t k_t e_tᵀ）

• q/k/v に短い depthwise causal convolution → q/k は L2 正規化（rank-1 遷移の安定化）

• 出力ゲートはオリジナルの SiLU ではなく有界な sigmoid（一貫して改善。GR・attention でも同じ傾向）

• 全 RMSNorm を zero-centered RMSNorm に統一

• full attention 層には RoPE を維持。NoPE 変種は事前学習では差が出ないが、post-training 後に無限生成（終了失敗）が大幅に増える——「事前学習指標だけでは誤った判断をする」実例のひとつ

• カーネルは TileLang ベースの FlashQLA で、Triton 実装 (FLA) 比 forward 2–3×・backward 約 2× 高速

補足: FlashQLA とは — Qwen が OSS 公開した TileLang ベースの融合 linear-attention カーネルライブラリ（https://github.com/QwenLM/FlashQLA）。GDN の gated delta 再帰を GPU 向けに最適化した実装で、比較対象の FLA（flash-linear-attention）は linear attention 系の標準的な OSS Triton カーネル集。

補足: SWA ハイブリッドとは — GDN の代わりに 3 層を SWA（Sliding Window Attention, 窓幅 128）にした比較対象構成（full attention 1 層 / 4 層は共通）。SWA は直近の窓内トークンだけを見る局所 attention で、計算・KV キャッシュは軽いが、窓外の情報は層を重ねて間接的にしか伝播しない。GDN は固定サイズの再帰状態で prefix 全体を要約するため、この「窓の外が見えない」制約がない。

2. Qwen Sparse Attention: QSA（§2.1.2）

1. Compressed Lightweight Indexer: MQA 構造（query 4 ヘッド・共有 key 1 ヘッド）。key を r=4 トークンの非重複マイクロブロックに分割し average pooling で圧縮 → indexer コストは O(n²) → O(n²/r)

2. 圧縮は partial RoPE の適用前に行う（回転位相が異なるトークンを平均してしまうのを回避し、ブロックに単一のブロック位置を与える）

3. ReLU 活性の query–key 類似度をヘッド方向に合計してブロック重要度を算出、block-causal 条件下で top-k ブロック選択（トークン予算 K=2048 → 512 ブロック + 末尾の不完全ブロック）

4. 選択ブロックをトークンインデックスに展開し、sparse core attention を計算

• Stage 1: Dense Distillation — バックボーンの full attention 分布を教師とし、max pooling でブロックレベルに整列して KL 蒸留。indexer のみ 1,000 step（約 2B tokens）学習

• Stage 2: Sparse Training — indexer の誘導下でバックボーン全体を 8,000 step（約 200B tokens）joint 学習。KL は top-k ブロック上でのみ計算

• LM loss は full attention とほぼ一致（差は 10⁻⁴ オーダー）

• 短文脈ベンチマーク: 8 つ中 7 つで full attention と同等以上、平均 75.9 → 76.8 に改善

• 長文脈検索: RULER 512K–1M で 90.08 → 93.00、MRCR 512K で 30.66 → 40.53、1M で 20.71 → 26.44。文脈が長いほど QSA が full attention を上回る

• MTP（multi-token prediction）モジュールでも top-k インデックスを投機的デコードのステップ間で再利用し、平均受理長は劣化なし（4.06 → 4.07）

• カーネルレベルで文脈長 1M のとき prefill 7.6×・decode 4.9× 高速（dense GQA 比）

• アブレーション: 層間でインデックスを共有する IndexShare は GDN ハイブリッドでは層間類似性が低く劣化。層内圧縮の QSA は相対 indexer レイテンシ 0.25 で full attention に匹敵

3. Gated Residual: GR（§2.2）

• 読み: 各ブランチを個別に RMSNorm → 全ブランチから elementwise（ブランチ×チャネル粒度）の sigmoid ゲート G を低ランク（rank d/8）ボトルネックで予測 → ゲート付き平均でブロック入力を構成

• 書き: ブロック出力をブランチごとのスカラーゲート s で全ブランチに加算

• HC/mHC が持つブランチ混合演算子 H_res は完全に削除（性能への寄与なし・残差状態の読み出し 1 回分のメモリトラフィック削減・制約が必要な不安定要因の除去）

補足: mHC とは — Hyper-Connections (HC) は残差を複数ブランチに拡幅し「読み H_mix・書き H_combine・ブランチ間混合 H_res」の 3 演算子を学習する先行手法。mHC は H_res を二重確率行列の多様体に制約して安定化した改良版（Xie et al., 2025）。アブレーション表の static は演算子が固定値（データ非依存）、dynamic は残差状態から予測（データ依存）の場合を指す。

• 静的演算子での拡幅だけで平均 +1.58pt、読み書きをデータ依存にするとさらに +1.98pt（Pre-norm 50.91 → GR 54.66）

• ただし static→dynamic の loss 差はわずか 0.002。「loss だけ見ていたらこの変更の価値を見誤った」代表例

• 読みの粒度が書きの粒度より重要（H_mix の elementwise 化は効くが H_combine は効かない）

• sigmoid ゲートは tanh より loss・安定性の両方で優る

• 上位 2 ブランチだけ読むスパース化は事前学習ではほぼ無害だが post-training 後に明確に劣化——これも「事前学習指標だけでは誤る」例

• 4 本中ちょうど 1 本が長距離パス専用になる（5 チェックポイントすべてで再現。典型スキップ 10.9 層 vs 他は 3.4–3.9 層）

• 例: Layer 0 GDN → Layer 15 attention のシェアが 0.020 → 0.138（等分なら 0.03 のところ 4 倍超）

• 長距離パスの主な読み手は softmax attention 層。GDN が圧縮してしまう明示的な長距離文脈を、拡幅ブランチが保存して attention 層に届けるハブ構造が自発的に形成される

• スキップ距離別の集計では、隣接層 (+0.96) と長距離 (skip>12, +0.91) が伸び、中距離 (2–12) が −3.21。GR は少数の特定パスを選んで増幅する

4. N-gram Embedding（§2.3）

• 配置: 単一層で十分。深さへの感度は低いが浅い層（Layer 1–2）が強い。Layer 2 に配置し、Layer 1 の計算とプリフェッチをオーバーラップさせる

• 固定パラメータ予算での配分（MoE エキスパートを削って n-gram に回す）: loss は 10× 語彙で最小になるが、下流ベンチマークは MoE-only ベースラインを上回らない。n-gram と MoE エキスパートは容量スケーリングにおいて別の役割を持つ

• 追加パラメータとしてのスケーリング（20×→200× 語彙）: loss は単調に低下するが下流性能は飽和・変動する。ただし中国語ベンチマーク（C-Eval, CMMLU）は語彙サイズに対して一貫して伸びる（C-Eval 66.91 → 74.94）

• トークン正規化・n-gram 次数別の非一様割当・頻度ベース分割などの効率化は、この学習レシピでは一貫した利得なし

最適化と学習安定性

Muon の実運用設計（§3.1）

• 適用範囲: 「真に線形写像として働く 2 次元重み」のみ（attention q/k/v/output、GDN 入出力射影、MoE の fc1/fc2、n-gram の key/value 射影）。embedding・出力ヘッド・MoE ルータ・GR の低ランク射影は AdamW（ルータは出力次元が独立で直交化に意味がなく、序盤の変動を悪化させる。細長い低ランク行列も AdamW が優る）

• 融合パラメータの分割: Megatron の qkv・SwiGLU fc1・GDN 入力射影は独立演算子の連結なので、そのまま直交化すると無関係なサブブロック間で特異方向が混ざる。ヘッド粒度 / gate・up 半分に分割してから NS 反復を実行（loss・ベンチマークとも改善）

• NS 反復は 8 ステップ（Polar Express の per-step 係数）。ストレス下の安定性を優先

• インフラ: Canzona フレームワークで論理的なオプティマイザ割当を物理レイアウトから分離（NS FLOPs 見積もりで DP ランク間を α-balanced に再分割、TP 間は fused All-to-All で行列を再構成）。分割後は 1 層あたり百オーダーの小行列になり小カーネルの起動オーバーヘッドが支配的になるため、ステップ全体を CUDA graph でキャプチャ

ハイパーパラメータ・スケーリング則の再フィット（§3.2）

• バッチサイズ（10.8B-A0.89B を 4T tokens）: 旧レシピ B=12.6M → 予測最適 B=25.2M で loss 7.2×10⁻³ 改善。さらに 1.5× 大きくしても劣化は 4.3×10⁻⁴ と軽微（予測より小さい側は急峻に悪化、大きい側はフラット）

• Batch-size warmup は不要: ランプ方式は定バッチと同等以下の loss で、同一トークン予算に 18.8% 多い optimizer step を要する。よって本番では不使用

• 学習率（156B-A7B, 48層, 419B tokens）: 旧レシピは予測最適比 7.8×10⁻³ 劣後。最適近傍は √2 倍/÷√2 の範囲でフラットな盆地。ベンチマーク平均も新フィット最適が最高（60.55 vs 旧レシピ 56.41）。√2 倍の学習率でも勾配クリッピングは一度も発動しない

安定性ストレステスト（§3.3）

• 2× LR: AdamW ベースラインは 10k step あたり 4.3 回スパイク。Muon 構成は 0.2 回

• 4× LR: AdamW は 10k step あたり 183 回スパイクし、クリッピング閾値を 19,932 step 中 213 回超過（クリッパが常時発動）。Muon 構成は一度も閾値を超えず、Muon + GR は loss スパイクがゼロ

• ゲート単体の効果（AdamW 固定・GatedNorm のみトグル、3× LR）: スパイク率 32.0 → 3.2 /10k steps、閾値超過 256 → 20 回。ゲートなしでは活性化外れ値が学習率にほぼ比例して成長するが、ゲート有効時は最高学習率でも外れ値レベルが「ゲートなしの最低学習率」を下回る。高学習率での学習には再スケーリング機構が必要で、明示的ゲートがなければネットワークは活性化外れ値の成長でそれを代替し脆くなる、という解釈

• 本番構成での検証（276B tokens、データ順・スケジュール共有の 3 run 比較）: GR 追加で loss −0.026、Flash-Next フルレシピでさらに −0.032（Muon ベースライン比 計 −0.058）。勾配ノルムは Muon 単体が中央値で約 2 倍・p99.9 で 4.2 倍大きく、唯一クリッピング閾値を超える。GR は残差の最大活性値もすべての深さで大幅に低減

評価

• Qwen3.8-27B-Base には 14 戦全勝

• はるかに大きい Qwen3.7-Plus-Base に 8/14 で勝利、残りも僅差——アクティブパラメータ 1/3・学習トークン 1/3・学習 FLOPs 約 1/9 で

考察・限界・今後の展望

• sparse write（上位2ブランチのみの読み出し）: 事前学習指標では無害 → post-training 後に劣化

• NoPE: 事前学習では RoPE と区別不能 → 生成の終了失敗が急増

• batch-size warmup: 慣習的には有効とされる → 実際は 18.8% 余分な step を消費するだけ

• n-gram 語彙の過大化: loss は単調に下がり続ける → 下流性能は飽和