• LRM (Large Reasoning Models)は、強化学習を用いて性能が伸びてきているが、長い文脈への対応がOSSだとまだまだ未解決

• Long Contextに特化した強化学習フレームワークを提案。
• R1-Distill-Qwen-32Bをベースモデルに訓練
• 最大入力長12万トークン、出力長1万トークン

• 大きくは三つの貢献

• 報酬設計
• ルールベースで文字列マッチングによる精度重視の評価と、LLMによる意味的な等価性も加味した報酬の合わせ技 (Qwen2.5-1.5Bを利用)



• コード

• o3-miniに匹敵するベンチマークの平均精度を獲得

• 訓練ステップが進むことによって以下のような行動が増えた
1. グラウンディング（Grounding）: ⻑文脈から関連情報を想起
2. サブゴール設定（Subgoal Setting）: 複雑な質問を管理可能なサブゴールに分解
3. バックトラッキング（Backtracking）: エラーを特定し、アプローチを反復的に修正
4. 検証（Verification）: 自己反省により予測回答を体系的に検証

• SFTの段階でLong Contextにしてしまうと、RLをしても局所的な解に陥ってしまい性能が伸び悩んでしまう。SFTの段階は短い文章にした方が良い。

• 実装はめっちゃシンプル

• 強い制約の下でLLMの出力を得たい
• 文字数や語順、何文字目にXXXなど

• 既存の手法
• 条件を指示して出力させ、間違っていた場合は再度出力させる
• CoTで推論過程を出力させつつ求めるアウトプットを得る
• 生成が遅く、コスト効率が悪い
• もっと軽量なモデルでコストを抑えて生成させたい

• 提案手法: DISCIPL



• 発想: 全部をLLMに任せるより、制約の下での適切な出力の探索はアルゴリズムを使い、生成部分だけLLMに任せたほうが効率が良い？
• 要求に対して、Planner LMが適切な出力を探索するプログラムを作成 → プログラムを実行し、Follower LMsを呼び出しつつ適切な出力を探索・決定する
• 例: 4文字目に 、8文字目に 、11文字目に が入る文章を生成する



1. 4文字目までを逐次的にFollower LMを呼び出して複数パターン生成
2. 1~3文字目に対して4文字目のGlasgowが最も適切な文章を採用
3. 同様に5~7文字目までを生成し、8文字目がinとして最も適切な文章を採用
4. 繰り返して最後まで生成
• 実際には、大量にサンプリングしつつ、逐次的モンテカルロ法で確度の低いものを枝刈りしつつ最終的な回答を生成する
• 決まっている文字列が不自然な文脈で文中に含まれると、その文章の評価（次の単語の生成確率）が下がってくるので、枝刈りされていく
• Plannerはプログラムを直接生成するのではなく、雛形が何パターンか用意されていて、適切なものとその設定を生成するイメージ
• Follower LM自体は前の文章に対する次の単語を生成するだけなので、比較的小型なモデルでもよい

• 実験
• 小さいモデル（1~8B）をFollowerに使った場合でも、ChatGPT-o1に匹敵するほどのpass@1を出せている（PlannerはGPT-4o）
• 出力までのトークン数は大幅に削減

• AVIFがもっとも性能が良さそう（≒きれい）。ただし、圧縮時間がJPEGの1000倍を超えてくる 😢

• JPEG系だったらJpegliが良いらしい（BD-rateという画像評価指標がいいらしい）

• JPEGの亜種JPEG-XLくらいしか知らなかったけど、MozJPEGやJpegliなど色々あることがわかった。

• 単なるJPEGだけでもYUV420とYUV444という画像を間引くモードがあるの知らなかった。

LayerX エンジニアブログRepeated Samplingを使ったLLM推論時スケーリングで麻雀点数計算問題生成タスクを解くぞ！ - LayerX エンジニアブログ

RAPO(Relativistic Adversarial Reasoning Optimization)

• Policy(LLM): 専門家のような回答を生成し、Criticを騙すことを目指す

• Critic(LLM): 専門家の回答とPolicyの回答のペアから、どちらが専門家のものかを見抜くことを目指す。

手法

1. ポリシー

• 役割: ユーザーの質問 に対して、CoT推論 と最終的な回答 を生成する大規模言語モデル（LLM）である。推論能力と回答の質を向上させることを目指す。

• 最適化手法: 強化学習 (Reinforcement Learning)。具体的には、Group Relative Policy Optimization (GRPO) を用いる。
• この報酬は、次に説明するCriticモデルによって与えられる。

2. Critic

• 役割: ポリシーが生成した回答の品質を評価し、ポリシーに学習信号（報酬）を与えるモデルである。専門家の回答とポリシーの回答を比較し、どちらがより「良い」かを識別する。

• 最適化手法: 強化学習 (Reinforcement Learning)。ただし、ポリシーの学習とは異なり、Critic自身の学習は「自身が正しく評価できるか」を最大化するような報酬シグナルに基づいて行われる。
• Criticは、ペアの回答（専門家の回答とポリシーの回答）が与えられた際に、どちらがより良いかを正しく識別する能力を報酬として学習する。
• このCriticの学習は、Inverse Reinforcement Learning (IRL) の枠組み、特にGANのような敵対的学習の形で定式化される。

学習の連携

1. ポリシーが回答を生成：現在のポリシー が質問に対して回答 を生成する。

2. Criticが評価：生成された と、データセットから取得した専門家の回答 のペアをCritic が評価し、報酬を生成する。この評価は「どちらが良いか」「引き分けか」を判定する（Relativistic Critic）。

3. ポリシーの更新：Criticから得られた報酬を用いて、ポリシー をGRPOで更新し、より高い報酬が得られる回答を生成できるようにする。

4. Criticの更新：同時に、Critic 自身も更新される。Criticの評価が「専門家 vs ポリシー」の真の関係に合致するよう、勾配 を用いて学習する。専門家の回答には高い評価を、ポリシーの回答には低い評価を与えるように学習が進む。

5. ループ：このプロセスを繰り返すことで、ポリシーは推論能力を高め、Criticはより精緻な評価器となる。

安定化と効率化のための技術

• CriticとPolicyの重み共有
• 批評家とポリシーは同じLLMの重みを共有します。これにより、メモリ使用量が削減され、表現の共有を通じて汎化が促進されます。

• データミキシング
• 批評家とポリシーのロールアウトを同じバッチ内で混合し、単一の更新ステップで両者を訓練します。これにより、交互の更新の必要がなくなる。

• リプレイバッファ
• 経験データ（観測、行動、報酬など）を一時的に保存しておくメモリのことです。そして、訓練時には、このバッファに蓄積された過去のデータからランダムにサンプリングして、モデルの更新に利用。
• 批評家が過去のポリシーの応答（および専門家の応答）を忘れてしまう「破滅的忘却」を防ぐ

実験と結果

これは何？

問題設定

• 医療予約を行うAI → 患者名や関連病歴は共有すべきだが、詳細まで開示すべきではない

• カレンダーとメールにアクセスできるAI → ランチ予約時に空き時間や好みのレストランは使うべきだが、他の予定や個人的なメールは明かすべきではない

PrivacyChecker

• グローバルシステムプロンプト

• ツール埋め込み

• スタンドアロンMCPツール

Contextual integrity through reasoning and reinforcement learning (NeurIPS 2025)

Take Home Message

• AIエージェントは「何を知っているか」だけでなく「何を共有すべきか」を判断する必要がある

• PrivacyCheckerは既存モデルにすぐ組み込める軽量モジュールで、情報漏洩を大幅に削減する

• CI-RLはモデル自体に文脈的妥当性を学習させ、プライバシー保護とタスク完了を両立させる

• 両者は相補的：PrivacyCheckerで検出・防御、CI-RLで判断力の学習

概要

読んだ動機

手法

• マルチLLMシステムをDAGとして定義し、Role-StepとWeight-Stepの2つの最適化フェーズを交互に行いながら、PSO（粒子群最適化）を利用して最適化を行う

• Role-Step：DAG最適化
1. LLMモデルプールからLLMの入出力関係を示す行列にをランダムに作成
1. 厳密には連続値の隣接行列をランダム生成
2. G-Decodeと呼ばれる仕組みでDAGとして解釈
3. 決定したDAGを使ってタスクを解かせ、スコアを出す
4. 一つのDAGを粒子とし、PSOで最適化する

• Weight-Step：モデルの重みを最適化
1. Role-Stepで決定されたDAGを使い、今度は
2. JFK-Scoreを利用して、各モデルの貢献度を測る
1. DAGにランダムにllmを割り当て(0回以上モデルは割り当てられる）て、モデルxiが出てきた割当だけを集め、その割当の性能を（登場回数で）加重平均した値で貢献度を決める
3. JFK-scoreをfitnessとしてPSOを回し、モデル群の重みを更新する

結果

• 既存手法との比較で12データセット中11で最高スコアを獲得。平均18.5%の性能向上

• 単独で正解できなかった問題でも正解できており、協調利得がありそう。

• 元のプールの多様性が大きいほどスコアは高買った

• 自律的な専門性の分化も確認
• 異質な役割を持つ multi-LLM システムを発見できてるね



• グラフ推論タスクだとタスク分割をする役割が増える
• 知識タスクだと抜けている知識を特定するためのフィードバック担当が増える
• Nodeいちによっても差異がある
• 分岐部分では分割、合流ノードだとブラッシュアップやFBの役割が大きい
解説

図に出てくるデータセット
この論文は12タスクを使いますが、Figure 4 で扱っているのは主に次の4つです（表記は論文のまま）。
K-Cross（Knowledge Crosswords）
• 知識カテゴリのタスクで、名称として Knowledge Crosswords を用いています。
• 実験データ規模：dev 200 / test 1000。
• 評価：多肢選択（multiple-choice）として扱う、と書かれています。
COM2
• 知識カテゴリのタスクで、論文中では COM2 として「知識グラフ上の複雑推論」系（引用元タイトルからの読みが自然）に相当します。
• 規模：dev 317 / test 1000。
• 評価：多肢選択。
NLGraph
• 推論カテゴリに置かれている グラフ推論（graph reasoning） タスクです。論文本文でも「NLGraph では divide and conquer が増える」と明示しています。
• 規模：dev 200 / test 1000。
• 評価：exact match（文字列一致）。
AB-kg（AgentBench-KG）
• エージェントカテゴリで、AgentBench の knowledge graph サブタスクです（表では AB-kg と略記）。
• 規模：dev 50 / test 120。
• 評価：多肢選択として扱う、とされています。
---
前提：Figure 4 の「role（役割）」とは何か
著者は multi-LLM の各ノード出力（中間出力）を目視＋自動判定し、4種の役割に分類しています。
• divide：問題の一部を特定して解く（分割統治の“分割・部分解”側）
• refine：それまでの回答を踏まえ、より良い（部分）回答を提案する（“統合・改善”側）
• feedback：過去の回答への指摘・検証・誤り修正（批評・レビュー）
• irrelevant：問題に関連しない出力（失敗）
この分類は Gemini-as-a-judge（GEMINI-1.5-FLASH）で自動判定しており、その判定プロンプトも Appendix（Table 11）に載っています。
---
3) Figure 4 の読み方（各パネルの意味）
Figure 4 は「HETEROGENEOUS SWARMS が見つけた multi-LLM システムでは、LLMが均一ではなく 異質（heterogeneous）な役割を担っている」ことを示すための図です。
(A) 左上：データセットごとの役割比率（集計）
円グラフは、各データセットで観測された4役割の比率を集計したものです。論文の説明通り、タスクによって役割分布が変わるのが主メッセージです。
ユーザー画像に見えている値（図のラベル）から読むと：
• K-Cross：feedback 40.0% / divide 32.0% / refine 21.0% / irrelevant 7.0%
→ 知識タスクでは「知識ギャップの指摘・検証（feedback）」が厚い、という論文の説明と整合。
• COM2：feedback 38.7% / divide 28.8% / refine 20.7% / irrelevant 11.7%
→ K-Crossに近く、やはり feedback が大きい。
• AB-kg：feedback 36.0% / refine 27.0% / divide 26.0% / irrelevant 11.0%
→ エージェント寄り（知識グラフ）では refine も増えている。
• NLGraph：divide 44.4% / refine 20.2% / feedback 20.2% / irrelevant 15.2%
→ 著者が明記している通り、グラフ推論では divide が多い（分割統治が効く）。
ここで重要なのは「固定の役割設計」ではなく、最適化の結果として タスクに合わせた役割配分になっている、という点です。
---
(B) 左下：NLGraph における最適化進行と役割比率の推移
横軸が最適化の進行（Optimization Progress）、縦軸が役割の比率です。論文が述べている観察は次の通りです。
• irrelevant が最適化とともに減る
• divide / refine / feedback といった“機能的ロール”が増える
論文では、この傾向を「weight optimization（weight-step）を組み込むことで、LLMの品質がタスクに適応して改善される」証拠として解釈しています。
（図の形としても、緑=irrelevant が下がり、青=divide が右肩上がり、赤/黄も総じて増える、という挙動になっています。）
---
(C) 右：NLGraphで得られた“最良DAG”の中で、位置ごとに役割がどう違うか
右側は NLGraph に対して best-found となった multi-LLM DAGを描き、さらに各ノード（DAG上の位置）について「その位置に入ったLLM出力が、4役割にどう分類されるか」の分布（周囲の小さな円グラフ）を示しています。
著者の読みは明確で、
• 分岐（branching）ノードでは divide が高いことが多い
• 合流（converging）ノードでは refine / feedback が高いことが多い
と述べています。
直感的には、
• 上流・分岐側：問題を分割し、候補や部分解を出す（divide）
• 下流・合流側：複数の部分解を統合し、誤りを落として最終化する（refine / feedback）
という「構造に埋め込まれた役割分担」が、最適化で自然に現れている、という主張です。
---
4) Figure 4が示したい結論
Figure 4 全体としては、
1. タスクによって役割分布が変わる（例：NLGraphはdivide多め、K-Crossはfeedback多め）
2. 最適化が進むと irrelevant が減り、機能ロールが増える（＝協調が“働く形”に整う）
3. DAGの位置（トポロジ）に応じて役割が偏る（分岐=divide、合流=refine/feedback）
→ したがって、HETEROGENEOUS SWARMS は 異質な役割を持つ multi-LLM システムを発見している、という論旨になります。
---
次に進めるなら、Figure 4 の後段で文章が触れている **C-Gain（Collaborative Gain）**の定義と、Figure 3/12との関係（「1+1>2」を数式でどう測っているか）をつなげると、分析章の主張が一段クリアになります。そこも続けて解説しますか。
• 単一巨大モデルの性能を超える & モデル数上昇しても性能は向上。スケーリングできている
NotebookLM_slide:
Orchestrating_Swarm_Intelligence.pdf
11 MiB