LLMテク: Branch-Solve-Merge
概要
- Branch-Solve-Merge (BSM)
- LLMの精度改善
- Llama70B chatにBSMを使うことでGPT4に近づける
- GPT4にBSMを使うと、GPT4はより優れた性能を持つ
- 3ステップでタスクをこなす
- Branch: 与えられたタスクをサブタスクに分解し、プロンプトを出力
- Solve: 与えられた k個のプロンプトに対して k個のソリューションを並列で生成
- Merge: 最終的な答えを得る
- 複雑なタスクに向いている
- 評価
- 1回目と2回目（同じ質問を聞いて2回出力させている）
すべてのケースでLLMを改善させることができた
- 人間による答えとLLM出力の一致率は最大26%改善
- ポジション＆長さのバイアスは最大50%減少
- LLaMA-2-chat 70B+BSMは多くのタスクでGPT-4と一致
- BSMなしのLLaMA-2は貧弱
- GPT-4は改善され、自己バイアスが少なくなった
>LLMプロンプト技術
LLMプログラミング、とか言ったりするらしい