ChatGPTの仕組みを理解する

概要

• ABEJAさんのChatGPTの仕組みについて解説された記事。

• 前半の記事では、基本的な自然言語の話からTransformerの話、GPT-1からGPT-3.5までの説明を細かく記載してくれている
• GPT1 → GPT3までは基本的な構造は変わらず、学習データセットを増やしたりDecoderの層の数を増やしているだけ。
• (ちなみにGPTはDecoderのみの構造)
• GPT3.5は論文が公開されていないため詳細は不明だが、パラメータ数が175B → 355Bになったのとプログラミングコードもデータセットに追加したということは公開されている。

• 後半の記事では、強化学習の基礎からInstructGPTで使われているPPOの説明、InstructGPTの説明がされている。
• InstructGPTの説明も基礎から丁寧にされているので分かりやすい。