LLMの開発は難しい？簡単？Stability AIの現場から (2023/10/11, W&B Fully Connected)

概要

• Stability AIの秋葉さんの記事

• LLM開発の基本的なところから、より優れたLLMを作るにはどうしたらいいかというところまで書かれている。
• PretrainingやFine-tuning、評価の段階でどのような研究がなされているのか、OpenAIの場合はどこに一番人数を割いてるのか。

• Stability AIの場合はどのようなことを行なっている

• WandBのReport機能をうまく利用している。