Stabillity Japanにおける大規模言語モデルの研究開発

概要

• 言語モデルの性能を上げるために
• モデルサイズを大きくするだけでなく、学習トークン数も大きくすると良い

• 日本語のデータが足りない
• 英語データと併用

• トークナイザの影響
• 圧縮率に差が出る
• 性能に差が出るかどうかは・・・？？？