大規模言語モデル (LLM) アプリケーションの品質保証

概要

• LLMを利用した機能のテストケース作成が難しい

• ガードレールテストを作成してCI回して最低限の性能・体験を担保

• ガードレールテスト:
• 攻撃的、悪意のある文章でないか
• Moderation APIを利用
• 日本語になっているか
• 丁寧語になっているのか
• これどうやってるんだろ
• 出力形式は守れているのか
• json
• 型
• 値の範囲