QA4AI RAG品質評価
Golden Datasetによる
RAG品質評価基盤の構築
評価する対象はテスト作業ではなく、AI機能そのものです。RAGを使ったチャット型AIプロダクトに対し、回答品質を継続的に評価できる仕組みを整えました。AIをQAへ使うAI4QAとは対象が異なります。
- 対象RAGを使ったチャット型のAIプロダクト
- やったことGolden Datasetと評価観点の整備、変更のたびの比較
- 段階初回リリース、修正版、次版の設計の各段階で評価
Challenge
回答が良いか悪いかを、
判断する基準がなかった。
AIプロダクトの開発で、RAGを活用したチャット型アプリの品質をどう保証するかが課題となっていました。
回答精度や評価基準が曖昧で、リリース判断が難しい状態でした。
Approach
想定回答を先に決めて、
毎回同じ基準で測る。
Golden Dataset（想定する質問と期待する回答の組）を整備し、ユースケースごとの検証観点を設計しました。モデル・プロンプト・データが変わったときも、同じ基準で比較できる状態を目指しています。
-
01検索精度
質問に対して、根拠となる情報を正しく引けているか。
-
02回答品質
引いた情報にもとづいて、質問に答えられているか。
-
03想定回答との差
Golden Datasetの期待回答と、どこがどう違うか。
-
04変更時の回帰
モデル・プロンプト・データを変えたあとも、同じ基準で比較できるか。
進め方
-
Golden Dataset
質問と期待回答を先に決める
実際の使われ方から質問を集め、期待する回答と、その根拠になる資料を組にします。ここが評価の物差しになります。
-
Evaluate
4つの軸で測り、差を見る
検索精度、回答品質、期待回答との差、変更時の回帰の4軸で評価し、どの質問でどう外れたかを記録します。
-
Regress
変更のたびに、同じ基準で比較する
モデル・プロンプト・データを変えるたびに同じDatasetで測り、前より良くなったか悪くなったかを比べます。
Found and fixed
評価の中で、古い版の資料が新しい版と混ざって回答の精度を下げていることが分かりました。資料に年版を明記し、古い版を評価から分ける対応を提案しています。
Outcome
変化
回答の良し悪しを、同じ基準で判断できる状態になりました。モデルやデータを変えたときに、前より良くなったかを比較できます。
Golden Datasetの中身、顧客データ、評価結果の数値は公開していません。
支援前
- 回答の良し悪しを判断する基準がない
- 評価する人によって結果が変わる
- 変更したあとに良くなったかが分からない
支援後
- 期待回答を先に決め、同じ基準で測れる
- 検索精度・回答品質・差・回帰の4軸で記録
- 変更の前後を比較して、リリースを判断できる
Contact
AI機能の品質を、
どう測るか決めきれていない。
評価したい機能と使われ方を伺い、まず何を基準にするかを一緒に整理します。
品質の課題を相談する