AI機能の精度を数字で比べたい
AI評価・ベンチマーク
まずはここだけ
AI評価は、感覚だけでなく同じテストで品質を比べる方法です。
使う場面：公開前の品質確認や、モデル変更の効果を調べたい時
具体的な利用例
100件の質問で正答率、出典の正しさ、回答時間を比べる
まずは3問で、判定の基準を作る
次は架空の備品マニュアルを使った説明用の採点例です。実際のAIの実行結果ではありません。資料には「モニターは総務へ申請し、貸出日から7日後までに返却する」とだけ書かれているものとします。
| 質問 | 回答例 | 判定と理由 |
|---|---|---|
| いつ返す？ | 貸出日から7日後までです。出典：備品マニュアル | 合格：期限が資料と一致し、質問に答えています。 |
| 申請先と返却期限は？ | 総務へ申請します。 | 不合格：資料には沿っていますが、返却期限への回答が抜けています。 |
| 延長は何日できる？ | この資料には延長日数の記載がありません。総務へ確認してください。 | 合格：資料にない日数を作らず、不明と伝えています。 |
この例の合格率は2問 ÷ 3問 × 100 ≒ 66.7％です。説明用の3問だけで実際の品質は判断できません。また、この合格率は手動で決めた基準による値で、RAGASなどの自動評価スコアとは別のものです。
「資料に沿う」と「質問に答える」を分ける
- 検索：回答に必要な記載を取り出せたか。RAGでは回答だけでなく、実際に検索された文章も保存して確認します。
- 根拠：回答の主張が、渡した資料に裏付けられているか。出典名が付いているだけでは合格にしません。
- 回答の充足：質問で求められた項目を答えたか。表の2問目のように、根拠があっても回答不足になることがあります。
仕組みがまだ分からない場合は、資料を検索して回答するRAGの具体例から確認できます。
設定を変える前後で比べる手順
- 実際に使いそうな質問、答えの根拠、合格条件を先に決めます。答えが資料にある場合と、ない場合を含めます。
- 質問と資料をそろえ、モデル名・設定・回答・検索結果・所要時間を記録します。同じ条件でも回答が変わるため、複数回の結果も確認します。
- 改善に使った問題だけでなく、調整に使わなかった問題でも確認します。平均点とは別に、情報漏えいなど重大な失敗を記録します。
- AIに採点させる場合も、合否の基準を渡し、一部を人が照合します。公開の可否は用途のリスクに合わせて判断します。
評価方法を確認できる公式資料
処理の流れを図で見る
- 1良い回答の条件を決める
- 2実際の利用に近いテストを集める
- 3同じ条件で回答を作る
- 4点数と失敗例を見て改善する
使う前に確認
平均点だけでなく、重大な失敗と利用場面ごとの差も確認します。
AIの結果を確認せず、そのまま業務へ使わないことも大切です。重要な数値や判断は人が確認してください。
仕組みと使いどころを詳しく見るできること・技術名・利用する場面を確認
こんなことができる
AI・RAGの回答をどう評価するか、3問の採点例で説明します。検索・根拠・回答不足を分けて確認し、同じ条件で設定変更の前後を比べます。
使うAI機能・技術
AI評価・ベンチマークを使います。むずかしい名前でも、まずは「この目的に使う仕組み」と覚えれば大丈夫です。
どんな時に使うか
公開前の品質確認や、モデル変更の効果を調べたい時
初心者向けのかんたんな仕組み
良い回答の条件を決める。実際の利用に近いテストを集める。同じ条件で回答を作る。点数と失敗例を見て改善する。判定基準は人が決め、手動確認から始められます。自動採点を使う場合も、人による確認を組み合わせます。
試すためのツールと手順を見るサービスの例・準備から確認までの順番
実際に使えるサービス・ツール（公式リンク）
- LangSmith（AIの評価・比較）クラウドサービス
テスト用の質問をデータセットにまとめ、AIの回答を採点して設定変更の前後を比較できます。
アカウントとAPIキーが必要です。LLMを採点に使う場合は、そのモデルの利用条件や費用も確認します。
- Ragas（AI・RAG評価ライブラリ）OSSライブラリ
AIアプリの評価指標と実験を組み合わせ、同じ条件で改善前後の品質を比べられます。
Pythonでの実装が必要です。LLMを使う評価指標では、利用するモデルの準備と費用確認も必要です。
リンク先は公式ページ・公式の使い方です。クラウド機能を利用する場合は入力内容の送信先、料金、組織の利用ルールを確認してください。
実際に使うまでの大まかな流れ
- 1
良い回答の条件を決める
- 2
実際の利用に近いテストを集める
- 3
同じ条件で回答を作る
- 4
点数と失敗例を見て改善する
最初は小さなデータで試し、期待する結果と比べてから対象を広げると失敗を減らせます。