AIリサーチは「調査役」と「評価役」を分ける｜出典の照合で精度を担保する仕組み
AIにキーマンを調べさせるとき、精度を仕組みで担保する方法が「調査役」と「評価役」の分離です。調査するAIとは別のAIに、調査結果が本当かどうかを確かめさせます。
プロンプトをどれだけ整えても、AIが自分の結果を自分でチェックするだけでは見落としが残ります。この記事では、ディーノが実際に運用している仕組みをもとに、設計のポイントを解説します。
ポイント
評価役は調べ直すのではなく、調査役が示した出典ページを開いて内容と照合します。調査と評価は別のセッションで行い、自分の調査を肯定するバイアスを外します。NGなら理由を添えて差し戻しますが、再調査は1回までにして精度とコストを両立します。
全体の流れ
- 調査役のAIが、ウェブで調べ、出典URLを付けて、項目ごとに区切った形で出力する
- 評価役のAIが、別のセッションで出典ページを開き、記載内容と照合する
- 目的を果たしていればOKとしてリストに反映し、個別アプローチに使う
- NGなら、フィードバックを付けて調査役に差し戻す（再調査は1回まで）
評価役は「調べ直す」のではなく「出典を開いて確かめる」
評価役といっても、同じ調査をもう一度やり直すわけではありません。評価役が行うのは、次の3つの確認です。
- 調査役が示した出典URLのページが、実際に存在するか
- そのページに、調査役が主張した内容が書かれているか
- 調査の目的に対して、情報として十分か
評価役は新たに検索をせず、調査役が示したページを開いて読むだけです。そのため、調査を二重に行うよりもコストを抑えられます。この仕組みが成り立つのは、調査役に出典URLを付けさせているからです（「AIキーマン調査のプロンプト設計3原則」参照）。
なぜセッションを分けるのか
一番の理由は、同じ会話の中で評価させると評価が甘くなるためです。同じセッションでは、調査の経緯まで評価役に引き継がれます。その結果、「これでいいだろう」と自分の調査を肯定するバイアスがかかります。
これはプログラム開発でも同じです。コードを書いた会話のままAIにレビューさせると、問題があっても「問題ありません」と返しがちです。調査もレビューも、前提を知らない第三者の目で見ることが大切です。
もう一つの理由は、会話の長さです。ディーノの運用では、1社あたり調査に10万〜15万トークン、評価に10万トークンほど使います。同じ会話で続けると合計20万トークンを超え、扱える分量が小さいモデルでは途中で出力が止まります。扱える分量が大きいモデルでも、20万トークンを超えるなら分けた方が安心です。
この記事の監修者
実際にどう分けるか
セッションは企業ごと、役割ごとに分けます。100社を調べるなら、調査100回＋評価100回で、合計200のセッションになります。
- チャット画面で行う場合：調査結果をコピーし、「新しい会話」を開いて評価させる。数社ならこれで十分
- 件数が多い場合：APIで自動化し、調査と評価を別々の呼び出しにする
NGなら差し戻す。ただし再調査は1回まで
評価役は、次のような場合にNGを付け、理由を添えて調査役に差し戻します。
- 出典ページに、主張した内容が書かれていない
- 出典ページが開けない、存在しない
- 調査の目的を果たせていない
ただし、差し戻しを無制限にすると、評価が厳しすぎた場合に調査と評価を延々と繰り返し、コストが膨らみます。ディーノでは再調査を1回までとしています。社内の運用では、再調査1回で明らかな誤りの大半（体感で9割ほど）が解消しているためです。
モデルは軽量なもので十分
この仕組みでは、調査役も評価役も高価な上位モデルである必要はありません。ディーノでは、両方に同じ軽量モデルを使い、考える量（思考の設定）だけを調整しています。仕組みで精度を担保できれば、モデルの価格を抑えられます。
▶ キーマン・部署直通番号付きの「すぐ動ける」営業リストなら
Toppaを見る →
まとめ
- 評価役は調べ直さず、出典ページを開いて主張と照合する
- 調査と評価は別のセッションで行い、自己肯定のバイアスを外す
- 差し戻しは1回までにして、精度とコストを両立する
関連記事
大手開拓を、有効商談数の保証付きで支援します
ディーノの「オオテトル」は、部署直通番号への架電、CxOレター、LinkedInを組み合わせて、大手企業の担当部署との有効商談をつくる営業代行です。事前に有効商談の条件を決め、約300件・10万円（税別）のテストアプローチで取れる数を確かめてから本契約に進みます。
まずは資料を見る（無料）→ ／ 相談する →