営業AIエージェントの精度を上げ続ける方法｜現場の修正を学習に回す仕組み
営業AIエージェントは、作った時点が一番精度の低い状態です。使い始めてから、現場の知見を取り込んで精度を上げていく前提で設計しておかないと、「最初は期待したのに、結局使えなかった」で終わってしまいます。
この記事では、ディーノが自社の営業AIエージェントの精度を上げ続けるために取り入れている運用を紹介します。
ポイント
精度を上げ続ける仕組みは3つです。現場の修正を次から反映すること、調べるAIと確かめるAIを分けること、改善の回数と範囲にルールを決めることです。精度は「人が直す回数が減っているか」で追います。
仕組み1 現場の修正を次から反映する
AIの結果を人が直したら、その修正をAIに覚えさせます。直した内容が次に生かされなければ、同じ間違いを何度も直すことになり、現場はAIを使わなくなります。
ディーノの架電フィードバックAIでは、AIのフィードバックにマネージャーがスレッドで後追いのコメントをしたら、AIの答えとコメントの差分を、次のフィードバックに反映できるようにしています。マネージャーの感覚が少しずつAIに蓄積されていきます。
修正を集めやすくするコツ
- 修正は、AIの結果と同じ場所（同じスレッド、同じシート）に書いてもらう
- 「どこが」「なぜ」違うのかを一言添えてもらう
- 修正が多い項目を定期的に見直し、判断基準そのものを書き直す
この記事の監修者
仕組み2 調べるAIと確かめるAIを分ける
1つのAIに、調べることと確かめることを両方やらせると、自分の答えに甘くなります。ディーノのキーマン調査では、役割を3つに分けています。
- リサーチ：Webで調べ、出典URL付きで決めた項目の表にして返す
- 評価：検索はし直さず、示された出典を開いて中身と照らし合わせる
- 判定：OKなら確定、NGなら理由を添えてリサーチに戻す
評価のAIは、調べたときとは別の会話で動かします。同じ会話の中だと、調べた経緯まで読んだうえで判断するため、「これでいい」に寄りやすくなるためです。
仕組み3 改善の回数と範囲にルールを決める
精度を上げようとして評価を厳しくしすぎると、調べ直しが延々と続き、費用だけが増えます。
ディーノでは、再調査は1回までと決めています。この運用で、1回の再調査で約9割が明らかな誤りのない水準になっています。残りは人が確かめる前提で回しています。
また、調べる項目は分けて回しています。キーマン、部署直通番号、ウェビナー登壇などの動きは、それぞれ別に調べます。まとめて調べさせると、どれかが雑になるためです。
精度をどう測るか
精度は、正解率だけで測ると判断を誤ることがあります。ディーノでは次の3つを見ています。
- 人が直す回数：時間とともに減っているか
- 差し戻しの理由：同じ理由の差し戻しが続いていないか
- 現場の使用頻度：指示されなくても使われているか
よくある質問
Q. AIに「学習させる」とは、モデルを作り直すことですか？
多くの場合、モデル自体は作り直しません。判断基準のマニュアルや、過去の修正例を、AIに渡す情報として更新していく形です。これなら、専門のエンジニアがいなくても続けられます。
Q. 評価のAIは、調べるAIと別のモデルにすべきですか？
必ずしも別のモデルである必要はありません。ディーノのキーマン調査では、リサーチと評価に同じ軽量なモデルを使い、会話を分けることで評価の甘さを防いでいます。
Q. 精度が上がらなくなったら、どうすればいいですか？
差し戻しの理由を集計してください。同じ理由が続く場合、AIではなく判断基準や、渡している情報の側に原因があることがほとんどです。
まとめ
営業AIエージェントの精度は、作った後の運用で決まります。現場の修正を次から反映し、調べるAIと確かめるAIを分け、改善の回数と範囲にルールを決めると、精度は上がり続けます。
ディーノでは、作って終わりではなく、運用・改善まで見る形で営業AIエージェントを導入しています。詳しくは営業AIエージェント開発・導入支援をご覧ください。
関連記事
営業の現場で動くAIエージェントを、開発から定着まで
株式会社ディーノは、大手企業の新規開拓支援の現場で自社が使っている営業AIエージェントを、貴社の営業組織向けに開発・導入しています。架電のフィードバック、営業データとの対話、行動量のモニタリング、リサーチの自動化まで、業務の棚卸しから定着までを一貫して支援します。