営業部門のローカルLLM導入の進め方｜顧客データ・商談録音を社外に出さずにAIを使う
「生成AIを営業に使いたい。でも、顧客の情報を社外のAIサービスに渡すことは、社内の規程で認められていない」。大手企業や、金融、医療、公共などの業界の方から、こういう相談をよく受けます。
その解決策としてよく名前が挙がるのが、ローカルLLMです。キーワードの検索数を見ても、「ローカルLLM 導入」は一定の検索がありながら、まだ競合が少ないテーマです。それだけ「気になっているけど、どう進めればいいか分からない」という方が多いんだと思います。
この記事では、営業部門でローカルLLMを使う場合に、何をどの順番で決めていけばいいかを書きます。最初に言っておくと、データを社外に出さない方法はローカルLLMだけではありません。そこも含めて整理します。
ポイント
ローカルLLMは、公開されているAIのモデルを自社の環境で動かして、データを外に出さずにAIを使う方法です。ただ、性能は最新の商用モデルに劣ることが多く、環境づくりにも手間がかかります。閉域クラウドやデータの加工といった他の選択肢と比べて、業務ごとに使い分けるのが現実的です。
ローカルLLMとは
LLM（大規模言語モデル）は、ChatGPTやClaudeのような生成AIの中心にある技術です。ふだん私たちが使っているAIは、提供会社のサーバーで動いていて、インターネット経由で使っています。
ローカルLLMは、公開されているモデルを、自社のサーバーや、自社で管理する閉じたクラウド環境で動かす形です。入力したデータが、AIの提供会社に送られることはありません。
この記事の監修者
クラウドのAIと何が違うのか
クラウドのAI | ローカルLLM | |
|---|---|---|
データの行き先 | 提供会社のサーバー | 自社の環境の中だけ |
性能 | 最新・最高水準のモデルが使える | 公開モデルから選ぶ。最新の商用モデルより劣ることが多い |
始めやすさ | すぐ使える | 環境の用意と設定が必要 |
費用 | 使った量に応じて払う | 機器や環境の費用が中心。量が増えても費用は増えにくい |
運用 | 提供会社がやる | 自社か委託先がやる |
実は、ローカルLLM以外の選択肢もある
「データを外に出したくない＝ローカルLLM」と考えがちですが、他にも方法があります。
クラウドの閉域環境で使う
大手のクラウド事業者は、生成AIのモデルを、契約企業専用の閉じた環境で使えるサービスを出しています。入力データを学習に使わない、通信を閉じたネットワークの中に限る、といった設定ができます。社内の規程が「特定のクラウドの中ならOK」になっているなら、こちらの方が現実的なことが多いです。
データを加工してから渡す
顧客名や個人名を記号に置き換えてからクラウドのAIに渡して、結果を受け取ったあとで元に戻す方法です。扱うデータによっては、これで十分なこともあります。
どれを選ぶかは、社内の規程で「何が」「どこまで」許されているかで決まります。なので、最初にやるべきことは、モデル選びではなく、情報システム部門やセキュリティの担当に「どこまでならいいのか」を確認することです。
営業部門でローカルLLMが向いている仕事
ローカルLLMは、最新の商用モデルほど賢くないことがあります。なので、難しい推論をさせるより、「決まった形の処理をたくさんやる」仕事の方が向いています。
仕事 | 向き不向き | 理由 |
|---|---|---|
商談記録からの項目の抜き出し | 向いている | 抜き出す項目が決まっている |
社内マニュアルへの質問応答 | 向いている | 答えの根拠が社内の資料にある |
顧客データの分類・タグ付け | 向いている | 判断の基準を言葉にしやすい |
録音の文字起こし | 向いている | 音声認識のモデルも自社環境で動かせる |
複雑な提案書の作成 | やや不向き | 高い文章力と推論が必要 |
Web上の最新情報の調査 | 不向き | そもそも社外の情報を扱う仕事 |
最後の行は少し補足させてください。キーマン調査のように、Web上の公開情報を調べる仕事は、そもそも社外に出して困るデータを扱っていません。こういう仕事は、クラウドのAIでやった方が速くて安いです。私たちのキーマン調査も、Webを検索するAIで1社あたり約15円で回しています。
営業データの種類ごとに、どこで処理するか
営業部門が扱うデータは、外に出してはいけない度合いがバラバラです。全部を同じ扱いにすると、守りすぎて使えないか、守りが足りなくて承認が下りないかのどちらかになります。私たちは、営業のデータを次のように分けて考えています。
営業データ | 外に出したときのリスク | 処理する場所の目安 |
|---|---|---|
企業の公開情報（Webサイト、IR、求人票） | ほぼない | 通常のクラウドのAI |
ターゲットリスト・キーマン情報 | 中（自社の営業戦略が透ける） | 閉域クラウド、または加工してクラウド |
架電ログ・アポ報告 | 中〜高（相手の反応や担当者名を含む） | 閉域クラウドかローカルLLM |
商談の録音・議事録 | 高（相手企業の内部事情を含む） | ローカルLLMか閉域クラウド |
見積・価格・契約条件 | 高（競争力そのもの） | ローカルLLM |
ポイントは、営業の流れの「前の方」ほど公開情報が多く、「後ろの方」ほど機密が増えることです。リスト作成やキーマン調査はクラウドのAIで速く安く回し、商談から先のデータはローカルLLMや閉域で扱う。営業の流れに沿って守り方を変えると、性能と安全のバランスがとりやすくなります。
構成の3つのパターン
パターン | 構成 | 向いている会社 |
|---|---|---|
A. すべて自社環境 | モデルもデータも仕組みも、全部自社のサーバーに置く | クラウドの利用そのものが制限されている会社 |
B. 閉域クラウド | 契約したクラウドの閉じた環境で、モデルとデータを扱う | 特定のクラウドの利用が認められている会社 |
C. 使い分け | 社内データはAかB、公開情報の調査は通常のクラウドのAI | 仕事によってデータの性質が違う会社 |
営業部門では、Cの使い分けがいちばん現実的なことが多いと思っています。公開情報を扱う調査と、社内の商談記録を扱う仕事では、求められる守り方がまったく違うからです。全部をいちばん厳しい構成に合わせると、性能も費用も無理が出ます。
営業部門の相談でよくあるケース
具体的なイメージを持ってもらうために、営業部門からの相談でよくある形を2つ書いておきます。
「商談の録音を、外に出さずに要約したい」
これはいちばん多い相談です。商談には、相手企業のまだ公開されていない計画や、社内の事情が含まれます。外部の議事録サービスに録音を上げること自体がNG、という会社は珍しくありません。
この場合は、音声の文字起こしと、項目の抜き出しを、自社の環境（または閉域クラウド）で動かす構成が合います。抜き出す項目が決まっている仕事なので、ローカルLLMでも十分に実用的な精度が出やすいです。
「社内の営業ノウハウを、AIに聞けるようにしたい」
トークマニュアルや提案書、過去の事例をAIに読ませて、営業担当がいつでも質問できるようにしたい、という相談です。ディーノでも、マニュアルを読み込ませた「ISのプロAI」をアポインターに使ってもらっています。
社内の資料には、顧客名が入った事例や価格の情報も含まれます。こういう資料を扱うなら、やはり外に出さない構成が安心です。答えの根拠が社内の資料にあるので、これもローカルLLMと相性がいい仕事です。
どちらのケースも、「Webの最新情報を調べる」必要がない、というのが共通点です。逆に言うと、Webを調べる必要がある仕事をローカルLLMでやろうとすると、どうしても無理が出ます。
営業の成果で効果を測る
ローカルLLMの導入は、情報システム部門のプロジェクトとして扱われがちです。そうなると、評価の軸が「安全に動いているか」だけになって、営業の現場に役立っているかが見えなくなります。
営業部門で入れるなら、効果は営業の数字で測ってください。
- 商談記録の入力にかかる時間がどれだけ減ったか
- 新人が独り立ちするまでの期間が短くなったか
- 商談の聞き漏れ（予算・決裁者・時期）がどれだけ減ったか
- 失注理由の傾向が、会議で使える形で見えるようになったか
「データを外に出さずに済んだ」はスタートラインにすぎません。その先で営業の数字が動いてはじめて、投資した意味が出てきます。
導入の進め方
- 扱うデータを書き出して、それぞれ社外に出していいか、どの環境なら許されるかを確認する
- 最初の仕事を1つ選ぶ（量が多い、判断の基準が言葉になっている、社内向けで間違えても戻せる）
- 日本語の性能と、動かすのに必要な機器の規模を見比べてモデルを選び、小さく試す
- 社内のチャットやSFA、スプレッドシートなど、現場が普段使う場所から使えるようにする
- モデルの更新、機器の保守、精度の見直しを誰がやるかを決める
営業部門で最初に選びやすいのは、「社内マニュアルへの質問応答」か「商談記録からの項目の抜き出し」です。3の段階では、実際の業務データ（またはそれに近い試験データ）で試して、人が結果を見て判断してください。
社内の承認を通すために
ローカルLLMや閉域の構成を提案するときは、次のことを説明できるようにしておくと、承認までがかなり早くなります。
- どのデータを、どの環境で、誰が扱うか
- データが学習に使われない、外に送られないことを、どう担保するか
- 誰がどの結果を見られるか
- 誰が、いつ、何を入力したかの記録をどう残すか
- 問題が起きたときに、どう止めて、どう調べるか
気をつけたいこと
- 性能への期待をそろえる。最新の商用モデルと同じ水準を期待すると、ほぼがっかりします。業務に必要な水準を先に決めておく
- 公開モデルにも利用条件がある。商用利用できるかは必ず確認する
- AI向けの機器は調達に時間がかかることがある。試作は閉域クラウドで始めるのも手
- 「ローカルLLMを入れること」が目的にならないようにする。営業のどの数字を良くしたいのかを、最初に決めておく
よく聞かれること
精度が足りないときは、どうすればいいですか？
まず、指示の出し方と、手順の分け方を見直してみてください。1回で難しい判断をさせるのではなく、「抜き出す」「確かめる」「整える」と段階を分けると、性能の低いモデルでも精度が上がることがあります。それでも足りなければ、大きいモデルに替えるか、その仕事だけ閉域クラウドの高性能なモデルを使う構成を考えます。
社内にエンジニアがいなくても導入できますか？
環境づくりと運用には専門の知識が要るので、社内にいない場合は、構築から運用まで開発会社に任せる形が現実的です。営業部門は「どの仕事に、どのデータを使いたいか」をはっきりさせることに集中するのがいいと思います。
営業部門だけで進められますか？
機器の調達やネットワークの設定には、情報システム部門の協力が欠かせません。営業部門は「どの仕事に、どのデータを使いたいか」「何の数字を良くしたいか」をはっきりさせて、情報システム部門と一緒に構成を決める。この分担で進めるのが、いちばんスムーズです。
まとめ
ローカルLLMは、データを外に出せない会社にとって有力な選択肢です。ただ、手段の1つにすぎません。社内の規程で何が許されているかを確認して、閉域クラウドやデータの加工とも比べて、仕事ごとに使い分ける。そのうえで、1つの仕事で小さく試してから広げる。この順番を守れば、大きく失敗することはないはずです。
ディーノでは、閉域・オンプレミスの構成にも対応した営業AIエージェントの開発・導入をお手伝いしています。「データは外に出せないけど、営業にAIを使いたい」という段階からご相談ください。
詳しくは営業AIエージェント開発・導入支援をご覧ください。