第6章 AIベンダーの話をどこまで信じればいいのか
生成AIを会社で使おうとすると、かなり高い確率でベンダーの話を聞くことになります。
「御社専用のAIを作れます」 「問い合わせ対応を自動化できます」 「社内文書検索をAI化できます」 「業務時間を30％削減できます」 「人手不足を解消できます」
どれも魅力的に聞こえます。
そして、たぶん全部、条件がそろえば本当にできることもあります。
問題は、
「その条件が、御社でそろっているのか」
です。
AIベンダーの説明は、当然ながら「できること」を中心に話します。
できないこと。 失敗しやすいこと。 運用が面倒なこと。 思ったより費用がかかること。
こうした話は、こちらから聞かないと出てこないことがあります。
この章では、
AIベンダーの提案を、 経営者としてどう見ればよいのか
を考えてみます。
技術の細かい違いを全部理解する必要はありません。
見るべきポイントは、もっと基本的です。
1 「AIならできます」は、だいたい半分正しい
生成AIは、かなり多くのことができます。
文章を読める。 要約できる。 分類できる。 検索できる。 会話できる。 プログラムも書ける。
ですから、
「AIならできます」
という説明は、完全な嘘とは限りません。
ただし、
「できる」
と
「会社で安定して使える」
は別です。
デモでは動く。 本番では止まる。
少量のデータではうまくいく。 大量データでは遅くなる。
専門家が使えばうまくいく。 一般社員が使うと結果がばらつく。
こういうことが普通にあります。
ですから、
「できますか」
ではなく、
「どの条件なら、どの程度の品質で、どれくらい安定してできますか」
と聞いたほうがよいです。
2 デモは、だいたいうまくいきます
ベンダーのデモはきれいです。
質問するとすぐ答える。 資料を読み取る。 表を作る。 検索も速い。
すごい。
でも、デモはうまくいくように作られています。
これは当たり前です。
こちらも、失敗するデモを見るために説明会へ行くわけではありません。
ただし、導入判断では、
「失敗したときにどうなるか」
を見る必要があります。
例えば、
質問の意味が曖昧なとき。 社内文書に答えがないとき。 古い文書しか見つからないとき。 複数の文書が矛盾しているとき。
AIはどうするのか。
ここを見る。
成功例より失敗例。
AIでは特に重要です。
3 PoCは「できるか確認する場」ではない
AI導入では、PoCという言葉がよく出ます。
Proof of Concept。 概念実証です。
簡単に言えば、
「本当に使えそうか、小さく試してみる」
ということです。
ここでよくある失敗は、
PoCの目的が曖昧
なことです。
「とりあえずAIを試してみましょう」
では、何を見ればよいかわかりません。
PoCでは、
何ができれば成功か。 何ができなければ中止か。
を先に決めるべきです。
例えば、
50問の社内FAQのうち45問以上正答。 1回答5秒以内。 担当者の確認時間を半分にする。
などです。
成功条件を先に決める。
これが大事です。
4 PoCの前に「失敗条件」を決める
私は、成功条件より失敗条件のほうが重要だと思います。
例えば、
重大な誤回答が5％を超えたら中止。 月額費用が50万円を超えるなら見送り。 回答確認に人手が必要すぎるなら導入しない。
こういう条件です。
AI導入は、始めるよりやめるほうが難しいです。
一度費用をかけると、
「ここまでやったんだから」
という気持ちが出ます。
だから先に、
「ここを超えたらやめる」
と決めておく。
これはかなり大事です。
5 「精度95％」だけでは意味がわからない
ベンダーの資料に、
「精度95％」
と書いてあることがあります。
一見よさそうです。
でも、何の95％でしょうか。
質問100件中95件正解。 分類100件中95件正解。 重要項目100件中95件抽出。
全部意味が違います。
さらに、
残り5％が何を間違えるのか
も重要です。
商品名の言い間違いなら、すぐ直せるかもしれません。
しかし、
料金。 契約条件。 安全情報。
を5％間違えるなら危険です。
平均精度だけ見ない。
どんな間違いをするかを見る。
これは非常に重要です。
6 精度は業務によって必要水準が違う
AIの精度は、100％である必要はありません。
例えば、
アイデア出し。
10案のうち2案使えれば十分です。
要約。
多少言い回しが違っても大きな問題はないかもしれません。
一方で、
請求金額。 契約条件。 医療。 安全。
こうしたものは、高い正確性が必要です。
ですから、
「AIの精度は何％ですか」
ではなく、
「この業務なら、何％なら使えるのか」
を考えるべきです。
必要な精度は、業務側で決まります。
7 費用は初期費用だけではない
AI導入の見積もりを見るとき、
初期費用
に目が行きます。
100万円。 300万円。 1000万円。
しかし、重要なのは運用費です。
月額利用料。 API料金。 クラウド料金。 保守費。 ライセンス費。 サポート費。
さらに、
社員が確認する時間。 データを整える時間。 教育する時間。
もあります。
AI導入の本当の費用は、
システム料金だけ
ではありません。
8 API料金は増えることがある
生成AIの多くは、使った量に応じて費用が増えます。
文章量。 質問回数。 モデルの種類。
によって変わります。
最初は、
月1万円くらい
だったものが、
社員100人が使うと月30万円。
さらに利用が増えて月100万円。
ということもあり得ます。
ですから、
利用量が10倍になったとき、 費用はいくらになるのか
を確認しておくとよいです。
小規模なPoCの価格だけ見てはいけません。
9 運用費は、むしろ人件費のほうが大きいことがある
システム利用料が安くても、
人間の運用負荷が大きい
ことがあります。
AIの回答を確認する。 誤回答を直す。 FAQを更新する。 社内文書を整理する。 アクセス権を直す。
こうした作業です。
月額10万円のAIシステムでも、
社員が毎月50時間管理する
なら、本当の費用はもっと大きいです。
ベンダーに、
「運用開始後、社内で何時間くらい作業が必要ですか」
と聞く。
かなり重要な質問です。
10 AIは勝手に賢くなってくれるのか
営業説明では、
「使えば使うほど賢くなります」
という表現を聞くことがあります。
少し注意したほうがよいです。
何をもって「賢くなる」のか。
ユーザーの使い方を学ぶのか。 FAQが追加されるのか。 モデルそのものが更新されるのか。
ここは確認が必要です。
会社が何もしなくても、
勝手に自社向けに賢くなる
とは限りません。
多くの場合、
データを追加する。 ルールを直す。 文書を更新する。 評価する。
といった運用が必要です。
11 モデルが変わると、結果も変わる
生成AIは、モデルが更新されます。
性能が上がることもあります。
でも、
前と少し違う答えをする
こともあります。
去年うまく動いていた処理が、
モデル更新後に少し変わる。
ということもあります。
会社で使う場合は、
モデル更新時にどう検証するのか
を確認しておくべきです。
特に重要業務では、
更新されたからそのまま使う
では危険です。
12 ベンダーロックインを見る
一度導入すると、
その会社から離れにくくなる
ことがあります。
これをベンダーロックインと言います。
例えば、
データ形式が独自。 設定を外に出せない。 検索用データを移行できない。 プロンプトや評価データを取得できない。
こうなると、
料金が上がっても移れない
ということがあります。
契約前に、
「解約するとき、何を持ち出せますか」
と聞いておく。
非常に大事です。
13 「データは返してもらえるか」を聞く
AIシステムに、
社内文書。 FAQ。 利用ログ。 評価データ。
を蓄積していく。
数年使えば、かなりの量になります。
そのデータは誰のものか。
契約終了時に受け取れるのか。
どの形式で受け取れるのか。
消去してもらえるのか。
確認したほうがよいです。
システムより、蓄積したデータのほうが価値が高くなることがあります。
14 セキュリティの説明は具体的に聞く
「セキュリティは万全です」
と言われても、それだけではわかりません。
具体的に聞きます。
データはどこに保存されるか。 通信は暗号化されるか。 社員ごとのアクセス制御はできるか。 管理者ログは取れるか。 バックアップはどうするか。 退職者のアカウントはすぐ止められるか。
技術用語がわからなくても、
「誰が見られるのか」 「何が記録されるのか」 「事故が起きたらどうするのか」
を聞けばよいです。
15 「学習に使いません」はどこまでの意味か
生成AIサービスでは、
「入力データを学習に使用しません」
という説明があります。
安心します。
ただし、
保存されない
とは限りません。
ログとして一定期間保存されることもあります。
品質確認のために利用されることもあります。
ですから、
学習に使わない
だけでなく、
保存期間。 利用目的。 アクセス権。
まで確認したほうがよいです。
16 既存業務とどうつなぐか
AI単体で便利でも、
実務に入らない
ことがあります。
例えば、
AIで回答案が作れる。
でも、その回答を毎回コピーして、 別のシステムに貼り付ける。
これでは面倒です。
メール。 CRM。 グループウェア。 基幹システム。
とどうつながるのか。
ここはかなり重要です。
AIの性能だけでなく、
既存業務にどう入るのか
を見る必要があります。
17 「AI導入」ではなく「業務改善」の提案になっているか
よい提案は、
AIを使うこと
より、
業務がどう変わるか
を説明します。
例えば、
問い合わせ対応時間を40分から15分へ。 確認作業を3段階から2段階へ。 FAQ作成を週5時間から2時間へ。
こういう話です。
逆に、
最新LLM。 高精度RAG。 エージェント技術。
ばかり説明される場合は、
「それで、うちの仕事は何が変わるのですか」
と聞いたほうがよいです。
経営者が見るべきは、 技術の新しさではなく、
仕事の変化です。
18 ROIは簡単に出ない
AI導入で、
ROI何％
ときれいに計算できればよいですが、 実際には難しいことがあります。
例えば、
メール作成が1日20分減る。 調査が速くなる。 社員のストレスが減る。 新人教育が楽になる。
これを全部お金に換算するのは難しい。
だから、
「ROIが正確に何％か」
にこだわりすぎる必要はありません。
しかし、
毎月100万円払って、 何が良くなるのか全く説明できない
のも困ります。
最低限、
時間。 人件費。 売上。 ミス。 対応件数。
のどれが変わるのかは見たほうがよいです。
19 「AIだから高い」は疑ってよい
生成AIという言葉が付くと、
急に見積もりが高くなる
ことがあります。
もちろん、開発には費用がかかります。
でも、
本当に専用開発が必要か。
一般的なサービスで代替できないか。
月額数万円のサービスで十分ではないか。
確認する価値があります。
「AIシステムを作る」
前に、
「既製サービスでできないか」
を見る。
中小企業では特に重要です。
20 最初の契約は小さくする
いきなり3年契約。
いきなり全社導入。
これはかなり危険です。
最初は、
3か月。 一部署。 一業務。
くらいでよいです。
実際に使う。
社員が使う。
誤回答を見る。
費用を見る。
そのあと広げる。
生成AIは変化が速いので、
長期契約そのものがリスク
になる場合もあります。
21 SLAは必要か
重要業務で使うなら、
止まったときにどうするか
も考えます。
SLA。 Service Level Agreementです。
難しく見えますが、
どれくらい稼働を保証するか。 障害時にどれくらいで対応するか。
という話です。
AIが止まったら仕事が止まるのか。
少し不便なだけなのか。
ここで必要な水準が変わります。
重要でない業務なら、 そこまで高い保証はいりません。
重要業務なら、 きちんと確認する。
22 セカンドオピニオンは意外に大事
大きなAI導入を検討しているなら、
別の人にも見てもらう
価値があります。
医療のセカンドオピニオンと同じです。
この提案は妥当か。 費用は高すぎないか。 本当に専用開発が必要か。 もっと簡単な方法はないか。
ベンダー自身に、
「この提案、本当に必要ですか」
と聞いても限界があります。
売る側だからです。
技術的に中立な人に一度見てもらう。
それだけで、 かなり無駄を防げることがあります。
23 経営者が技術を全部理解する必要はない
AIベンダーの説明を聞くと、
専門用語がたくさん出ます。
LLM。 RAG。 Embedding。 Vector Database。 Agent。 Fine-tuning。
全部理解しようとすると大変です。
経営者が見るべきなのは、
何ができるか。 どこで失敗するか。 いくらかかるか。 誰が運用するか。 やめるときどうなるか。
この5つです。
技術の詳細は、必要なら専門家に聞けばよい。
判断材料を押さえる。
それで十分です。
24 ベンダーに聞く10の質問
最後に、かなり実務的な質問を挙げます。
- 何ができれば、この導入は成功ですか。
- どんな失敗が起きますか。
- 重大な誤回答はどれくらいありますか。
- PoC後、本番では何が変わりますか。
- 初期費用以外に毎月いくらかかりますか。
- 社内では誰が、どれくらい運用する必要がありますか。
- データはどこに保存されますか。
- 解約時にデータは全部持ち出せますか。
- モデル更新時の検証はどうしますか。
- 3か月でやめるとしたら、何が残りますか。
最後の質問はかなり重要です。
導入前には、
「成功したらどうなるか」
ばかり話します。
でも、
「失敗してやめたら何が残るか」
も考えておくべきです。
まとめ ベンダーを疑うのではなく、条件を聞く
AIベンダーの話を、
全部疑う必要はありません。
多くのベンダーは、 本当に便利なものを作ろうとしています。
ただし、
できること
だけを聞いてはいけません。
どこで失敗するか。 誰が運用するか。 費用はどこまで増えるか。 やめるときどうするか。
ここまで聞く。
AI導入で大事なのは、
最新技術を買うこと
ではありません。
自社の仕事に合う仕組みを、 無理のない費用で使い続けられること
です。
だから、
小さく試す。 失敗条件を決める。 解約条件を見る。 必要なら第三者に聞く。
このくらい慎重でよいです。
むしろ、そのほうが速い。
次の章では、
同じAIを使っているのに、 なぜ成果が出る会社と出ない会社があるのか
を考えてみます。