AIの誤答は「答えない条件」で減らす

社内で使うAIの誤答を減らしたいなら、まず取り組むべきは精度の改善ではなく「答えない条件」を決めることです。どれだけ高性能なモデルを選んでも、根拠のない質問に無理やり答えさせれば、もっともらしい間違いが出ます。逆に、答えてよい範囲をあらかじめ線引きし、その外では「分かりません」と返して人に渡す設計にすれば、同じモデルのままでも業務で使える水準になります。

この記事では、答えない条件の決め方、実装で詰まりやすい箇所、そして「分かりません」を利用者にどう伝えるかを、中小企業の現場を想定して整理します。

なぜ「分かりません」と言わせる必要があるのか？

生成AIは、学習した言葉のつながりから「それらしい文」を作る仕組みです。事実に基づかない内容を自信ありげに出力する現象はハルシネーション（幻覚）と呼ばれ、完全には消せません。ここで問題になるのは、間違いが起きること自体ではなく、間違いが起きたときのコストです。

たとえば次のような場面を想像してください。社内規程を検索するAIに「育児休業中の社会保険料はどうなるか」と聞いたところ、実際には規程に記載のない条件を補って回答し、担当者がそのまま従業員に伝えてしまう。このとき、回答が「分かりません。人事担当にお問い合わせください」であれば、損害はゼロで済みます。

つまり答えない設計とは、精度を諦めることではなく、間違えてよい場面と、間違えてはいけない場面を分けることです。総務省・経済産業省の「AI事業者ガイドライン」でも、人間による確認や、AIの限界を利用者に伝えることの重要性が示されています。制度面からも、AIが単独で判断を完結させない作りが求められていると考えてよいでしょう。

答えない条件はどう決める？

「自信がないときは答えない」という曖昧な指示では実装できません。判定できる形に分解します。実務では、次の4つの軸で整理すると漏れが少なくなります。

重要なのは、この表を現場の人と一緒に埋めることです。開発側だけで決めると「答えなくてよい」と思っていた質問が実は業務の中心だった、という食い違いが起きます。逆に、現場が「全部答えてほしい」と言う場合は、間違えたときに誰が尻拭いをするのかを一緒に確認すると、線引きの合意が早くなります。

なお、そもそもAIに渡してはいけない入力（個人情報を含む問い合わせ文など）を止める話は、答えない条件とは別の層の設計です。入口での遮断についてはAIに渡せない入力を止める手順で整理しています。

実装で詰まるのはどこか？

設計方針が決まっても、実装段階で同じ箇所につまずく例が多く見られます。

モデルの「自信度」をそのまま信じてしまう

「確信度を0から100で出してください」とプロンプト（AIへの指示文）で頼むと、数値は返ってきます。しかしこの数値は、内容の正しさを測ったものではなく、文章として出力された数字にすぎません。高い値を出しながら間違えることも珍しくないため、自己申告の確信度を単独の判定基準にしないのが安全です。

検索の閾値を一度決めて放置する

社内文書を検索して回答に使う構成（RAG。検索した文書を根拠としてAIに渡す方式）では、検索の一致度に基準値を設けて、下回れば答えないようにします。ただしこの基準値は、文書を追加したり分割の仕方を変えたりすると適正値がずれます。基準値は設定ファイルなどで外から変えられる形にし、定期的に見直す前提で作ってください。

回答が自由文のままで、分岐できない

AIの出力を一本の文章として受け取ると、「答えた」のか「答えなかった」のかをシステム側で判別できません。構造化出力（JSONなど決まった形式で返させる方法）を使い、回答本文とは別に「状態」「引用元」「不足している情報」といった項目を持たせると、後続の処理も集計も楽になります。

• 状態: 回答／情報不足／範囲外／人に転送
• 引用元: 参照した文書名と章番号（空なら回答させない）
• 不足情報: 利用者に追加で尋ねる項目

人に戻す先が決まっていない

「分かりません」で止まると、利用者は結局どこにも行けません。答えない条件を決めるときは、同時に戻す先の担当と連絡手段をセットで決めます。この考え方は問い合わせAIの振り分けは「人に戻す条件」から決めるでも扱っています。

「分かりません」をどう伝えると使われ続けるか？

同じ棄権でも、文言次第で利用者の受け止め方は大きく変わります。避けたいのは、理由も次の行動も示さない無言の拒否です。

ポイントは3つです。なぜ答えられないかを一言で示す、次に取るべき行動を示す、答えられる範囲を併せて伝える。これを満たすと、利用者は「使えないAI」ではなく「境界がはっきりしたAI」と認識します。

加えて、答えたときの画面にも、根拠とした文書名と更新日を表示しておくと効果的です。根拠が見えていれば、利用者自身が最終確認でき、AIの出力を鵜呑みにする習慣を防げます。

答えない設計は運用でどう育てる？

答えない条件は、厳しくすれば誤答は減りますが、「何を聞いても分かりませんと言う」状態になれば使われなくなります。逆に緩めれば誤答が増えます。このバランスは、机上では決められません。運用ログで調整します。

1. 棄権ログを残す：答えなかった質問文、判定理由、そのとき検索された文書を記録する
2. 月次で分類する：棄権が妥当だったもの、本来答えられたはずのもの、文書側を足せば答えられるものに分ける
3. 打ち手を分ける：文書不足なら文書を追加、基準値が厳しすぎるなら調整、質問の書き方の問題なら入力欄の案内文を直す
4. 誤答の見逃しも数える：答えてしまった中に間違いがなかったかを、人が抽出確認する

この調整を感覚で行うと「前より良くなった気がする」で終わります。答えるべきでない質問も含めた評価用の質問セットを用意し、変更のたびに同じ質問で比較するのが確実です。進め方はAI の「良くなった気がする」を卒業するで詳しく説明しています。

まとめ

AIを業務システムに組み込むとき、「分かりません」と言える設計は、品質を下げる妥協ではなく、安全に運用するための前提条件です。要点を整理します。

• 答えない条件は「根拠がない」「質問が曖昧」「範囲外」「リスクが高い」の4軸で現場と一緒に決める
• モデルの自己申告の確信度に頼らず、引用元の有無や検索の一致度など、外から確認できる材料で判定する
• 出力は構造化し、状態・引用元・不足情報を分けて持たせる
• 「分かりません」には理由、次の行動、答えられる範囲を添える
• 棄権ログを月次で見直し、評価用の質問セットで変更の影響を確かめる

開発を外部に依頼する場合も、この「答えない条件」を仕様書に明記できているかどうかで、納品後の運用負荷が変わります。精度の数値だけでなく、答えない場面の扱いを早い段階で議題に乗せてください。