AI相談で「わかりません」が44%→3%に急減、正答率も3割弱に

生成AIに助言を求めると「わかりません」という回答がほぼ消え、正答率は下がるのに自信度は上がるという研究結果を紹介し、士業事務所がAI回答を鵜呑みにしない体制の必要性を解説します。

AI相談で「わかりません」が44%→3%に急減、正答率も3割弱に

AIに頼ると「わかりません」という回答がほぼ消えると分かりました。

本記事は士業のチカラ編集部が、公表されている一次情報および複数の報道機関の記事を根拠に作成しています。イタリア・ミラノビコッカ大学とフランスのパリ高等師範学校、サピエンツァ大学ローマの研究チームは、AIの助言を利用できる状況では「わかりません」という回答がほぼ消え、正答率もむしろ下がるとする実験結果をOSF(PsyArXiv)で発表しました。海外メディアThe Decoderも9月26日にこの内容を報じています。AIを日常的に業務で使う士業事務所にとっても、AI回答とどう向き合うかを考える材料になります。

AIの有無で「わからない」回答率と正答率が変化したことを示す研究結果のグラフ

何が起きたか

研究チームはMarcoccia氏、Quattrociocchi氏、Capraro氏(2026年)による論文「AI advice suppresses people’s willingness to say “I don’t know”, even when the advice is wrong and accuracy is incentivized」で、5つの実験・合計3,132人を対象に検証を行いました。設問には映画の細部(例えば登場人物のユニフォームの色)など、AIモデル自身が頻繁に誤答する分野をあえて選んでいます。結果は明確で、AIの助言を使えない状況では36〜44%が「わかりません」と回答したのに対し、AIの助言を使える状況ではこの割合が3〜6%まで落ち込みました。それだけでなく正答率も、AIなしの27.5%からAIありの9.2%へと低下しています。一方で回答への自信度は、AIなしで100点満点中29.6点だったのに対し、AIありでは75.9点まで上昇しました。研究チームは、AI利用者は約2.5倍自信を持ちながら、正答率は約3分の1に落ちていたと指摘しています。正答で10セントの報酬、誤答で10セントの損失という金銭的インセンティブを与えた実験でも、無回答率は3%から8%、正答率は9%から16%への改善にとどまり、AIなしの水準には戻りませんでした。研究チームは「言語モデルは常に何らかの答えを出そうとし、分からないときでも立ち止まらない」という点を、この現象の背景として挙げています。

なぜ重要か、士業事務所への視点

今回の結果が示すのは、AIの回答そのものの精度だけでなく、AIを使う人間の側の判断習慣が変わってしまうという問題です。AIが常に何かしらの答えを返してくることに慣れると、人は「自分がその分野を本当に知っているか」を確認する手間を省き、AIの回答をそのまま受け入れやすくなります。しかも今回の実験では、AIを使った人ほど正答率が下がっているにもかかわらず自信度は上がっており、誤りに気づきにくい状態に陥っていたことになります。士業事務所の実務でも、条文の解釈や数値の確認、書式のチェックといった場面でAIに下調べを任せることが増えていますが、本来であれば「この点は自分の専門外なので確認が必要です」と言えることこそが専門家としての価値の一部です。AIの回答を最終確認なしにそのまま顧客に伝えてしまえば、この「わからないと言える」姿勢が損なわれるおそれがあることを、今回の研究は示しています。AI任せにする範囲と、自分で一次資料に当たって確認する範囲を、事務所内であらかじめ線引きしておく判断材料になりそうです。

今後の動き

研究チームは今回の結果について、金銭的なインセンティブを与えても効果は限定的だったとして、AIに判断を委ねる場面が増えるほど、人が自分の知識の限界を意識する機会が失われていく可能性に注意を促しています。今回の実験は映画の細部という比較的日常的なテーマで行われたものですが、業務上の専門的な判断についても同様の傾向が起きうるかは、今後さらに検証が必要な論点です。AIツールを業務に取り入れている事務所にとっては、AIの回答をどう検証するかという社内の運用ルールが、今後より重要な検討事項になっていくとみられます。

まとめ

イタリア・フランスの研究チームによる実験で、AIの助言を利用できる状況では「わかりません」という回答がほぼ消え、正答率は下がる一方で回答への自信度は上がるという結果が示されました。金銭的インセンティブを与えても効果は限定的でした。AIを業務に使う士業事務所は、AIの回答を鵜呑みにせず、自分の専門外の点は「わからない」と言える姿勢を保つ運用を意識しておく必要がありそうです。

参考文献

※士業のチカラでは、生成AIの導入支援から運用最適化まで、貴事務所の業務に合わせたカスタマイズ提案を行っています。無料相談(30分)も実施中ですので、お気軽にお問い合わせください。
https://shigyonochikara.jp/contact/

引用元: The Decoder

本記事の作成体制について

本記事は士業のチカラ編集部が、公表されている一次情報のみを根拠に作成しています。法令の条文はe-Gov法令検索の原文で、行政の見解は各府省庁の公表資料で、それぞれ確認したうえで記載しています。引用元は本文中および参考文献にすべて明示しています。

本記事には特定の資格者による監修は入っていません。個別の事案について法令の当てはめや手続の可否を判断する必要がある場合は、当該分野の有資格者にご相談ください。本記事は一般的な情報提供を目的としたものであり、個別具体的な法律判断・税務判断・労務判断を提供するものではありません。

記載内容に誤りを見つけられた場合は、お問い合わせよりご指摘ください。確認のうえ速やかに訂正し、訂正履歴を記事内に残します。編集方針の詳細は運営者情報をご覧ください。