ハルシネーションとは、AIが事実でない内容を事実のように出力する現象のことです。

存在しない条番号が、実在するものとまったく同じ文体で出てくる。士業の実務で生成AIを使うとき、最も警戒すべき性質がこれです。この記事では、誤りが業務に混入する仕組みを整理し、事務所の作業フローに置く4つの関門を具体的に示します。本記事は士業のチカラ編集部が、公表されている一次情報のみを根拠に作成しています。法令の条文はe-Gov法令検索の原文で、行政の見解は各府省庁の公表資料で確認しています。生成AIサービスの利用については個人情報保護委員会の注意喚起が判断の出発点になります。

なぜ誤りがそれらしく出てくるのか

仕組みを押さえておくと、対策の設計がぶれません。

生成AIは、与えられた文脈に続く自然な文章を組み立てる仕組みです。事実の正しさを検証する機能が組み込まれているわけではありません。条番号のような形式が決まっているものは、形式に沿った文字列を生成すること自体は容易です。存在するかどうかは、生成の過程では問われません。

この性質から、誤りには特徴が出ます。第1に、形式が正しいこと。第2に、文脈に沿っていること。第3に、断定的に書かれていること。人間が誤るときは、自信のなさが文章に表れることがありますが、生成AIの出力にはそれがありません。

士業の実務で特に危ないのは、法令、判例、通達、様式番号、期限、統計の6種類です。いずれも形式が決まっており、確認しなければ真偽が分からず、しかも間違っていたときの影響が大きい項目です。

もう一つ、確認を難しくする要因があります。出力の大部分が正しいことです。10項目のうち9項目が正確であれば、読み手の警戒心は下がります。全部が誤っているほうが、むしろ気づきやすくなります。

したがって対策は、担当者の注意力に頼る設計にしないことが出発点になります。注意していれば防げる、という前提の運用は、量が増えると破れます。作業フローの中に、機械的に通過する関門を置く設計にします。業務全体の設計は士業のAI活用ガイドで扱っています。

関門1 指示文の段階で誤りを減らす

最初の関門は、そもそも誤りが生まれにくい聞き方をすることです。

誤りが出やすいのは、AIに知識を求めたときです。この場合の条文は何条か、この論点の判例はあるか、という聞き方をすると、生成AIは知っている風の答えを組み立てます。逆に、渡した資料の中から探させる聞き方をすると、誤りは大幅に減ります。

指示文に入れる条件は3つです。第1に、渡した資料に書かれていない事実を補わないこと。第2に、記載が見つからない場合は見つからないと答えること。第3に、判断や評価を書かないこと。この3つを固定します。

事務所で共通して使える形の例です。

以下の資料を読み、質問に答えてください。

条件:
- 資料に書かれている内容だけを根拠にすること
- 資料に記載がない事項は「資料に記載なし」と答え、一般的な知識で補わないこと
- 条番号・様式番号・日付・金額は、資料に記載があるものだけを使うこと
- 法的な評価、見通し、助言は書かないこと
- 回答の各項目に、根拠とした資料中の箇所を添えること

資料:
"""
（ここに貼り付け）
"""

質問:
"""
（ここに書く）
"""

条件を入れても、完全に防げるわけではありません。ただ、聞き方を変えるだけで誤りの量は目に見えて減ります。関門は重ねる前提で設計するため、この段階で減らせるものは減らしておきます。

もう一つ、確からしさを申告させる方法もあります。回答の中で確認が要る箇所に印を付けさせる形です。印が付いた箇所を人が優先して確認すれば、確認の効率が上がります。ただし、印が付いていない箇所が正しい保証にはならない点に注意します。

関門2 条文と様式は原典で確認する

第2の関門は、確認の対象を機械的に決めることです。

士業の実務で確認する対象は、6種類に絞れます。法令の条番号、判例、通達や行政の資料、様式番号、期限や施行日、統計や数値。この6つが出力に含まれていたら、原典に当たる。この規則を作業フローに固定します。

条文の確認はe-Gov法令検索で行います。法令名で検索し、該当条文を実際に開いて条番号と条見出しと本文を確認します。改正で条ずれが起きることがあるため、記憶に頼らず毎回開きます。

判例については、裁判所の裁判例検索で確認できます。生成AIが出力した事件番号や判示内容が実在するかを、ここで照合します。

行政の資料は、所管する府省庁の公表ページで確認します。税務であれば国税庁、労務であれば厚生労働省、登記であれば法務省、個人情報であれば個人情報保護委員会が起点になります。

確認できなかったものは、書かない。この一線が最も重要です。それらしいので残しておく、という判断が、誤りを業務に持ち込みます。確認できなかった事項は、要確認と明記して残すか、削除します。

確認の作業を軽くする工夫として、AIに出力させる段階で条番号を書かせない方法もあります。条文への言及が要る場面では、条文の内容だけを説明させ、条番号は人が原典を開いて付ける。この分担にすると、確認の対象が減ります。条番号を書かせなければ、捏造された条番号を見落とす場面そのものが発生しません。

もう一つ、原典の確認を担当者任せにしない工夫があります。事務所でよく参照する条文について、e-Gov法令検索のURLを一覧にしておく方法です。よく使う法令は限られているため、一覧を作れば、確認のたびに検索する手間が省けます。一覧を作る作業自体が、条文を実際に開いて確認する作業になるという利点もあります。

士業のチカラでは、記事に書く条文をe-Gov法令検索の仕組みで機械確認しています。考え方は編集方針に書いています。

関門3 出力の内部矛盾を機械的に拾う

第3の関門は、出力そのものの整合を確認することです。

長い文書では、前半と後半で数値が食い違う、参照先として挙げた別紙が本文に存在しない、固有名詞の表記がゆれる、といった不整合が起きます。これらは内容の正しさとは別の次元の問題で、機械的に拾えます。

この工程を人が全文読んで行うと、時間がかかるうえに見落とします。作成した文書をもう一度AIに渡し、不整合だけを列挙させる方法が効率的です。

あなたは書類の点検役です。以下の文書を読み、次の観点で疑わしい箇所だけを列挙してください。
修正案は書かず、指摘のみを出力してください。

観点:
- 数値・日付・金額が文書内で食い違っている箇所
- 参照先（条番号・別紙・様式番号）が本文中に存在しない箇所
- 固有名詞や用語の表記がゆれている箇所
- 主語が抜けていて誰の行為か読み取れない箇所
- 根拠が示されていない断定的な記述

出力形式:
- 該当箇所の引用（20字以内）／指摘の理由 を1行ずつ
- 指摘がない場合は「指摘なし」とだけ出力すること

対象文書:
"""
（ここに貼り付け）
"""

この工程で拾えるのは形式の不整合までです。内容が正しいかどうかは判断できません。関門2と役割が違う点を、所内で明確にしておきます。

関門4 有資格者の確認を作業フローに固定する

最後の関門が、人による確認です。ここで見る観点を絞ることが、形骸化を防ぐ鍵になります。

観点は3つです。数値が元の資料と一致しているか。固有名詞の取り違えはないか。参照先として挙げられた条文や様式は原典で確認済みか。この3点だけを見る、と決めます。

全文を読み直す設計にすると、量が増えたときに確認が形だけになります。導入直後は全件を丁寧に確認していた事務所が、半年後には形式的な承認だけになっている、という変化はよく起きます。観点を絞っておけば、量が増えても運用が保ちます。

確認する人は、その文書に責任を負う有資格者です。素案を作る担当と確認する担当が分かれている場合、素案を作った側が、どこで迷ったか、どこを推測で埋めたかを一行添えます。この一行の有無で、確認する側の負荷が大きく変わります。

確認が終わったら、記録を残します。誰がいつ確定させたかを案件記録に一行足すだけで足ります。凝った管理表を作ろうとすると続きません。

4つの関門は、どれか一つで完結するものではありません。指示文で減らし、原典で確かめ、機械で不整合を拾い、人が最終確認する。重ねることで、誤りが業務に届く可能性を下げます。

守秘義務と規程 誤り対策をどう文書化するか

誤り対策は、事務所の規程とガイドラインの中に位置づけます。

規程に書くのは、出力の確認者と確認の観点、そして条文は原典で確認するという一行です。ガイドラインには、確認の対象になる6種類の項目と、それぞれの確認先を具体的に書きます。担当者が現場で迷わない粒度にします。

守秘義務との関係も、あわせて押さえておきます。誤りを確認するために原典に当たる作業は、事務所の外部に情報を出す作業ではないため、入力ルールとは別の話です。一方で、確認のためにAIへ文書を再度入力する場合は、通常の入力と同じ基準で判断します。関門3の点検を機械に任せる場合、この点に注意します。

守秘義務の根拠は、それぞれの資格法にあります。弁護士は弁護士法第23条、税理士は税理士法第38条、公認会計士は公認会計士法第27条、司法書士は司法書士法第24条、行政書士は行政書士法第12条、社会保険労務士は社会保険労務士法第21条、弁理士は弁理士法第30条です。個人情報の側では、安全管理措置が個人情報の保護に関する法律の個人情報保護法第23条に置かれています。

規程の条立ては士業事務所のAI利用規程テンプレートで扱っています。

実際に起きている誤りの型

1つ目は、存在しない条番号です。最も多く、最も危険な型です。形式が正しく、文脈にも合っているため、確認しなければ気づきません。

2つ目は、条番号は実在するが内容が違う型です。改正前の内容を書いていたり、別の条の内容を書いていたりします。条番号の存在だけを確認して安心すると、この型を見落とします。

3つ目は、判例の捏造です。事件番号と判示内容がもっともらしく組み立てられます。裁判例検索で照合すれば分かりますが、確認しなければ通ります。

4つ目は、統計の捏造です。それらしい数値と出典が並びます。出典として挙げられた資料が実在しないか、実在しても該当の数値が書かれていない場合があります。

5つ目は、様式番号と提出先の誤りです。制度改正で変わった部分が、古いまま出力されます。

6つ目は、期限と施行日の誤りです。日付は形式が単純なぶん、生成されやすい項目になります。

7つ目は、資料の要約で起きる型です。渡した資料の内容を要約させたはずが、資料に書かれていない事項が要約に混ざります。読み手は資料を渡している安心感があるため、警戒が緩みます。指示文に、資料に書かれていない事実を補わない条件を入れておきます。

8つ目は、一般論と個別の事案が混ざる型です。一般的にはこうだという説明と、渡した事案についての記述が区別なく並びます。読み手は事案についての記述だと受け取ります。指示文で、資料に基づく記述と一般的な説明を分けて出力させる条件を入れると軽減できます。

いずれの型も、原典に当たれば分かります。逆に言えば、原典に当たらなければ分かりません。ここに例外を作らないことが対策の核心になります。

型を所内で共有しておくと、担当者の見方が変わります。どこを疑えばよいかが分かるためです。生成AIは誤ることがある、という一般的な注意より、この6種類の項目は原典で確認する、という具体の規則のほうが、実務では守られます。

費用と体制、教育の設計

費用は、法人向けプランのライセンス料の範囲に収まります。誤り対策そのものに追加の費用はかかりません。かかるのは工数です。

工数の参考値としては、確認の対象と確認先を整理して文書にするのに半日から1日、指示文の型を整えるのに半日ほど見ておくと、無理なく形になります。運用に入ってからは、案件ごとの確認作業になります。

体制では、確認を担う人を決めます。あわせて、新しく入った人への説明を手続きに組み込みます。生成AIの出力が誤り得ることを知らない担当者が、そのまま業務に使う状態がいちばん危険です。

教育の内容としては、実際に誤りが出た例を所内で共有する形が効果的です。抽象的に注意を促すより、この条番号は存在しなかった、という具体を見せるほうが伝わります。共有の場を月に一度作っておくと、材料が自然に集まります。

情報管理の一般的な考え方は、情報処理推進機構の情報セキュリティ関連ガイドラインが参考になります。

顧問先への説明にも、この設計が効いてきます。生成AIを使っているかと聞かれたときに、使っていますとだけ答えるのと、使ったうえで条文は原典で確認し有資格者が確定させていますと答えるのとでは、受け取られ方がまったく違います。誤り対策を持っていることが、そのまま品質の説明材料になります。事務所として整えておく意味は、内部の事故防止だけではありません。

これから変わること

出力の精度は上がり続けています。ただし、誤りの頻度が下がるほど、確認の緩みが生まれやすくなる面もあります。ほとんど間違えないという印象が広がると、確認工程が形骸化します。頻度が下がっても、確認の設計は残します。

根拠を示す機能の実装は進んでいます。回答の元になった資料を示す仕組みが標準になれば、確認の効率は上がります。事務所内の文書を検索対象にする使い方では、この性質が特に効きます。設計は士業事務所のRAG構築で扱っています。

制度面では、個人情報保護法の見直しの議論が続いています。委員会の公表資料は個人情報保護委員会の報道発表で追えます。職能団体の公表資料も確認の対象で、日本弁護士連合会の意見書・声明などがその例になります。

よくある質問

指示文の工夫だけで防げますか

減らせますが、防ぎきることはできません。渡した資料の中から探させる聞き方にする、記載がない場合は見つからないと答えさせる、といった条件は誤りの量を大きく減らします。ただし関門は重ねる前提で設計し、原典での確認と人による確認を残します。

条番号が実在すれば安心ですか

条番号の存在だけを確認すると、内容が違う型を見落とします。改正前の内容や、別の条の内容が書かれている場合があります。条番号と条見出しと本文を、e-Gov法令検索の原文で確認します。

確認にかえって時間がかかりませんか

観点を絞れば時間は抑えられます。数値、固有名詞、参照先の3点だけを見る、と決めておきます。全文を読み直す設計にすると、量が増えたときに確認が形だけになります。

AIに点検させれば人の確認は要りませんか

役割が違います。機械が拾えるのは表記や数値の不整合までで、内容が正しいかどうかは判断できません。点検は人が見る箇所を絞り込む下ごしらえとして使い、確認そのものは有資格者が行います。

誤りが多いと感じる場合どうしますか

聞き方を見直します。知識を求める聞き方をしていると誤りが増え、渡した資料から探させる聞き方にすると減ります。そのうえで、扱っている論点が手元の資料に書かれていない場合は、そもそも生成AIに聞く場面ではありません。

担当者への教育はどう行いますか

実際に誤りが出た例を所内で共有する形が効果的です。抽象的な注意より、この条番号は存在しなかったという具体を見せるほうが伝わります。月に一度の共有の場を作っておくと、材料が自然に集まります。

参考文献

• e-Gov法令検索
• 裁判所 裁判例検索
• 個人情報保護委員会 生成AIサービスの利用に関する注意喚起等
• e-Gov法令検索 弁護士法
• e-Gov法令検索 個人情報の保護に関する法律
• 国税庁
• 情報処理推進機構 情報セキュリティ関連の各種ガイドライン
• 日本弁護士連合会 意見書・声明など

※士業のチカラでは、生成AIの導入支援から運用最適化まで、貴事務所の業務に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://shigyonochikara.jp/contact/