新モデルが出ても慌てない士業事務所が実案件から検証セットを作る7手順

検証セットとは、自事務所の実案件から作る切替判断用の固定問題集のことです。

新しいモデルが公開されるたびに、事務所の生成AIの設定を切り替えていますか。切り替えるかどうかを、ベンダーが公表した点数ではなく、自事務所の案件で測るための道具が検証セットです。この記事では、実案件から検証セットを作り、新モデルへの切替を判断し、切替後も監視を続けるまでを7手順で整理します。本記事は士業のチカラ編集部が、公表されている一次情報のみを根拠に作成しています。法令の条文はe-Gov法令検索の原文で、行政の見解は各府省庁の公表資料で確認しています。前提となる事実として、総務省と経済産業省が所管するAI事業者ガイドラインは第1.2版が2026年3月31日に公表されており、AIを利用する事業者に向けた項目も含まれています（出典: 総務省 AI事業者ガイドライン掲載ページ）。

新モデルの公開が続く2026年、ベンチマークを鵜呑みにしない理由

結論から書くと、ベンダーが公表する評価の点数は、事務所の業務の出来を保証する数字ではありません。評価は作問した側が設定した課題で測られており、日本語の契約書や税務資料、行政手続の書類が課題に含まれているとは限らないからです。点数が上がったモデルが、事務所の案件でも上手く動くかどうかは、別に確かめる対象になります。

モデルの入れ替わりは、事務所の都合とは無関係に進みます。上位モデルの公開と、旧モデルの提供終了が同じ年に重なることも珍しくありません。提供終了の案内が出たときに、事務所のどの業務がどのモデルに依存しているかを洗い出す工程は、別の記事で整理しています（参照: GPT-5.5が10月14日に提供終了事務所の依存モデル洗い出し7工程）。依存の洗い出しが現在の利用箇所を扱うのに対し、本記事の検証セットは次の切替先の決め方を扱います。

AIの自己申告をそのまま信じないという姿勢は、評価の専門機関からも示されています。Epoch AIが公表した評価では、AIエージェントが自ら報告した成果と、人間が検証したあとの成果に開きがあったとされています。経緯は速報で扱いました（参照: AIが研究成果を過大申告、Epoch AI評価で判明士業の確認点3つ）。自己申告の水増しが研究課題で起きるなら、この条文を根拠に回答したという趣旨の出力にも同じ構図が潜みます。だからこそ、採点は有資格者が自分の目で行う必要があります。

行政の側も、利用者に求める行動を文書にしています。AI事業者ガイドラインは、AIを開発する事業者と提供する事業者に加えて、AIを利用する事業者に向けた項目を置き、安全を考慮した適正な利用や、入力データとプロンプトへの配慮、人間の判断の介在といった観点を挙げています（出典: 総務省 AI事業者ガイドライン掲載ページ）。ガイドラインに法的な拘束力はありませんが、事務所がどう検証して使っているかを顧問先や依頼者に説明するときの共通言語になります。

複数のモデルを比べる判断軸そのものは、以前の記事で3つに絞って整理しました（参照: Claude Opus 5とGPT-5.6・Gemini 3.7 士業事務所が選ぶ3つの判断軸）。本記事は、その判断軸に数字を入れるための手順に絞ります。

士業の業務で特に注意したいのは、日本語の法令名と条番号の扱いです。公表される評価の多くは英語の課題で構成されており、日本の法令を正しく引けるかどうかは測られていません。事務所の検証セットに条文を引く問題を含める理由は、この空白を自分で埋めるためです。条番号の正しさは、e-Gov法令検索で条文を開けば誰でも確かめられる事実なので、採点基準として書きやすい項目でもあります。

実案件から検証セットを作り、切替を判断する7手順

手順は、業務の棚卸しから始めて、切替後の監視で終わる順に並べます。各手順に、何を入力し、何が返るかを添えます。所内の役割は、問題を作る担当者と、採点基準を書く有資格者と、実行と集計をする担当者の3役に分かれます。小規模の事務所では一人が兼ねて構いません。

手順1は、生成AIが関与している作業を型に分けることです。契約書の条項抜き出し、税務資料の要約、申請書の下書き、顧問先向け案内文の作成、議事録の整理といった単位で並べます。型ごとに、出力の誤りが業務に与える影響の重さを三段階で付けます。条文や数字が直接書面に載る型は重く、所内の下書きにとどまる型は軽くなります。この重さが、あとで採点の配点になります。

手順2は、型ごとに実案件を選び、固有の情報を落として問題にすることです。会社名、個人名、住所、金額、日付のうち、問題の成立に関係しない部分を記号や架空の値に置き換えます。置き換えは担当者が手元で行い、生成AIには任せません。置き換えた素材を生成AIに渡すこと自体が、守秘義務の論点になるからです。この点は次の章で扱います。問題の数は、型ごとに数問で足ります。多く作るより、事務所で実際に起きる難しさを含んだ問題を選ぶほうが、切替判断の役に立ちます。

手順3は、正解と採点基準を有資格者が書くことです。正解は模範解答の形ではなく、この要素が入っていれば合格、この誤りがあれば不合格、という項目の列挙にします。たとえば条項抜き出しの問題なら、抜き出す条項の番号、見落としてはいけない但書、誤って拾いやすい類似条項を書きます。条文を引く問題なら、正しい法令名と条番号をe-Gov法令検索で開いて確認し、そのURLを採点基準に添えます。ここで有資格者が関与することで、検証セットは事務所の判断基準そのものになります。

手順4は、現行モデルで基準値を取ることです。いま使っているモデルに、同じ設定、同じプロンプトで全問を解かせ、手順3の基準で採点します。採点は有資格者が行い、点数と気づいた誤りの種類を記録します。基準値がないと、新モデルの点数が良いのか悪いのか判断できません。

採点の尺度は、合格、要修正、不合格の三段階で足ります。細かい点数を付けると採点者ごとのぶれが大きくなり、切替判断の材料として使いにくくなります。要修正は、有資格者が手を入れれば書面に使える水準、不合格は、最初から書き直したほうが早い水準と決めておきます。重い型で不合格が一つでも出たモデルは、他の型の成績にかかわらず切替候補から外す、といった事務所ごとの基準をここで文書にしておきます。

手順5は、新モデルで同じ問題を解かせ、差分を採点することです。設定とプロンプトは手順4と同一にします。モデル側の既定の設定が変わっている場合は、その違いも記録します。採点は手順4と同じ有資格者が行うと、採点のぶれが減ります。点数だけでなく、新モデルで新たに出た誤りと、新モデルで消えた誤りを分けて書くと、切替の可否を議論しやすくなります。

採点の下読みに生成AIを使う場合は、次のようなプロンプトで、採点基準との照合だけを任せます。最終の採点は有資格者が行います。

あなたは採点補助者です。法的な評価や解釈は行わず、以下の採点基準と回答文の照合だけを行ってください。

採点基準:
1. 第〇条の但書に言及している
2. 甲の解除権の行使条件を列挙している
3. 架空の条番号を引いていない（引用された条番号をすべて列挙すること）

回答文:
（ここに新モデルの出力を貼る）

出力形式:
- 基準ごとに「該当あり／該当なし／判断保留」と、根拠となる回答文の箇所を必ず引用してください
- 判断保留とした理由を書いてください
- 採点の合否は書かないでください

手順6は、採点結果と、費用、応答速度、データの取り扱いを並べて、切替の可否を決めることです。採点が同点でも、入力データの学習利用の設定や保存期間がモデルや契約プランで異なる場合は、その違いが決め手になります。費用は各社が公表する料金ページで確認します。切替の判断は、点数が上がったかどうかではなく、重い型で新たな誤りが出ていないかを先に見ます。軽い型の点数が上がっても、重い型で条番号の誤りが増えたなら、切替を見送る判断があり得ます。

手順7は、切替後の監視と検証セットの更新です。切り替えた直後は、実務の出力を一定期間サンプリングして、検証セットで見えなかった誤りがないかを見ます。検証セット自体も、法改正や新しい業務の型が加わるたびに問題を追加します。改正で条番号がずれた問題は、正解を書き換えるか、問題ごと差し替えます。更新の頻度は、四半期ごとに一度と、改正の施行ごとに一度を組み合わせる運用が考えられます。

検証用の問題文の型も、ひとつ示します。架空の当事者だけを使います。

以下は架空の業務委託契約書（甲: A社、乙: B社）の抜粋です。実在の会社とは関係ありません。

抜粋:
（ここに匿名化済みの条項を貼る）

依頼:
1. 乙が契約を解除できる条件を、条番号を付けて列挙してください
2. 解除に関する但書があれば、その内容を要約してください
3. 抜粋に書かれていない事項については「抜粋に記載なし」と書き、推測で補わないでください
4. 根拠とした条項の番号は、抜粋に実際に存在するものだけを引いてください

この型で現行モデルと新モデルの両方に答えさせ、手順3の基準で採点します。問題文に推測で補わないと書いてあっても、モデルによっては補ってしまいます。その補い方の違いが、事務所にとっての切替判断の材料です。

検証セットに実案件を使う前に決めておく守秘義務と規程の論点

結論から書くと、検証セットの素材に実案件を使うなら、匿名化の水準と、使うサービスのデータ取り扱いを先に決めておく必要があります。検証のための入力であっても、生成AIサービスへ依頼者情報を送る行為であることに変わりはないからです。

守秘義務の根拠は職種ごとに条文があります。弁護士については弁護士法第23条が、職務上知り得た秘密を保持する権利と義務を定めています。税理士については税理士法第38条が、税理士業務に関して知り得た秘密を他に洩らし又は窃用することを禁じています。行政書士については行政書士法第12条が、司法書士については司法書士法第24条が、それぞれ業務上知り得た秘密の保持を定めています。これらの条文を検証セットの個々の問題に当てはめるのは有資格者の判断です。本記事では、当てはめの前に事務所として決めておく運用を示します。

個人情報の面では、個人情報保護法第23条が、個人データの漏えいや滅失の防止のために必要かつ適切な措置を講じることを個人情報取扱事業者に求めています。個人情報保護委員会は、生成AIサービスに個人情報を入力する際の注意点を公表しており、入力した情報がサービス側でどう扱われるかを確認する観点を示しています（出典: 個人情報保護委員会生成AIサービスの利用に関する注意喚起等について）。検証セットの素材から氏名や住所を落とす手順2は、この観点に沿った運用です。

サービス側のデータ取り扱いは、ベンダーの公式文書で確認します。Anthropicは、入力データをモデルの学習に使うかどうかを、プランや設定ごとに分けて公開しています（出典: Anthropic プライバシーセンター Is my data used for model training?）。Googleも、Gemini APIの利用規約で、入力したデータの取り扱いを有償サービスと無償サービスに分けて公開しています（出典: Google Gemini API 利用規約）。新モデルへの切替は、同じベンダー内であっても、契約プランやデータ設定の見直しを伴うことがあります。手順6で費用と並べて確認する理由はここにあります。

顧問先や依頼者への説明も、事務所として決めておく事項です。検証セットの素材に顧問先の資料を使う場合、匿名化してもなお、資料の構造や取引の特徴が残ることがあります。委任契約や顧問契約で生成AIの利用に触れているか、触れていないなら説明と同意をどう取るかを、事務所の方針として文書にしておく運用があります。説明の文面を生成AIで下書きする工程は、別の記事で扱っています。

事務所の規程に落とすなら、次の項目を書く運用例があります。検証セットの素材に使える案件の範囲と、使えない案件の範囲。匿名化の担当者と、匿名化前の素材を生成AIに入力しないこと。検証に使うサービスと、そのデータ設定の確認者。採点を行う有資格者と、採点記録の保存場所。切替判断の決裁者。これらは規程でこう定めれば足りるという意味ではなく、事務所ごとの事情に合わせて増減する項目の例です。

検証セットの運用で起きやすい失敗と回避策

失敗の一つ目は、ベンダーの公表した点数だけで切り替え、条番号の誤りが増えたことに気づかなかったケースです。軽い型の出来が良くなった印象に引きずられ、重い型を検証しないまま切り替えると、書面に載る誤りが増えても誰も測っていない状態になります。回避策は、手順1で付けた重さを配点に反映し、重い型の結果を先に見ることです。

二つ目は、検証セットの素材に実名の案件をそのまま使ったケースです。急いで検証したいときほど、匿名化を飛ばしがちです。回避策は、匿名化を手順2として独立させ、匿名化前の素材を生成AIに入れない担当者を決めることです。匿名化済みの素材だけを置く共有フォルダを分けると、間違いが減ります。

三つ目は、一度作った検証セットを更新せず、改正で正解がずれていたケースです。施行日を過ぎた条文を正解にしたまま採点すると、正しい出力を誤りと判定してしまいます。回避策は、手順7の更新を改正の施行ごとに行い、正解に添えたe-Gov法令検索のURLを開き直して確認することです。条番号と施行日の突き合わせは、条文のダブルチェック工程として別の記事で整理しています。

四つ目は、採点者がそのつど変わり、点数のぶれが切替判断を左右したケースです。回避策は、基準値と新モデルの採点を同じ有資格者が担当することと、採点基準を要素の有無で書いて主観の入る余地を減らすことです。

五つ目は、検証セットの問題を作った担当者がプロンプトを調整しすぎて、実務で使っているプロンプトと違うものを測っていたケースです。検証で良い結果が出ても、日々の業務で使うプロンプトが別物なら、切替後の実務には反映されません。回避策は、検証に使うプロンプトを実務の定型プロンプトと同じ文面にそろえ、変更するときは両方を同時に更新することです。

費用・工数・体制：検証セットは誰が持つか

費用は、検証に使うモデルの利用料と、所内の工数の二つに分かれます。モデルの利用料は、従量課金の場合は検証セットの問題数と出力の長さで決まり、定額プランの場合は追加費用が出ないことが多いですが、いずれも各社の料金ページで確認する対象です（出典: Anthropic 料金ページ、Google Gemini API 料金ページ）。本記事では金額の目安を書きません。料金の改定が頻繁で、記事の数字がすぐに古くなるためです。

工数の大半は、手順3の採点基準づくりと、手順4と手順5の採点に有資格者が使う時間です。問題を作る工数は最初の一回に集中し、以後は更新だけになります。検証セットは一度作れば事務所の資産として残り、次のモデルが出たときにも同じ問題で比べられます。

体制は、問題を作る担当者、採点基準を書く有資格者、実行と集計を行う担当者の3役です。数名規模の事務所では、有資格者が一人で全役を兼ねることが多くなります。その場合も、採点記録と切替判断の記録を文書で残しておくと、あとから顧問先や依頼者に説明できます。

記録の残し方は、問題ごとの採点結果、採点した日付と担当者、使ったモデルと設定、切替の可否と理由の四点を一枚にまとめる形で足ります。採点に使った出力そのものは、匿名化済みの素材と一緒に、検証用のフォルダに保存します。実務の案件フォルダとは分けておくと、匿名化前の素材が混ざる事故を防げます。保存期間は、事務所の文書管理の規程に合わせて決めます。

今後の展望：事務所独自の評価が切替判断の軸になる

モデルの公開と提供終了のサイクルは、今後も短いまま続くと見られます。その環境で、事務所が自前の検証セットを持っているかどうかは、切替のたびに慌てるか、落ち着いて判断するかの分かれ目になります。ベンダーの評価は参考情報として残りますが、自己申告の水増しが評価機関から指摘された以上、事務所側の採点なしに切り替える運用は説明しにくくなっています。

もう一つの論点は、検証セットの共有です。同じ職種の事務所どうしで、匿名化した問題と採点基準を共有できれば、個々の事務所の負担は減ります。ただし、素材に顧問先の資料の構造が残る以上、共有の範囲と匿名化の水準をどう決めるかが論点になります。職能団体がガイドラインで触れるかどうかも、今後の確認事項です。

AI事業者ガイドラインが利用者側の観点として挙げる人間の判断の介在は、検証セットの採点を有資格者が担うことで、具体的な運用に落ちます。切替判断の記録は、事務所が依頼者に対してどう検証して使っているかを示す資料になります。

よくある質問

検証セットの問題数はどれくらい必要ですか

型ごとに数問で始める運用で足ります。問題を増やすより、重い型に事務所で実際に起きた難しさを含めるほうが、切替判断の役に立ちます。更新のたびに少しずつ足していく形が続けやすい方法です。

採点を生成AIに任せてもよいですか

採点基準との照合までを補助として任せ、最終の採点は有資格者が行う運用が考えられます。AIの自己申告には水増しが起きうることが評価機関から指摘されているため（参照: AIが研究成果を過大申告、Epoch AI評価で判明士業の確認点3つ）、合否をAIに判定させる運用は避ける考え方があります。

匿名化すれば実案件を検証に使ってよいですか

匿名化は論点を小さくしますが、守秘義務との関係を消すものではありません。弁護士であれば弁護士法第23条、税理士であれば税理士法第38条の秘密の範囲に残る部分がないかは、事務所の有資格者が個別に判断する事項です。

新モデルの点数が同じなら切り替えなくてよいですか

点数が同じでも、データの取り扱いと費用と提供終了の予定が違えば、切替の判断は変わります。手順6で点数と並べて確認する項目がそのための材料です。

同じベンダーの上位モデルなら検証を省けますか

省かない運用が考えられます。同じベンダーでも、出力の傾向や既定の設定が変わることがあり、重い型で新たな誤りが出る可能性は残ります。基準値がある状態なら、検証の工数は採点だけで済みます。

プロンプトを変えたら検証はやり直しですか

重い型に関わるプロンプトを変えたなら、その型だけやり直す運用が考えられます。基準値を取り直し、新モデルとの差分を再び採点します。軽い型のプロンプトの変更は、次の定期更新のタイミングでまとめて検証する形でも間に合います。

検証セットを他の事務所と共有できますか

匿名化した問題と採点基準に限れば、共有は技術的には可能です。ただし、素材に顧問先の取引の特徴が残っていないか、共有の範囲をどこまでにするかは、事務所ごとに判断する事項です。職能団体のガイドラインで触れられるかどうかは、今後の確認事項です。

顧問先に検証のことを説明する必要がありますか

説明の要否は契約内容と事務所の方針によります。少なくとも、生成AIの利用と検証の方針を文書にしておけば、問われたときに示せます。顧問先向けの案内文を生成AIで下書きする工程は、法改正の案内文を扱った記事と同じ手順で進められます。

参考文献

※士業のチカラでは、生成AIの導入支援から運用最適化まで、貴事務所の業務に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://shigyonochikara.jp/contact/

本記事の作成体制について

本記事は士業のチカラ編集部が、公表されている一次情報のみを根拠に作成しています。法令の条文はe-Gov法令検索の原文で、行政の見解は各府省庁の公表資料で、それぞれ確認したうえで記載しています。引用元は本文中および参考文献にすべて明示しています。

本記事には特定の資格者による監修は入っていません。個別の事案について法令の当てはめや手続の可否を判断する必要がある場合は、当該分野の有資格者にご相談ください。本記事は一般的な情報提供を目的としたものであり、個別具体的な法律判断・税務判断・労務判断を提供するものではありません。

記載内容に誤りを見つけられた場合は、お問い合わせよりご指摘ください。確認のうえ速やかに訂正し、訂正履歴を記事内に残します。編集方針の詳細は運営者情報をご覧ください。