士業AI正式版の正答率95%をどう読むか採用前に事務所で行う検証7手順

士業AI採用前の検証とは、公表された正答率を自事務所の業務で確かめ直す作業のことです。

税理士試験で95%という正答率を見て、そのまま事務所に入れてよいのか迷った経験はないでしょうか。この記事では、公的情報のみを参照するとうたう士業AIの正式版を例に、公表数値の読み方と、採用前に事務所で行う検証を7手順で整理します。本記事は士業のチカラ編集部が、公表されている一次情報のみを根拠に作成しています。法令の条文はe-Gov法令検索の原文で、行政の見解は各府省庁の公表資料で確認しています。対象のサービスは、株式会社プライムパートナーズコンサルティングと税理士法人プライムパートナーズが2026年5月20日に正式版をリリースした士業AIです（出典: PR TIMES 士業AI正式版リリース）。

公表された正答率は何を測った数字なのか

まず、プレスリリースに書かれている数字を確認します。同リリースによると、税務AIは税理士試験の簿記論で95%、会計AIは公認会計士試験の短答式で92%、法務AIは司法試験の短答式で95%の正答率を記録したとされています（出典: PR TIMES 士業AI正式版リリース）。

ここで注意したいのは、同リリースに測定方法の記載が見当たらない点です。いつの試験の何回分を使ったのか、他の汎用AIと比較したとされる条件は何か、といった情報は示されていません。つまり、この数字は提供元による公表値であり、第三者が同じ条件で再現した結果ではありません。

もう一つの注意点は、試験問題の種類です。短答式や択一式の正答率は、設問に答える力を測っています。事務所の実務では、顧問先の資料を読み、論点を抜き出し、書面にまとめる作業が中心です。試験の正答率と、実務の下書きの質は、別の指標です。

最後に、リリース自体が示している立ち位置も押さえておきます。同リリースには「本サービスは、士業の専門家に取って代わるものではありません。」と書かれています（出典: PR TIMES 士業AI正式版リリース）。提供元も、最終判断は有資格者が行う前提で設計していると読めます。この記事の検証手順も、同じ前提に立っています。

公的情報のみを参照するという特徴をどう評価するか

同リリースは最大の特徴として「『士業AI』最大の特徴は、税務・会計・法務の各専門AIが公的機関・公式機関の一次情報のみに基づいて回答を生成し、回答内に参考文献リンクを明示する点にあります。」と説明しています（出典: PR TIMES 士業AI正式版リリース）。

この設計は、士業の読者にとって二つの意味を持ちます。一つは、根拠のリンクが回答に付くため、確認の入口が用意されることです。もう一つは、リンクが付いていても、回答の要約が原文と一致しているかは別問題だということです。リンクがあることと、内容が正しいことは分けて考える必要があります。

したがって、事務所で見るべきは、参考文献リンクが実在するか、リンク先に回答の記述が書かれているか、条文や通達が現行のものか、の3点です。この3点は、手作業で確認できます。確認に要する時間は、回答ごとに数分程度を見込む考え方があります。ただし、これは編集部の見立てであり、実際の工数は事務所の運用で変わります。

料金と利用回数から見る試験導入の設計

同リリースに記載された料金は税抜で、無料プランは月5回まで、Proプランは月額4,980円で月200回まで、Premiumプランは月額20,000円で会話回数が無制限とされています（出典: PR TIMES 士業AI正式版リリース）。料金や回数は変更され得るため、導入時には提供元の最新ページでの確認が要ります。

無料プランの月5回でも、全専門AIが利用できると記載されています。試験導入の入口としては、この枠が使えます（出典: PR TIMES 士業AI正式版リリース）。ただし枠が小さいため、複数の職員が分担して検証するには足りません。検証の設計を先に決め、担当者を決めて質問を絞って使う運用が現実的です。

職員が複数いる事務所を例にします。全員にProプランを持たせると、月額はプラン料金に人数を掛けた額になります（出典: PR TIMES 士業AI正式版リリース）。年額換算や契約条件は、提供元の公表に従って事務所で試算してください。ここで大切なのは、費用より先に、検証で何を確かめるかを決めることです。

採用前に事務所で行う検証7手順

手順1 検証の目的を1文で決める

最初に、何のために使うのかを1文で決めます。例は、顧問先からの照会の一次整理、通達や告示の所在確認、論点の洗い出しなどです。目的が曖昧なまま使うと、評価の基準が定まりません。

手順2 過去に解決済みの案件から質問を10本作る

実在の顧問先情報は使わず、過去に結論が出ている論点を匿名化して質問にします。固有名詞や金額は、架空の値に置き換えます。10本のうち、条文や通達の所在を問うものを3本、数値の計算を伴うものを3本、判断が分かれる論点を4本にすると、偏りが減ります。

手順3 回答ごとに参考文献リンクを開いて確認する

次のチェック項目を、回答ごとに記録します。リンクが開くか、リンク先は官公庁や公式機関のページか、回答の記述がリンク先に書かれているか、です。記録は表計算ソフトで構いません。

手順4 条文は原文で引き直す

回答に出てきた条番号は、e-Gov法令検索で原文を開いて確認します。記憶や回答だけを根拠に、書面へ条番号を転記することは避けます。改正による条ずれが起きるためです。

手順5 同じ質問を日を変えて2回する

同じ質問に対する回答が、日を変えても同じ結論になるかを見ます。回答が揺れる論点は、AIの下書きに頼らない領域として、事務所の運用メモに残します。

手順6 汎用AIと同じ質問で比較する

比較には、事務所で既に契約している汎用AIを使います。正答率の公表値ではなく、自事務所の10本の質問での結果を並べます。比較の観点は、根拠リンクの有無、誤りの種類、確認にかかった時間の3つです。

手順7 結果を採用判断のメモに残す

最後に、検証の結果を1枚にまとめます。残すのは、質問数、リンクの実在数、原文と一致した数、一致しなかった事例、採用する用途と採用しない用途です。数字に自信が持てない項目は、要確認として明記します。

次のプロンプトは、手順3の確認を補助するために使えます。回答を貼り付けた後に、根拠の整理だけを依頼する想定です。

以下は、ある専門AIの回答です。回答に含まれる主張を1つずつ番号を付けて分け、それぞれについて、根拠として示されている文献名とURLを対応づけてください。根拠が示されていない主張は「根拠の記載なし」と書いてください。あなた自身の判断で正誤を評価したり、補足したりしないでください。

【回答】
（ここに回答を貼り付ける）

もう一つは、手順7のメモを作る際のプロンプトです。

次の検証ログから、採用判断メモの下書きを作ってください。項目は、質問数、リンクが実在した件数、原文と一致した件数、一致しなかった事例の概要、用途別の所見です。ログに書かれていない数字は作らず、不明な項目は「要確認」と書いてください。

【検証ログ】
（ここに匿名化した検証ログを貼り付ける）

どちらのプロンプトでも、顧問先の実名や金額は入れません。出力は下書きであり、有資格者が原文と照らして仕上げる工程が最後に入ります。

顧問先資料を入力する前に決めておく守秘義務の論点

同リリースには、データの取り扱いやセキュリティに関する記載が見当たりません。入力した内容を学習に使うか、どこに保存されるか、といった点は、提供元の利用規約やプライバシーポリシーで確認する事項です。確認できない間は、顧問先の情報を入力しない運用が、選択肢の一つになります。

士業ごとの守秘義務の根拠も確認しておきます。税理士法第38条（秘密を守る義務）は、正当な理由がなくて税理士業務に関して知り得た秘密を他に洩らし、又は窃用してはならないと定めています。弁護士法第23条（秘密保持の権利及び義務）は、職務上知り得た秘密を保持する権利を有し、義務を負うと定めています。公認会計士法第27条（秘密を守る義務）も、業務上取り扱ったことについて知り得た秘密を他に漏らし、又は盗用してはならないと定めています。

これらの条文を、外部のAIサービスへの入力にどう当てはめるかは、個別の事情による判断です。本記事は当てはめを行いません。個人情報保護委員会は、生成AIサービスの利用に関する注意喚起を公表しており、入力内容の取り扱いを確認する観点が示されています（出典: 個人情報保護委員会生成AIサービスの利用に関する注意喚起等について）。

事務所規程に落とす場合の運用例を挙げます。一つ目は、検証期間中は匿名化した質問だけを入力するという線引きです。二つ目は、利用者と利用目的を台帳に残す運用です。三つ目は、顧問先への説明の要否を、契約書や重要事項説明の文言と照らして事前に決めておく方法です。どの運用を採るかは、事務所ごとに判断してください。

失敗例と回避策

一つ目の失敗は、リンクを開かずに回答を信じる例です。参考文献リンクが付いているため安心し、リンク先を読まないまま顧問先へ回答の要旨を伝えてしまう状況が考えられます。回避策は、手順3を省略しないことです。リンクが開くだけでなく、記述が書かれているかまで見ます。

二つ目の失敗は、試験の正答率を実務の品質と同一視する例です。短答式の正答率が高くても、顧問先固有の事情を踏まえた判断は、別の能力です。回避策は、手順2で実務に近い質問を混ぜ、用途を下書きに限定することです。

三つ目の失敗は、無料枠の検証で顧問先の実データを入力してしまう例です。検証目的であっても、入力した時点で外部サービスへの提供になります。回避策は、検証用の質問は匿名化したものだけとする運用を、職員全員に周知しておくことです。

費用と工数と体制

費用は、プランの月額に利用者数を掛けて試算します。工数は、手順2で10本の質問を作る作業、手順3から5で回答を確認する作業、手順6から7で比較とメモを作る作業に分かれます。回答ごとの確認に時間がかかると仮定すると、質問を増やすほど工数は増えます。これは編集部の仮定であり、事務所の実測で置き換えてください（出典: 編集部の試算前提、一次情報なし・要確認）。

体制は、検証担当を決め、結果を所長か管理職が読む形が回しやすいと考えられます。検証担当は、有資格者でなくても質問作りとログ作成はできますが、原文との一致の最終確認は有資格者が行う構図にします。

今後の展望と編集部の考察

公的情報のみを参照し、根拠リンクを示す設計は、士業向けAIの一つの方向性として論点になります。一方で、正答率の測定方法が公表されていない状況では、事務所側が自前の検証手順を持つことが、採用判断の土台になります。

今後は、提供元が測定条件を公開するのか、第三者の評価が出るのかが、注目点です。それまでは、本記事の7手順のように、自事務所の質問で確かめ直す運用が現実的です。確認できない点は、要確認として扱い、判断を先送りする選択も取れます。

よくある質問

正答率95%のAIなら、下書きの確認は省略できますか

省略の可否は、事務所の運用で決める事項です。公表値の測定方法は同リリースに記載がなく、実務の下書きの質を示すものではありません。確認工程を残す運用を採る事務所が多いと考えられます。

無料プランだけで検証できますか

無料プランは月5回までと記載されています。10本の質問を2回ずつ試すには足りないため、質問を絞るか、有料プランを短期間使うかを検討することになります。最新の条件は提供元の公表で確認してください。

参考文献リンクがあれば、条文の確認は不要ですか

リンクがあっても、回答の要約が原文と一致しているかは別です。条番号は、e-Gov法令検索の原文で確認する運用が、手順4の考え方です。

顧問先の情報を入力してよいですか

守秘義務の根拠条文は士業ごとに定められており、外部サービスへの入力の扱いは個別の事情で判断が分かれます。本記事は当てはめを行いません。提供元の規約を確認できるまでは匿名化した情報だけを使う運用が、一つの選択肢です。

行政書士や社会保険労務士にも使えますか

同リリースが対象として明記しているのは、税務・会計・法務の各専門AIです。行政書士や社会保険労務士の業務への適合は、記載から判断できません。要確認の事項として、提供元に問い合わせる方法があります。

検証の結果は誰に共有しますか

採用判断のメモは、所長や管理職が読める形で残します。不採用や用途限定の判断も、理由とともに記録しておくと、後から見直す際に役立ちます。

参考文献

※士業のチカラでは、生成AIの導入支援から運用最適化まで、貴事務所の業務に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://shigyonochikara.jp/contact/

本記事の作成体制について

本記事は士業のチカラ編集部が、公表されている一次情報のみを根拠に作成しています。法令の条文はe-Gov法令検索の原文で、行政の見解は各府省庁の公表資料で、それぞれ確認したうえで記載しています。引用元は本文中および参考文献にすべて明示しています。

本記事には特定の資格者による監修は入っていません。個別の事案について法令の当てはめや手続の可否を判断する必要がある場合は、当該分野の有資格者にご相談ください。本記事は一般的な情報提供を目的としたものであり、個別具体的な法律判断・税務判断・労務判断を提供するものではありません。

記載内容に誤りを見つけられた場合は、お問い合わせよりご指摘ください。確認のうえ速やかに訂正し、訂正履歴を記事内に残します。編集方針の詳細は運営者情報をご覧ください。