27B級AIが5.9GBに、手元端末で動かす時代の士業事務所3論点

PrismMLが27B級AIを5.9GBに圧縮した新モデルを公開しました（出典: PrismML）。

AIラボのPrismMLは2026年9月17日、圧縮モデル「Ternary Bonsai 2 27B」を公開しました（出典: PrismML）。ノートPCやスマートフォンで動く大きさまで縮めながら、元のモデルの能力をほとんど落とさなかったという発表です。事務所の外にデータを出さずにAIを動かす選択肢が現実味を帯びる話なので、守秘義務を抱える士業事務所にとっては読み方の分かれる発表だと感じました。本記事は士業のチカラ編集部が、公表されている一次情報のみを根拠に作成しています。法令の条文はe-Gov法令検索の原文で確認しています。

何が公表されたのか、数字で押さえる

公表されたのは、大きなモデルを小さくしても能力がほとんど落ちなかったという測定結果です。PrismMLの発表によると、Ternary Bonsai 2 27BはAlibabaのオープンソースモデルQwen3.8 27Bをもとに、重みを−1・0・+1の3値で表す方式に置き換え、1重みあたり実効1.76ビット、モデル全体で5.9GBまで縮めています。フル精度版と比べて9倍以上小さく、推論・数学・コーディング・指示追従・視覚・エージェント的なツール利用にまたがるベンチマーク総合で83.9、フル精度版の85.4に対して98.2パーセントを保っているとしています（出典: PrismML）。

同社が2026年7月14日に公開した前世代のBonsai 27Bでは、この保持率が95パーセントでした。2か月で95から98.2へ上がったことになります（出典: PrismML）。速度と消費電力についても、NVIDIA GeForce RTX 5090で毎秒143トークン、M5 Maxで毎秒44トークン、RTX 4090では1トークンあたり0.581mWhで、フル精度の8Bモデルより40パーセント省電力だと記載されています（出典: PrismML）。

動作環境は、NVIDIAのGPUではCUDA経由、AppleのMac・iPhone・iPadではMLX経由とされ、重みはApache 2.0ライセンスで配布されています。文脈長は262Kトークン、入力はテキストと画像の両方に対応します（出典: PrismML）。実際の重みはHugging Faceで公開されており、圧縮と評価の詳細は同社のホワイトペーパーにまとめられています。

会社側の背景はTechCrunchが報じています。PrismMLはCaltechの研究者が立ち上げたラボで、圧縮技術を専門とするCaltech教授のBabak Hassibiが率い、調達額はシードの2,225万ドルにとどまります。初代Bonsaiは1,100万回以上、さらに小さいモデル群も260万回以上ダウンロードされたと同社が述べています。Appleとの協議が取り沙汰されている点についてHassibiはコメントを控えたと報じられています（出典: TechCrunch）。

士業事務所から見た3つの論点

結論から書くと、この発表が事務所に投げかけるのは「性能の話」ではなく「置き場所の話」です。どこでモデルを動かすかが選べるようになると、これまで性能を理由に諦めていた構成が検討対象に入ってきます。

第一に、外に出さない構成の現実味が上がったという点です。これまで事務所内で完結するローカル実行は、動く小さいモデルでは物足りず、満足できるモデルは事務所の機材に載らない、という板挟みでした。今回の発表は、27B級の能力を5.9GBという手元の機材に載る大きさで扱えたという測定の報告です。ローカル実行の判断材料そのものはローカルLLMを士業事務所で運用する判断の5基準とオンプレ構築6工程に整理していますが、そこでの前提が1つ緩む可能性があります。

第二に、ベンチマークの数字と事務所の実務は別物だという点です。98.2パーセントという保持率は、公開されているベンチマーク群での総合値です。顧問先の決算書を読ませたときや、日本語の契約書を要約させたときの精度がどうなるかは、この数字からは読み取れません。TechCrunchも、ベンチマーク自体が実際の作業を完全に映すものではないと指摘しています（出典: TechCrunch）。事務所が導入を検討する段階では、自分たちの書式で試すところから始める運用を採る事務所があります。

第三に、動かす場所が変わっても記録の設計は残るという点です。ローカルで動かせば通信先が減る一方、誰がいつ何を入力したかという記録は、事務所側で持たない限りどこにも残りません。事務所のAI利用ログを監査証跡にする保管設計7項目と説明の型やAIエージェントを事務所に入れる前に決める権限とログの7チェックで扱っている論点は、実行場所が手元に移ってもそのまま残ります。複数台の機材を束ねて推論基盤にする動きについてはNVIDIA PAIRで事務所の複数PCが1台の推論基盤に　士業3論点でも取り上げました。

入力データの取り扱いをどう読むか

今回の発表は、重みをApache 2.0ライセンスで配布し、手元の機材で動かす形を前提に書かれています。発表ページには、入力データを学習に使うかどうかについての記述はありません（出典: PrismML）。同社のプライバシーポリシーやドキュメントは公開されていますが、日本の事務所が実際に使う構成で入力がどう扱われるかは、自前の機材で動かすのか、第三者が提供するホスティング経由で使うのかによって変わるため、公表資料だけからは確認できません。この点は要確認として扱う段階です。

守秘義務の根拠条文は職種ごとに置かれています。弁護士については弁護士法第23条が秘密保持の権利および義務を、税理士については税理士法第38条が秘密を守る義務を、公認会計士については公認会計士法第27条が同様の義務を定めています。ローカル実行という構成を採ったときに、個別の入力や運用がこれらの条文との関係でどう評価されるかは有資格者の判断領域です。入力してよい情報の線引きの考え方は税理士が生成AIに入れてよい情報の範囲守秘義務から引く7つの線に、提供元へ確認する項目はAIツールのベンダーに何を聞くか士業事務所の確認7項目と質問文にまとめています。

今後の動きと、いま見ておくこと

PrismMLは次の数か月のうちに数千億パラメータ級のモデルへ同じ圧縮を適用する予定だとしており、Hassibiは大きいモデルほど能力を保ったまま圧縮しやすいと述べています（出典: TechCrunch）。圧縮技術に取り組むのは同社だけではなく、TechCrunchはスペイン発のMultiverse Computingも挙げています。手元で動かせる能力の水準は、今後も動く前提で見ておく段階です。

事務所の側でいま見ておけるのは、次のあたりです。ひとつは、いま外部のサービスに投げている作業のうち、どれが手元で完結してよい種類のものかを仕分けること。ひとつは、事務所の機材のメモリと世代を把握しておくこと。5.9GBという数字は機材選定の目安になります（出典: PrismML）。ひとつは、外に出す作業と内側で回す作業の線を、費用だけでなく記録の残り方でも比べること。この比較軸は定型業務の生成AI支援プランが登場外部委託と内製化を分ける7判断軸で整理しています。

まとめ

PrismMLは2026年9月17日、27B級モデルを5.9GBに圧縮し、総合ベンチマークで元の98.2パーセントを保ったとする「Ternary Bonsai 2 27B」を公開しました（出典: PrismML）。事務所にとっての意味は、性能の順位よりも、AIを動かす場所を選べる幅が広がったことにあります。ベンチマークの数字が自分たちの書式で再現するか、記録をどこに残すかは、置き場所が変わっても事務所側に残る宿題です。

参考文献

※士業のチカラでは、生成AIの導入支援から運用最適化まで、貴事務所の業務に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://shigyonochikara.jp/contact/

引用元: TechCrunch

本記事の作成体制について

本記事は士業のチカラ編集部が、公表されている一次情報のみを根拠に作成しています。法令の条文はe-Gov法令検索の原文で、行政の見解は各府省庁の公表資料で、それぞれ確認したうえで記載しています。引用元は本文中および参考文献にすべて明示しています。

本記事には特定の資格者による監修は入っていません。個別の事案について法令の当てはめや手続の可否を判断する必要がある場合は、当該分野の有資格者にご相談ください。本記事は一般的な情報提供を目的としたものであり、個別具体的な法律判断・税務判断・労務判断を提供するものではありません。

記載内容に誤りを見つけられた場合は、お問い合わせよりご指摘ください。確認のうえ速やかに訂正し、訂正履歴を記事内に残します。編集方針の詳細は運営者情報をご覧ください。