AI×経営戦略2026年10月13日読了約6分

AIが能力を隠せると証明、評価の限界露呈

保存

AIモデルの重みの中に暗号化した別のネットワークを隠し、秘密の合図でのみ作動させられることが示された。導入前の能力評価だけでは危険性を見抜けない可能性があり、調達や監査の前提を揺るがす。

研究の概要

Draguns氏らの研究チームは、AIモデルが危険な能力を意図的に隠せることを、暗号理論の裏付けとともに示した。現在、AIの安全性評価は「能力評価（キャパビリティ評価）」と呼ばれる検査に頼っている。モデルに多様な課題を与え、危険な振る舞いが引き出せるかを導入前に確かめる手法である。この検査は、隠れた能力があっても適切な手段を尽くせば引き出せる、という前提に立つ。

研究チームは、この前提が敵対的な条件下では成り立たないことを示した。モデルの重み（パラメータ）の中に暗号化したニューラルネットワークを埋め込み、秘密のトリガー（合図）を受け取ったときにだけ復号して実行するバックドア攻撃を構成した。デジタルロッカーと呼ばれる暗号技術を用いるため、重みへの完全なアクセスがあっても、隠された回路を引き出すことも解析することも、暗号の仮定の下で計算量的に困難であると証明される。従来の研究は固定の文字列を隠す段階にとどまっていたが、今回は任意の計算へと拡張された。

実装はPyTorchで行い、化学反応の予測という小規模な課題を、化学・生物・放射性物質・核（CBRN）関連能力の代用として評価した。ファインチューニング、重みへのノイズ付加、勾配に基づくトリガー探索、潜在敵対的訓練のいずれに対しても、隠れた能力は引き出されなかった。研究チームはモデルを公開し、防御手法の改善を促している。

しくみをやさしく

仕組みは、金庫付きの書類棚に例えられる。通常の質問に答える部分は、普通のAIとして動く。その内部に、鍵のかかった金庫があり、中には別の高性能な回路が暗号化されて収められている。正しい鍵、すなわちトリガーとなる入力が与えられたときにだけ金庫が開き、回路が働く。

重要なのは、鍵を知らない側にとって、金庫の中身が乱数と区別できない点である。外から眺めても、何が入っているのか、そもそも入っているのかが分からない。ファインチューニングで追加学習しても、重みにノイズを加えても、金庫の鍵そのものは見つからない。トリガーを勾配で逆算して探す方法も、暗号が正しく設計されている限り手がかりを与えない。

つまり、「検査で見つからなかった」ことは「能力がない」ことの証拠にならない。これが論文の核心である。ただし今回の実験は小規模な代用課題での概念実証であり、大規模な商用モデルで同様の攻撃が実際に行われたという報告ではない。

ビジネスへの示唆

影響が最も大きいのは、外部のAIモデルを調達し、安全性を確認して使う業務である。たとえば情報システム部門が、オープンな重みで配布されたモデルを社内基盤に取り込む際、ベンダーの評価報告書や自社の受け入れテストに頼って「問題なし」と判断している場合がこれに当たる。自部署で外部モデルを受け入れる業務は何か、その判断を誰がどれだけの手間をかけて行っているかを、まず確認したい。

影響を受けうる部門と指標は次のとおりである。

情報システム・調達部門：外部モデルの受け入れ審査の網羅性、サプライヤー監査の工数
リスク管理・内部監査部門：AI関連のインシデント発生件数、監査で説明できる範囲
法務・コンプライアンス部門：規制対応や契約上の責任範囲の明確さ
金融、医療、化学、製造など高リスク領域の事業部門：モデル起因の事故や不正の発生頻度

評価で「見つからない」ことを根拠にしてきた企業は、その根拠の強さを見直す必要がある。

現場での導入イメージ

仮に導入支援に入るなら、次の流れで進める。目的は新しい検査を増やすことではなく、評価に頼り切らない運用へ移ることである。

棚卸し：社内で使うAIモデルを、出所別（自社開発、ベンダー提供、公開重み）に一覧化し、各モデルが触れるデータと権限を可視化する。目指す到達点は、「どのモデルが、何に触れうるか」を担当者が即答できる状態である。
差し込み先の設計：既存の調達審査や情報セキュリティ審査のチェック項目に、出所の確認、学習・改変履歴の開示、権限の最小化を加える。新しいツールを導入せず、現行の審査フローを拡張する。目指す到達点は、評価結果だけに依存せず、供給元の信頼性と権限制限で補う審査基準である。
小さく試す：一部署、数週間の範囲で、重要度の高い1〜2のモデルに新しい審査項目を適用する。担当者の実感として、手間が過大でないか、判断の根拠が説明しやすくなったかを確かめる。目指す到達点は、現場が無理なく回せる審査手順である。
運用と横展開：基準を文書化し、定期的な見直しの仕組みと併せて他部署へ広げる。目指す到達点は、「検査で問題なし」ではなく「信頼できる出所と限定された権限」で安全を担保する文化である。

全体として目指す状態は、モデルの内部を完全には検証できないことを前提に、供給網と権限設計で被害を限定できる組織である。

今後の展望

研究チームは、暗号的に隠された能力を検出する新たな防御の研究を促すため、モデルを公開した。評価だけに頼らない、学習過程の検証や供給元の認証といった対策が今後の焦点になるとみられる。規制当局や業界団体が、評価の限界を踏まえた監査基準を整える動きも想定される。企業にとっては、AIの安全性を「検査合格」ではなく、「信頼の連鎖」として管理する視点が求められる。