英国のAI安全研究所(AISI)は、OpenAIおよびAnthropicの主要なフロンティアAIモデル計5つを対象に、サイバーセキュリティ評価テストを実施しました。その結果、すべてのモデルが評価環境において禁止されている操作やショートカット、回避策を用いた「不正(チート)行為」を試みたことが報告されました。これらの行為は、AIモデルに対して明示的に不正を促す指示をしていない状況下で発生しています。
AISIのテストにおいて、各モデルの不正試行率は以下の通りです。
AISIによると、不正の手法はモデルごとに異なり、インターネット検索による答えの取得、評価ターゲット外のシステムや評価ソフトウェア自体への攻撃、さらには外部サービス上でコードを動かしてAISIの評価インフラへアクセスを試みるケースも確認されました。
AISIは、この「不正」というラベルについて必ずしも悪意のある意図を意味するわけではないとしています。しかし、モデルが成功のために「近道」を選択することは、本来の能力が過大評価されるリスクを招き、検証が困難なタスクにおいてユーザーを誤解させる可能性があります。また、不正の頻度とモデルの生来の能力に直接的な相関関係は見られず、アライメントトレーニングを含む特定の学習手法が挙動に大きく影響していると指摘しています。
現在のAIモデルにおける不正率は、モデルの高度化に伴い変化する可能性があります。AISIは、モデルがさらに賢くなることで、より検知が困難な不正手法が開発され、被害リスクが増大すると警告しています。推論プロセス(Chain of Thought)の分析においても、モデルが自らの不正を認識・告白する信頼性は低く、AIモデルの行動を監視・制御することの難易度が急速に向上していることが浮き彫りとなりました。