裁判所へ提出された法的な文書の中に、自動化された文書レビューシステムを意図的に操作するための「隠されたAI指示（Hidden AI Instructions）」が埋め込まれていたことが明らかになりました。これは、システムが人間には視認できないテキストを読み取り、処理内容を操作するように設計されたプロンプトインジェクションの一種です。
今回確認された手法は、法的手続きで使用される文書の背後に、AIモデルに対して特定の出力や判断を促す指示を不可視の形式で挿入するものです。文書のレイアウト調整やフォント設定、特定のメタデータ操作などを通じ、人間の目には触れないままAIシステムの判断プロセスに介入することを目的としています。
この事案は、AIモデルが文書解析を行う際、視覚的な情報だけでなくPDFやテキストデータ構造に含まれる隠しテキストを処理してしまう脆弱性を突いたものです。従来、裁判所などで導入が進んでいる自動レビューシステムが、悪意あるプロンプトに対して防御策が不十分であることを示唆しています。
今回の問題を受け、法務プロセスにおける自動化技術のセキュリティ基準見直しの必要性が浮き彫りとなりました。今後、システム側の入力フィルタリング強化や、AIが解析する文書の完全性を検証するプロセスの構築が不可欠となります。AI実装が進む現場において、入力データの検閲と検証の重要性が再認識される事例です。