生成AIのハルシネーション（もっともらしい誤情報生成）が、米軍の軍事行動において深刻な誤認を引き起こしかけた事例が報じられました。軍事判断という、極めて高い精度と信頼性が求められる領域において、AI導入が抱えるリスクが表面化しています。
本件は特定の製品発表ではなく、軍事運用におけるAIシステムが生成した情報が、意思決定プロセスに影響を及ぼした事案です。AIが生成した誤ったデータが監視システム等の判断フローに混入し、あわや作戦執行に至る直前の状況まで進展しました。国防という人命に関わる領域において、生成AIの不確実性が重大な脅威となり得ることが示されました。
現在の生成AIは確率論的に単語を生成する仕組みであり、軍事分野で要求される厳密な真実性を100%保証する設計にはなっていません。今回、AIが生成した幻覚的なデータが、軍の意思決定支援プロセスにいかに脆弱性を生じさせるかが露呈しました。
軍事判断の支援システムには、決定的なガードレールの構築が不可欠です。今回の事案は、軍および開発組織に対し、ハルシネーションの検知・排除、およびAIが誤情報を生成した場合の自動的なフェイルセーフ機構の再考を強く迫るものです。