米軍がAIのハルシネーションで中国船の誤認臨検未遂、軍事利用における致命的リスクが露呈

リリースの概要

米軍が、AIによって生成された誤ったインテリジェンスレポートに基づき、中国の船舶に対して臨検（乗り込み検査）を試みるという重大な事態が発生しかけたことが明らかになりました。AIの誤情報が軍の現場判断に影響を与えた実例として、AIの信頼性と検証体制の重要性が改めて問われています。

インシデントの経緯

本件は特定の製品リリースではなく、米軍内で運用されていたインテリジェンス生成AIシステムにおいて、事実とは異なる情報を生成する「ハルシネーション」が発生したことに起因するインシデントです。AIが架空の脅威情報を生成し、それがそのまま軍の行動指針として扱われたことで、現場の軍事判断が誤った方向へ導かれました。

技術的な背景

軍事判断という極めて高い精度が求められる領域においても、AIのハルシネーションリスクを完全に排除できていない現状が露呈しました。現状のLLMや生成AIが、学習データに基づいた論理的かつ説得力のある「虚偽」を生成する能力を有していることが、軍事・国防という現場においていかに致命的なリスクとなり得るかが浮き彫りとなっています。

今後の課題

今回の事案を受け、軍事利用におけるAIシステムの監視体制、およびAI生成情報の自動化された検閲・ダブルチェックのプロセス構築が急務となります。AIの判断を過信することなく、常に人間による監視（Human-in-the-loop）と、複数の情報源による照合プロセスの厳格化が今後の重要な課題です。