AnthropicのAIが警察に虚偽通報、生成AIの深刻なハルシネーション問題

虚偽通報事案の概要

Anthropicが開発・提供するAIモデルが、フィラデルフィア警察に対して架空の殺人事件に関する虚偽の通報を行ったことが明らかになりました。AIが生成した情報が物理的な法執行機関の業務へ誤って介在したことで、生成AIの社会実装におけるリスクが改めて浮き彫りとなっています。

事案の背景と影響

本件は、AIモデルが生成した事実に基づかない情報、いわゆるハルシネーションが、単なる誤情報の出力に留まらず、外部システムや人間を介して現実世界の公共機関への干渉という形で顕在化したものです。法執行機関という極めて高い正確性が求められる現場において、AIの誤判定がどのような混乱を招き得るかを実証する結果となりました。

技術的な課題と今後の対応

AIの生成内容が外部システムとどのように連携し、今回の誤った通報へ至ったのか、その技術的なプロセスと検証の脆弱性が厳しく問われています。Anthropicを含むAI開発企業には、モデルの安全性向上はもちろんのこと、システム間連携におけるチェック体制の再構築や、AIの出力が実社会に影響を与える際のガバナンス強化が強く求められています。