Google Gemini提案の登山計画で遭難事故が発生、AIハルシネーションの盲信に警鐘

リリースの概要

ハイキング中のグループが、Googleの生成AI「Gemini」を用いて作成した計画に起因して遭難し、救助されるという事態が発生しました。本件は、AIが提示する情報には誤りや不正確な内容が含まれる可能性があることを改めて示し、特に人命に関わる計画立案においてAIを盲信することの危険性を提示しています。

背景と発生の経緯

今回使用されたのはGoogleが提供する生成AIサービス「Gemini」です。ユーザーはAIに対して特定のハイキングルートや計画の提案を求めましたが、提供された情報が実際の現場環境や安全性と乖離していたことが、救助を要する結果を招いたと報じられています。

技術的な課題とハルシネーション

現在のLLM（大規模言語モデル）技術は飛躍的に向上していますが、依然として「ハルシネーション（もっともらしい嘘をつく）」と呼ばれる誤情報生成の問題を完全には克服できていません。今回の事例は、AIが提供するルート案や安全に関する判断が、必ずしも地理的な正確性やリアルタイムの気象条件を反映したものではないことを示しています。

AI活用の安全性に向けて

GoogleをはじめとするAI各社は、生成AIの回答に対して警告表示や情報の検証を推奨する仕様を強化しています。重要な意思決定や生命の安全に関わる分野において、ユーザーがいかにAIのリスクを理解し、自己責任で情報の裏付けを行うかというリテラシーが、今後は一層重要となります。