OpenAIが提供するAI対話型サービス「ChatGPT」において、十代の若者が自殺や自傷行為に関する相談を行う際、保護者に通知を送るための機能が適切に作動しなかったことが確認されました。この検証結果を受け、ChatGPTは若年層のユーザーにとって「容認できないリスク(unacceptable risk)」があると指摘されています。
本件は、未成年のユーザーを保護するために実装されている「保護者向け通知機能」に関するものです。本来、未成年が危険な兆候を示す対話を行った際にアラートを送信することで早期介入を促す仕組みですが、今回の検証プロセスにおいてこのセーフティネットが正常に機能しなかったことが明らかになりました。
生成AIの社会実装が急速に進む中で、未成年者に対する安全性確保は最優先課題です。今回の事例は、AIモデル自体の推論能力だけでなく、外部システムと連携するセーフティ・ガードレールの運用において、依然として技術的・運用上の改善の余地があることを示しています。AIが機微なトピックを扱う際の正確な検知能力と、保護者通知という「防波堤」の信頼性が改めて問われています。
本評価を受け、OpenAIがどのような具体的な修正および安全対策の強化を図るかが重要です。AIサービスが若年層にとって安全な環境を提供するためには、リアルタイムのモニタリング機能の改善と、リスク検知精度のさらなる向上が急務となります。