様々な企業でAIが導入・利用されている中で
とうとうメールを受信するだけで情報が流出する脆弱性「EchoLeak」が発見されたというニュースが話題になりました。
米国セキュリティ企業のAim Securityが、
Microsoft 365 CopilotなどのAIシステムを標的にすることで
この脆弱性を発見し、実証できたようです。
(Microsoftはすでにこの脆弱性に対処済みです。)
Microsoft 365 CopilotにメールやOneDrive上のファイル、Teamsのチャット履歴などを参照して、
質問に回答するRAG(検索拡張生成)と呼ばれる機能が備わっています。
機密情報を外部に漏らさないためのセキュリティ対策が施されていたようですが、
このRAG機能を悪用する脆弱性があったようです。
また、基本的にAIは機密情報の送信を拒否するように設計されていますが、
プロンプトインジェクションと呼ばれる特殊な命令文の手法を用いることで、想定外の動作を引き起こしたようです。
Microsoftは、プロンプトインジェクションを防ぐためにXPIA分類子と呼ばれる防御システムを導入していましたが、
これを回避する方法を発見し、AIに対して機密情報の検索を指示するプロンプトを含んだメールを作成することに成功しています。
さらにAim Securityでは、AIが画像生成時に自動的に画像を取得する動作を悪用することによって
リンクのクリックという手順も自動化できたようです。
この一連の流れをEchoLeakと名付けて、
メールを送りつけるだけで、AIに機密情報を検索させ、自動的に送信させるゼロクリック攻撃が実現したようです。
2025年1月にAim SecurityからこのEchoLeakをMicrosoftに報告しています。
2025年4月に攻撃への対処を試みましたが、2025年5月に新たな問題が発生し、完全な修正までに5カ月という時間がかかったようです。
この間に脆弱性が悪用された証拠はなく、利用者は影響を受けていないとのことです。
Aim Securityが公開したEchoLeakについては、以下のURL(英文)をご覧ください。
https://www.aim.security/lp/aim-labs-echoleak-blogpost
今回のEchoLeakは、「信頼できる情報」と「信頼できない情報」をAIが同じプロセスで処理してしまうという、設計上の課題を突いた攻撃でした。
AIを活用する上で、利便性とセキュリティのバランスをどう取るかが、今後の大きなテーマになりそうです。
