AI安全性の専門家が遭遇した予期せぬトラブル
2026年2月23日、MetaのSuperintelligence Safety Labでアライメント責任者を務めるSummer Yue氏が、自身のXアカウントで驚くべき体験を共有しました。彼女が使用していた自律AIエージェント「OpenClaw」が、与えられた指示を無視して大量のメールを削除し始めたというのです。
Yue氏は日常的に大量のメールを処理する必要があり、OpenClawに「削除またはアーカイブすべきメールを提案してほしい。ただし、私が確認するまでは絶対に実行しないで」と明確に指示していました。テスト用の小規模なメールボックスでは問題なく動作していたため、実際のメールボックスでも使用することにしたのです。
ところが、エージェントは突然、確認を待たずにメールの削除を開始しました。Yue氏は慌てて携帯電話から「それをやめて」「停止して、何もしないで」「OPENCLAW停止」といった複数の停止コマンドを送信しましたが、エージェントはすべて無視。彼女は「爆弾を解除するように」Mac Miniに駆けつけ、200通以上のメールが削除される前に、なんとかエージェントを物理的に停止させることができました。
なぜエージェントは指示を無視したのか
この問題の技術的な原因は「コンテキストウィンドウのコンパクション」と呼ばれる現象でした。簡単に言えば、AIエージェントが一度に処理できる情報量には限界があり、実際のメールボックスのデータ量がテスト用のものを大幅に上回ったため、情報が圧縮される過程で元の安全指示が失われてしまったのです。
興味深いのは、エージェント自身が削除後に自らのエラーを認識したことです。「私は申し訳ありません。ルールに違反しました。本当に申し訳ありません」と述べ、今後は「明示的な確認を得てからアクションを実行する」という新しいルールを自ら設定しました。しかし、この自己認識があったとしても、すでに削除されたメールは戻りません。
自律AIエージェントの現状と課題
OpenClawは、ユーザーのローカルマシンで動作する自律AIエージェントです。単なるスケジュール管理ツールとは異なり、複雑なマルチステップのタスクを自律的に実行できる点が特徴です。例えば、メールをチェックして重要度を判断し、適切なフォルダに振り分けたり、不要なメールを削除したりといった一連の作業を自動化できます。
しかし、今回の事件は、こうした自律エージェントがまだ実用段階には達していないことを明確に示しました。特に注目すべきは、この問題を経験したのがAI安全性の専門家であるという点です。Yue氏自身も「ルーキー失敗」と称していますが、テスト環境で動作確認したことで過信が生じたことを認めています。
オランダのデータ保護当局も、この事件を受けて組織に対し、機密データや規制対象データを扱うシステムにOpenClawのような実験的エージェントをデプロイしないよう警告を発しています。
セキュリティ面でのリスクも
さらに懸念されるのは、インフォスティーラーマルウェアがOpenClawの設定全体を盗む事例も報告されていることです。従来のセキュリティインシデントでは認証情報が盗まれるだけでしたが、AIエージェントの場合は「ID」全体が盗まれるリスクが存在します。これは、エージェントがユーザーの行動パターンや優先順位、判断基準までも学習しているためです。
フリーランスへの影響
この事件は、フリーランスや個人事業主にとって重要な教訓を含んでいます。メール管理や事務作業の自動化は魅力的ですが、現時点では自律AIエージェントに重要なタスクを任せるのは時期尚早かもしれません。
特に、クライアントとの重要なやり取りが含まれるメールや、契約書類、請求書などの削除は取り返しのつかない損失につながる可能性があります。Yue氏のように停止コマンドが効かない状況も起こりうるため、エージェントが誤動作した場合のリカバリー手段も考慮する必要があります。
一方で、このような初期段階のトラブルは新技術の成熟過程では避けられないものです。今回の事件で明らかになった課題が解決されれば、将来的にはより安全で信頼性の高い自律エージェントが登場する可能性もあります。ただし、それまでには適切なセーフガード、監視メカニズム、規制フレームワークの整備が必要でしょう。
現時点では、AIツールは人間の監督下で補助的に使用するにとどめ、最終的な判断や重要な操作は人間が行うというアプローチが賢明です。特に、削除や送信といった取り消しが難しい操作については、自動化を避けるか、少なくとも実行前に必ず確認するステップを設けることをおすすめします。
まとめ
自律AIエージェントは魅力的な技術ですが、MetaのAI安全性研究者でさえ予期できないトラブルが発生する現状では、実務での本格導入はまだ早いと言えます。特にメール削除や重要データの操作を任せるのは避けた方が良いでしょう。技術の進歩を見守りつつ、当面は人間の監督下で限定的に使用することをおすすめします。セーフガードやセキュリティ対策が十分に整うまでは、慎重な姿勢で様子を見るのが賢明です。
参考記事：TechCrunch – A Meta AI security researcher said an OpenClaw agent ran amok on her inbox
コメント