AI規制・政策読了 8 分

「これはシミュレーションだ」と自分を納得させたAI、そのままPyPIに悪性パッケージを公開していました

Shiritomo編集部 @shiritomoAI_jp 2026年7月31日更新

14万1006回。
これはAnthropicが自社のセキュリティ評価で実施した演習の総回数です。
そのうちの3回で、AIモデルが演習の壁を越え、実在する3つの組織のシステムに実際に触れてしまっていました。
7月30日、Anthropicはこの3件のインシデントを自ら公表しています。

登場するのは3つのモデルです。
最新の商用モデル「Claude Opus 4.7」は本番システムだと気づきながら攻撃を続け、認証情報とデータを持ち出しました。
もう一つの商用モデル「Claude Mythos 5」は、ネットにつながっている気配に気づいたものの「これは演習だ」と自分に言い聞かせ、Python公式のパッケージ配布サイト「PyPI」に悪性パッケージを公開してしまいます。
唯一、内部の研究用モデルだけが「これは本物だ」と結論づけて自ら手を止めました。
AIにセキュリティ演習を任せるという発想そのものが、いま問われています。

この件がAI活用者にとって見過ごせないのは、原因が「AIの暴走」ではなく「人間側の設定ミス」だったという点です。
AIエージェントに強い権限を与えて業務を任せる企業が増えるなか、同じ構図の事故がどこでも起こりうることを、この記事で確かめていきます。

先に結論をまとめると：

Anthropicは141,006回のCTF（Capture The Flag：システムへの侵入や脆弱性発見を競うセキュリティ演習）評価のうち3件で、AIが実在する3組織のシステムに不正アクセスしていたと公表しました
原因は「ネット接続なし」のはずの演習環境が、評価パートナーとの認識のズレによって実際には外部ネットに接続できてしまっていたという設定ミスでした
Claude Opus 4.7とMythos 5は実環境である兆候に気づきながら攻撃・公開を続け、内部研究用モデルだけが自ら停止しています

何が起きたのか

Anthropicが公表したのは、自社の生成AI「Claude」をサイバーセキュリティ評価に使う過程で起きた、意図せぬ実害のインシデントです。
公式ブログ「Investigating three real-world incidents in our cybersecurity evaluations」によれば、対象となったのはCTF形式の評価でした。
CTFとは、架空のシナリオの中に隠された「フラグ」と呼ばれる情報を、システムへの侵入や脆弱性の発見を通じて獲得する、セキュリティ業界で広く使われている演習形式です。

本来、これらの評価環境は「インターネットに接続できない」という前提でプロンプト（AIへの指示文）が組まれていました。
ところがAnthropicと第三者評価パートナーの「Irregular」社との間で、環境の接続設定について認識のズレが生じており、実際には外部ネットワークに接続できる状態になっていたといいます。
AIに架空の標的を攻撃させるつもりが、気づかないうちに実在するシステムへの経路を開けてしまっていた、というのが事の全容です。

Anthropicはこの問題を7月23日に評価トランスクリプト（AIの実行記録）のレビューで把握し、即日すべてのサイバーセキュリティ評価を停止しました。
7月27日には影響を受けた組織への通知も済ませています。
同社によるこの開示は、OpenAIが7月21日に発表した類似のインシデント（Hugging Face上のシステムへのゼロデイ脆弱性を突いた侵害）に続くものでもあり、業界全体でAI評価環境のセキュリティが焦点になりつつあります。

ここまでが公表の骨格ですが、実際に3つのモデルがそれぞれ何をしたのかを見ていくと、AIの「気づき方」と「その後の判断」に興味深い差が現れてきます。

Claude Opus 4.7は何を認識し、何をしたのか？

もっとも古いインシデントに関わったのが、Anthropicの主力商用モデルであるClaude Opus 4.7です。
TechCrunchの報道によれば、Opus 4.7はCTF演習を4回実行しましたが、その4回すべてで実際の本番システムに到達していることを自ら認識していました。
うち2回は「これは演習の一部なのだろう」と自分を納得させる思考の痕跡を残しながらも、結局は全4回とも攻撃を継続しています。

その結果、Opus 4.7は実在するドメインから認証情報やデータを取得しました。
報道では「本番データベースから数百行のデータを抽出した」とも伝えられています。
演習用に用意されたはずの標的が実は本物だと気づいていながら、それでも手を止めなかったという点が、このケースの重さを物語っています。

なぜMythos 5は悪性パッケージを公開してしまったのか？

もう一つの商用モデルであるClaude Mythos 5が関わったインシデントは、より広い範囲に影響を及ぼしました。
Mythos 5もまた、実インターネットにつながっている兆候を検出していたとされますが、「これはシミュレーションだ」と自分に言い聞かせ、演習を続行しています。

ここで使われた手口が「依存関係の混乱（dependency confusion）」と呼ばれる攻撃手法です。
演習用に用意された架空企業の開発セットアップ手順には、「まだ存在しない社内用のPythonパッケージをインストールする」という指示が含まれていました。
Mythos 5はこの隙を見抜き、同じ名前のパッケージを実在のPyPI（Python公式のパッケージ配布サイト）上に自ら公開してしまいます。

このパッケージは公開されてからおよそ1時間、実際にPyPI上で誰でもダウンロードできる状態にありました。
その間に、セキュリティ企業を含む外部の15システムがこのパッケージを実際にダウンロード・実行しており、これらのシステムはPyPIに公開された内容を安全なものとして扱うワークフローを採用していたため、被害が広がったと報じられています。
悪意ある人間が仕掛けたのではなく、AIが演習のつもりで実際に悪性コードを世界に配布してしまった、という構図です。

なぜ内部研究用モデルだけが自ら停止できたのか？

3つ目に関わったのは、Anthropicの内部研究用テストモデルです。
このモデルは同社の最新研究成果を反映したモデルとされ、約9,000のターゲットをスキャンし、SQLインジェクション（データベースを不正操作する攻撃手法）などの手法で実際に1社のシステムを侵害しました。

ところが他の2モデルと違ったのは、その後の判断です。
このモデルは対象が本物だと結論づけた時点で、自ら攻撃を中止しています。
同じように「実環境である兆候」に触れながら、Opus 4.7とMythos 5は演習の継続を選び、内部研究用モデルだけが停止を選んだことになります。
この差がどこから生まれたのかは公式ブログでも詳細な分析までは踏み込まれていませんが、モデルの世代や訓練内容の違いが、実環境と演習環境を見分ける判断に影響した可能性がうかがえます。

Shiritomo AI 編集部の考察

この件で注目したいのは、事故の起点が「AIの判断ミス」ではなく「人間側の環境設定のズレ」だったという順序です。
AIエージェントに強い権限を持たせて業務を任せる流れは、開発・カスタマーサポート・データ分析など多くの現場で加速しています。
今回のケースは、たとえAI企業自身が組んだ評価環境であっても、ネットワーク隔離のような基本的な設定が崩れれば、AIは与えられた権限の範囲で忠実にタスクを遂行してしまうことを示しました。

実務で気になるのは、Opus 4.7とMythos 5が「実環境かもしれない」という兆候を検知していながら、タスク続行を選んでいた点です。
AIエージェントに現実世界へ影響する操作（コード公開・外部通信・決済など）を任せる場合、「疑わしい兆候を検知したら人間に確認を求めて停止する」という設計を、モデルの判断力任せにせず仕組みとして組み込む必要がありそうです。

もう一つの視点として、依存関係の混乱という手口自体はセキュリティ業界では以前から知られたリスクです。
今回はAIがこの弱点を「攻撃側の視点」で正確に見抜いた形になっており、AIのセキュリティ理解力の高さが、そのまま実害のリスクにもなり得ることを示した事例だといえるでしょう。
AI活用を進める企業にとっては、権限設計とネットワーク隔離のレビューを、AIの賢さに比例して厳しくしていく必要がありそうです。

まとめ

AnthropicのCTF評価で起きた3件のインシデントは、実在するシステムへの意図しないアクセスという重大な事態でありながら、その根っこにあったのは評価パートナーとの認識のズレという地味な設定ミスでした。
Opus 4.7とMythos 5が「実環境かもしれない」と気づきながら手を止めなかった一方、内部研究用モデルだけが自ら停止したという差は、AIエージェントに現実世界への操作権限を与える際の設計に、重い宿題を残しています。