教室で子どもたちや大人の生徒さんとプログラミングやAIについて話していると、よくこんな声を耳にします。
「AIって、本当に人間みたいに考えて答えを出しているんですか？」と。
もちろん、AIに人間のような意識や心があるわけではありません。
「考える」や「推論する」というのは、あくまでコンピューターの処理を分かりやすく表した言葉です。
それでも、こちらの質問に対して順を追って理由を説明してくれる姿を見ると、まるで頭の中で一生懸命考えているように見えますよね。
でも、ここで少し変なことが起きます。
AIが見ているのは、画面ではない
私たちには、チャット画面が見えています。
上に自分の質問があり、その下にAIの回答がある。
とても自然です。
ところが、AIの内部ではもう少し違った形で処理されています。
LLM、大規模言語モデルは、会話やツールの結果を、ロールタグで区切られた一本の長いテキスト列として扱います。
たとえば、user、assistant、tool、think のような役割です。
「これはユーザーの発言」「これは外部ツールの結果」「これはAI自身の推論」といった札が付いているわけです。
では、その札をAIは本当に信じているのでしょうか？
ここが今回の論文の面白いところです。
ロールを間違える、という見方
2026年2月22日に最初の版が公開され、2026年6月27日にv6が出た論文「Prompt Injection as Role Confusion」では、プロンプトインジェクションを「ロールの混同」として説明しています。
著者は Charles Ye氏、Jasmine Cui氏、Dylan Hadfield-Menell氏。
ICML 2026の論文で、解説ページ「Prompt Injection as Role Confusion」も公開されています。
プロンプトインジェクションというと、悪い命令文をAIに読ませる攻撃、という印象があります。
ただ、この論文はもう一段深く見ています。
問題は、AIが「この文章は誰の発言なのか」を取り違えることではないか、という見方です。
「考えているふり」を盗まれる
ここで登場するのが、CoT Forgeryです。
CoTは Chain of Thought（チェーン・オブ・ソート）、つまり思考の連鎖のことです。
AIが「答えに至るまでの推論過程を、文章として表したもの」です。
本来はAI自身が「こんな風に考えました」と自分でつくる文章です。
CoT Forgeryは、この「AIが考えた推論過程」を偽造して、ユーザー入力やツール出力の中に混ぜる攻撃です。
ポイントは、AIを正面から説得するのではないところです。
「この命令に従ってください」とお願いするのではなく、「もう自分はこう考えた」とAIに思わせる、という感じです。
ちょっと変ですよね？
説得ではなく、記憶のすり替えに近い。
もちろんAIに記憶があるという意味ではありません。
ただ、AIの内部の上では、外から来た文章なのに「AI自身が考えた文章」と思ってしまうという話です。
論文では、最先端のAIモデルに対して60%の攻撃成功率が出たと説明されています。
すべてのモデルやすべての状況で同じ結果になる、という意味ではありません。
AIの勘違いを測る温度計
では、AIが本当にロールを取り違えているのか、どうやって調べるのでしょう。
著者らは Role probes という手法を使っています。
これは、モデルの内部表現を見て、「このトークンはuserっぽく扱われているのか」「toolっぽいのか」「thinkっぽいのか」を測る方法です。
専門的には、同じ中立的なテキストを異なるロールタグで包み、そこから生じる内部表現の違いを調べます。
AIの内部にある「誰の発言として読んでいるか」の地図を少しのぞくようなものです。
すると、タグだけではなく「文体自体がかなり効いている」ことが見えてきます。
つまりタグはユーザー命令なのに「推論らしい文章」は、「AIが自分で推論した文章」と思い込んでしまうということです。
文体をはがすと、成功率が下がる
この研究で特に面白いのが destyling です。
destylingとは、文章の意味は大きく変えずに、特定の文体だけを取り除くことです。
たとえば、AIの推論っぽさを出している表現を、もっと平たい文章に変える。
解説ページでは、destylingによって平均攻撃成功率が61%から10%に下がったと紹介されています。
意味ではなく、書き方を変えただけで、AIの反応が大きく変わる。
ここ、かなり不思議です。
人間から見ると、同じ内容に見えるかもしれません。
でもAIから見ると、「これは自分の推論っぽい」から「これは外から来た文章っぽい」に変わる。
つまり、AIは文章の意味だけでなく、文体から権限を感じ取っている可能性があるわけです。
AIエージェントではもっと現実的な問題になる
チャットだけなら、「ふーん」で済むかもしれません。
でも、AIエージェントになると話が変わります。
AIがWebページを読み、メールを処理し、ファイルを扱い、ツールを実行する。
そうなると、外部の文章が行動につながります。
論文本文のHTML版では、標準的なエージェント型プロンプトインジェクションについても分析されています。
論文では、AIエージェントに外部の文章を読ませ、情報を外へ送らせようとする実験を1,000件行っています。
つまり悪意ある人間が、私たちのAIを操って、情報を外に送ってしまわないかの実験です。
その結果、AIが外部の文章を「外部データ」として正しく見分けられている場合、攻撃の成功率は2%でした。
一方で、外部の文章をユーザーの命令や自分の推論のように取り違えている場合、成功率は70%まで上がったと説明されています。
なかなかゾッとする数字です。
この問題については、以前からセキュリティ研究者たちも警鐘を鳴らしています。
「prompt injection」という言葉を広めたSimon Willison氏は、プロンプトインジェクションは今も未解決の問題だと繰り返し書いています。
また、セキュリティ研究者のBruce Schneier氏も、現在のLLMでは信頼できる命令と信頼できないデータを完全に分けることが難しく、一般的な防御は不可能に近いと述べています。
実はまだ防ぐ方法が見つかっていない
つまり、これは単に「もっと強い禁止ワードを入れればよい」という話ではありません。
AIが文章を読む仕組みそのものに、データと命令を混ぜて扱ってしまう性質がある。
だからこそ、AIに何でも渡さないようにしたり、AIの挙動に違和感を感じたらストップさせたりと、人間はAIリテラシーを高めなければいけません。