対象試験と出題頻度
この記事では、IPA試験（情報セキュリティマネジメント試験・基本情報技術者試験・応用情報技術者試験）で出題される「AIに対する脅威」について解説します。
近年、AI技術の普及に伴い、試験でも注目度が高まっているテーマです。
詳細をクリックして確認
情報セキュリティマネジメント
基本情報技術者
応用情報技術者
★★★☆☆
ランクB（標準）：覚えておくと有利
用語の定義
AIに対する脅威（Threats to AI / Adversarial Machine Learning）とは、一言で言うと「AI（人工知能）や機械学習システムを標的にした攻撃手法の総称」のことです。
イメージとしては、「AIの目を欺いて、見間違いや判断ミスを意図的に起こさせる」ようなものです。
人間なら気づかないような小さな細工でも、AIは大きく混乱してしまうことがあります。たとえば、停止標識にシールを数枚貼るだけで、自動運転車のAIが「速度制限標識」と誤認識してしまう、といった研究事例が報告されています。
従来のサイバー攻撃が「システムへの侵入」や「データの盗難」を狙うのに対し、AIに対する脅威は「AIの判断そのものを狂わせる」点が大きな特徴です。
📊 従来のサイバー攻撃とAIに対する脅威の違い
| 比較項目 | 従来のサイバー攻撃 | AIに対する脅威 |
|---|---|---|
| 狙う対象 | システムやネットワークの脆弱性 | AIモデルの認識・判断プロセス |
| 攻撃手法 | マルウェア、不正アクセス、SQLインジェクションなど | 敵対的サンプル、ポイズニング、モデル抽出など |
| 目的 | データ窃取、システム破壊、身代金要求 | 誤判断の誘発、検知の回避、モデルの窃取 |
解説
情報処理試験を勉強していると、「AIへの攻撃って、具体的に何をするの？」と疑問に思う方も多いのではないでしょうか。
ここでは、試験で問われる主要な攻撃手法を整理して解説します。
主なAIへの攻撃手法
AIに対する脅威は、攻撃のタイミングや目的によっていくつかの種類に分類されます。試験対策としては、以下の4つを押さえておけば十分です。
- 敵対的サンプル攻撃（Adversarial Examples Attack）：人間には気づかないような微細なノイズや加工を入力データに加え、AIモデルを誤認識させる攻撃です。たとえば、パンダの画像にわずかなノイズを重ねるだけで、AIが「テナガザル」と誤判定してしまう事例が有名です。「回避攻撃」とも呼ばれます。
- ポイズニング攻撃（Data Poisoning Attack）：AIの学習フェーズを狙い、トレーニングデータに悪意のあるデータを混入させる攻撃です。汚染されたデータで学習したAIは、本番稼働時に誤った判断を下すようになります。いわば「AIの教育を歪める」攻撃といえます。
- モデル抽出攻撃（Model Extraction Attack）：AIモデルに大量の入力を行い、その出力パターンを分析することで、モデルの内部構造や機能を復元（コピー）しようとする攻撃です。競合企業の知的財産を盗む目的や、別の攻撃の足がかりに使われることがあります。
- メンバーシップ推論攻撃（Membership Inference Attack）：AIモデルの出力を観察して、特定のデータがモデルの学習に使われたかどうかを推測する攻撃です。たとえば「ある人物の医療データが、この病院のAI診断システムの学習に使われていたか」を推定でき、プライバシー侵害につながる恐れがあります。
💡 なぜAIに対する脅威が注目されているのか？
AI技術が社会のあらゆる場面で使われるようになった今、AIの誤動作は深刻な影響を及ぼします。
自動運転車の誤認識は人命に関わりますし、顔認証システムの回避はセキュリティの根幹を揺るがします。また、AIモデルの開発には膨大なコストがかかるため、モデル抽出による知的財産の窃取も大きな脅威です。
IPAも2024年に「米国におけるAIのセキュリティ脅威・リスクの認知調査レポート」を公開しており、この分野への関心の高さがうかがえます。
これらの攻撃が厄介なのは、「AIのアルゴリズム自体は正しく動いている」という点です。従来のセキュリティ対策では検知しにくく、新しい防御の考え方が求められています。
具体的な対策
AIに対する脅威への対策は、開発段階から運用段階まで多層的に講じる必要があります。
- 敵対的トレーニング（Adversarial Training）：あえて敵対的サンプルを学習データに含め、AIモデルにそれらを正しく認識させる訓練を行います。これにより、攻撃への耐性（ロバスト性）を高めることができます。
- 入力データの検証・サニタイズ：AIへの入力データに異常なノイズや改ざんがないかチェックする仕組みを導入します。不審な入力を検知した場合は処理を停止するなどの対応を取ります。
- 学習データの品質管理：ポイズニング攻撃を防ぐため、学習に使用するデータの出所を厳格に管理し、異常なデータが混入していないか検証します。
- モデルの出力制限：モデル抽出攻撃への対策として、AIモデルの出力情報（確信度スコアなど）を必要以上に公開しないようにします。
- 差分プライバシーの適用：学習データの個々の情報が推測されにくくなるよう、意図的にノイズを加える技術です。メンバーシップ推論攻撃への有効な対策となります。
⚠️ 試験ではここまででOK
IPA試験では、各攻撃手法の「名称」と「概要」を正しく結びつけられることが重要です。特に「敵対的サンプル攻撃」と「ポイズニング攻撃」の違いは頻出ポイント。
前者は「推論時（本番稼働時）」に入力データを細工する攻撃、後者は「学習時」にトレーニングデータを汚染する攻撃、という違いを押さえておきましょう。
試験ではこう出る！
情報セキュリティマネジメント試験、基本情報技術者試験、応用情報技術者試験で出題される可能性があります。以下のキーワードとセットで覚えましょう。
【重要キーワード】
- 敵対的サンプル（Adversarial Examples）
- 回避攻撃 / ポイズニング攻撃
- モデル抽出攻撃 / メンバーシップ推論攻撃
- AIモデルの誤認識・誤判断
- 学習フェーズ vs 推論フェーズ
試験問題で「機械学習モデルの入力データに微細な加工を施し、意図的に誤認識を引き起こす攻撃」という記述があれば、それは「敵対的サンプル攻撃（回避攻撃）」に関する記述です。
また、「AIの学習データに悪意のあるデータを混入させ、モデルの挙動を歪める攻撃」という記述があれば、それは「ポイズニング攻撃」を指しています。
📊 AIに対する主な攻撃手法（試験対策まとめ）
| 攻撃の種類 | 攻撃のタイミング | 攻撃の概要 |
|---|---|---|
| 敵対的サンプル攻撃 | 推論時 | 入力データに微細なノイズを加え誤認識させる |
| ポイズニング攻撃 | 学習時 | 学習データを汚染しモデルの挙動を歪める |
| モデル抽出攻撃 | 推論時 | 入出力を分析しモデルを復元・窃取する |
| メンバーシップ推論攻撃 | 推論時 | 特定データが学習に使われたかを推測する |
📝 IPA試験での出題ポイント
「AIに対する脅威」は、AI技術の社会実装が進む中で今後ますます出題が増えると予想されるテーマです。
特に「敵対的サンプル攻撃」と「ポイズニング攻撃」は名称と内容の対応を問う問題が出やすいので、それぞれの特徴を正確に区別できるようにしておきましょう。また、これらが「従来のサイバー攻撃とは異なる新しい脅威である」という観点も重要です。
【確認テスト】理解度チェック
ここまでの内容を理解できたか、簡単なクイズで確認してみましょう。
Q. 機械学習モデルへの攻撃手法に関する説明として、最も適切なものはどれでしょうか？
- A. ポイズニング攻撃は、AIモデルの推論時に入力データへ微細なノイズを加え、誤認識を引き起こす攻撃である
- B. 敵対的サンプル攻撃は、人間には気づかない程度の加工を入力データに施し、AIモデルを誤認識させる攻撃である
- C. モデル抽出攻撃は、AIの学習フェーズでトレーニングデータに悪意のあるデータを混入させる攻撃である
正解と解説を見る
正解：B
解説：
敵対的サンプル攻撃（Adversarial Examples Attack）は、人間の目には分からないような微細なノイズや加工を入力データに施し、AIモデルに誤認識を起こさせる攻撃手法です。「回避攻撃」とも呼ばれ、AIの推論フェーズ（本番稼働時）を標的にします。
選択肢Aは「ポイズニング攻撃」の説明が誤っています。ポイズニング攻撃は推論時ではなく「学習時」にトレーニングデータを汚染する攻撃です。
選択肢Cは「モデル抽出攻撃」の説明が誤っています。モデル抽出攻撃は学習フェーズを狙うのではなく、推論時の入出力パターンを分析してモデルを復元・窃取する攻撃です。
