強化学習は、ITパスポート・基本情報技術者・応用情報技術者のいずれでも出題される機械学習の基本テーマです。「教師あり学習」「教師なし学習」との3分類を正確に区別できるかが得点の分かれ目になります。
対象試験と出題頻度
強化学習は、ITパスポート・基本情報技術者・応用情報技術者で出題されるテーマです。
機械学習の3分類（教師あり・教師なし・強化学習）を問う問題の選択肢として繰り返し登場しており、それぞれの特徴を正確に区別できるかが問われます。
詳細をクリックして確認
ITパスポート
基本情報技術者
応用情報技術者
★★★★☆
ランクA（重要）必ず覚えておくべき
用語の定義
情報処理試験を勉強していると、「強化学習って教師あり学習とどう違うの？」「報酬って何？」と混乱しがちです。
強化学習（Reinforcement Learning）とは、一言で言うと
「正解データを与えず、行動に対する報酬（得点）を手がかりに、最適な行動を自ら学ぶ機械学習の手法」
のことです。
イメージとしては、「ゲームを攻略するプレイヤー」です。
攻略本（正解データ）は渡されません。
自分でボタンを押してみて、スコアが上がったら「この操作は良かった」と判断し、ゲームオーバーになったら「この操作はダメだった」と判断する。この試行錯誤の繰り返しでハイスコアを目指すのが強化学習の考え方です。
📊 強化学習の基本情報
| 項目 | 内容 |
|---|---|
| 英語名 | Reinforcement Learning |
| 分類 | 機械学習の手法の一つ（教師あり学習・教師なし学習と並ぶ3分類） |
| 訓練データの特徴 | 正解ラベルなし。行動に対する報酬（スコア）を使う |
| 代表的な応用例 | 囲碁AI（AlphaGo）、ロボット制御、自動運転 |
解説
機械学習には「教師あり学習」「教師なし学習」「強化学習」の3つの手法があります。
この3つは「学習時に何を手がかりにするか」で区別します。
3つの学習手法の違い
教師あり学習は「問題と正解のセット」を大量に渡して学ばせる方法、
教師なし学習は「正解なしのデータ」だけを渡してデータの構造やグループを自力で発見させる方法です。
これらに対し、強化学習は「行動の結果に対するスコア」だけを頼りに最善手を探索させます。
| 学習手法 | 手がかり | 具体例 | 代表手法 |
|---|---|---|---|
| 教師あり学習 | 正解ラベル付きデータ | 泣き声＋原因のペアから原因を推測 | 分類、回帰分析 |
| 教師なし学習 | ラベルなしデータ | 顧客データを類似度で自動グループ化 | クラスタリング |
| 強化学習 | 行動に対する報酬（得点） | ロボットが試行錯誤で盛り付け動作を習得 | Q学習、方策勾配法 |
強化学習の仕組み ― エージェントと環境
強化学習では、学習する主体を「エージェント」、エージェントが置かれた世界を「環境」と呼びます。エージェントは環境に対して行動を起こし、環境から「状態」と「報酬」を受け取ります。このサイクルを大量に繰り返し、累積報酬が最大になる行動パターン（方策）を獲得するのがゴールです。
強化学習の基本サイクル
行動（Action）
報酬 + 状態
▲ エージェントが行動 → 環境が報酬と次の状態を返す → これを繰り返して最適な方策を獲得
試験で問われる具体例
IPA試験の過去問では、強化学習の具体例として以下のようなシナリオが登場しています。
| シナリオ | なぜ強化学習か |
|---|---|
| ロボットが試行錯誤で弁当の盛り付けを習得する | 正解の動作を教えず、結果の善し悪し（報酬）だけで学習している |
| 学習目標として「成功」の報酬を設定し、何が成功かをシステムに判断させる | 正解ラベルではなく報酬信号を手がかりにしている |
では、この用語が試験でどのように出題されるか見ていきましょう。
💡 強化学習の核心を3行で
・正解データではなく「報酬（得点）」を手がかりに、試行錯誤で最適な行動を学ぶ手法
・エージェントが環境に行動を起こし、報酬と状態を受け取るサイクルを繰り返す
・教師あり学習（正解ラベル付き）・教師なし学習（ラベルなし）との3分類で整理する
試験ではこう出る！
強化学習は、IP・FE・APの全試験区分で、機械学習の3分類を区別させる問題の選択肢として繰り返し出題されています。
「強化学習そのものを答えさせる問題」よりも、「教師あり学習や教師なし学習を問う問題の中で、強化学習がひっかけ選択肢として登場する」パターンが圧倒的に多い点がポイントです。
📊 過去問での出題実績
| 試験回 | 出題内容 | 強化学習の扱い |
|---|---|---|
| IP R4 問24 |
教師あり学習の事例を選ぶ問題 | 選択肢ウ「ロボットが試行錯誤で盛り付けを習得」が強化学習のひっかけ |
| IP R6 問65 |
機械学習の学習方法の穴埋め問題 | 分類・回帰・クラスタリングの穴埋め。解説で3分類の知識が前提 |
| FE H31春 科目A 問4 |
教師あり学習の説明を選ぶ問題 | 選択肢ア「行動に対して得点を与えて方策を学習」が強化学習のひっかけ |
| AP R1秋 午前 問4 |
教師なし学習で用いられる手法を選ぶ問題 | 解説で3分類の定義が示され、強化学習の正確な理解が必要 |
| AP R4秋 午前 問4 |
過学習の説明を選ぶ問題 | 選択肢エ「報酬を与えて成功を判断」が強化学習のひっかけ |
📝 IPA試験での出題パターン
パターン1：「教師あり学習（または教師なし学習）の説明を選べ」
4つの選択肢に教師あり・教師なし・強化学習・別概念の説明が並ぶ。「報酬」「得点」「試行錯誤」というキーワードが含まれる選択肢は強化学習なので、教師あり学習の正解としては選ばない。
パターン2：「○○の説明を選べ」で強化学習が紛れ込む
過学習や転移学習など別のAI用語を問う問題で、強化学習の説明がダミー選択肢として登場する。キーワード「報酬」で即座に除外できる。
ここだけは確実に押さえてください。「報酬」「得点」「試行錯誤」が出たら強化学習。これだけで選択肢の正誤判定が即座にできます。Q学習や方策勾配法といったアルゴリズム名まで問われることはないので、深追いは不要です。
【確認テスト】理解度チェック
ここまでの内容を理解できたか、簡単なクイズで確認してみましょう。
Q. 機械学習の学習手法のうち、「正解データを与えず、行動に対する報酬を手がかりに最適な行動を自律的に学習する手法」はどれでしょうか？
- A. 入力データに正解ラベルを付与し、入力と出力の対応関係をモデルに学習させる手法。
- B. 正解ラベルのないデータからデータ同士の類似度を基にグループ構造を自動的に発見する手法。
- C. 正解データを与えず、環境における行動に対して報酬を与え、累積報酬が最大となる行動パターンを自律的に獲得する手法。
正解と解説を見る
正解：C
解説：
強化学習は、エージェントが環境から受け取る報酬を最大化するように行動パターンを獲得する手法です。正解ラベルは使わず、行動結果の良し悪しだけが学習の手がかりになります。
選択肢Aは教師あり学習の説明です。正解ラベル付きデータを使う点が強化学習と異なります。選択肢Bは教師なし学習（クラスタリング）の説明です。報酬の概念がなく、データの構造発見が目的である点が強化学習と異なります。
よくある質問（FAQ）
Q. 強化学習とディープラーニング（深層学習）は別物ですか？
別物です。ディープラーニングは「多層のニューラルネットワークを使った学習の仕組み」であり、学習手法そのものの分類（教師あり・教師なし・強化学習）とは軸が異なります。ただし、強化学習にディープラーニングを組み合わせた「深層強化学習（Deep Reinforcement Learning）」という手法があり、囲碁AI「AlphaGo」はこの代表例です。IPA試験ではこの区別まで問われることは稀ですが、整理しておくと選択肢の切り分けに役立ちます。
Q. 強化学習の「報酬」は誰が設計するのですか？
報酬関数は人間が設計します。「ゴールに到達したら+10点」「壁にぶつかったら-1点」のように、何を良い行動とするかのルールは開発者が事前に定義します。エージェントが自ら報酬の基準を決めるわけではありません。この点は「正解データを人間が用意する教師あり学習」と構造が似ていますが、強化学習では個々の入力に対する正解の出力を逐一示すのではなく、行動全体の結果に対して点数だけを返す点が異なります。
Q. 実務で強化学習が使われている場面はありますか？
あります。代表的なのはロボットの動作制御、ゲームAI、広告配信の最適化、データセンターの空調制御などです。Googleはデータセンターの冷却にかかる電力を強化学習で約40%削減した実績があります。ただし、試行錯誤に膨大な回数が必要なため、失敗コストが大きい医療や航空の分野ではシミュレーション環境で学習させてから実環境に適用するのが一般的です。
Q. 「半教師あり学習」や「自己教師あり学習」との違いは？
半教師あり学習は、少量のラベル付きデータと大量のラベルなしデータを組み合わせて学習する手法で、教師あり学習と教師なし学習のハイブリッドです。自己教師あり学習は、データ自体から擬似的なラベルを生成して学習する手法で、大規模言語モデルの事前学習に使われています。いずれも強化学習とは異なり、報酬信号を使いません。IPA試験の範囲ではこの2つが直接問われる可能性は低いですが、機械学習の全体像を把握しておくと応用力が上がります。
