繁體中文
選單

監督式學習、非監督式學習與強化學習的差異：資料、正確答案的給法、目的、方法與例子比較

機器學習依從資料學習時以什麼為線索，大致可分為三類。監督式學習給予輸入與正確答案（標籤）的組合，學習從輸入預測正確答案的模型。非監督式學習只從沒有正確答案的資料中，找出相似事物的群集，或以較少變數表示資料的結構。強化學習則是由代理人（學習的主體）在環境中選擇行動，透過反覆試誤，學習能讓所得獎勵總和變大的行動選擇方式（策略）。能準備正確答案並想進行預測時用監督式學習，沒有正確答案而想了解資料的結構時用非監督式學習，想從結果學習一連串行動的好壞時用強化學習，是基本的使用原則。

項目監督式學習非監督式學習強化學習
學習使用的資料輸入與正確答案（標籤）的組合只有沒有正確答案的輸入資料與環境互動所得的狀態、行動、獎勵的記錄。不是事先準備，而是一邊行動一邊收集
正確答案的給法每個輸入都給予正確的輸出不給予不給予每個行動的正確答案。只有稱為獎勵的好壞評價，且常延遲才得到
學習的目的對新的輸入正確預測輸出找出資料中的群集或結構找出能讓未來所得獎勵總和變大的策略
主要課題迴歸（預測數值）與分類（預測類別）分群、降維、異常偵測一連串行動的選擇方式（機器的控制、遊戲的走法、順序的決定等）
代表性方法線性迴歸、邏輯斯迴歸、決策樹、支援向量機、神經網路k-平均演算法、階層式分群、主成分分析（PCA）Q學習、策略梯度法
評估方式以預留的測試資料，使用正確率、精確率與召回率、均方誤差等與正確答案比較來評估因為沒有正確答案而不易評估。以表示群集好壞的指標，或人看了是否有意義來判斷以得到的獎勵總和（累積獎勵）評估
困難之處準備正確標籤需要工夫與費用。需注意過擬合不易判斷結果的好壞，找到的群集代表什麼需由人解讀容易需要大量試誤。以實物嘗試的危險與費用很大，因此多使用模擬。獎勵的設計也很困難
應用例子垃圾郵件判定、影像辨識、需求與價格預測、設備故障預測顧客分群、資料視覺化與學習前處理、偵測不法交易與設備異常圍棋等遊戲、機器人控制、讓語言模型的輸出符合人類評價的調整

數值為具代表性的大致參考值，會因世代或產品而異。

適用於什麼情況

監督式學習
過去的資料記錄了正確答案（結果），想對新資料預測相同的事物時。實務上使用的機器學習大多屬於此類。
非監督式學習
想從沒有正確標籤，或難以準備標籤的資料中找出群集或趨勢時。也會把降維當作監督式學習的前處理使用。
強化學習
難以逐一給出正確答案，但能評估行動結果好壞時。用於需要考慮好幾步之後的結果，以決定一連串行動的問題。

常見問題

異常偵測屬於監督式學習還是非監督式學習？

依資料而定，兩者都有可能。學習正常資料的傾向，把大幅偏離者視為異常時，不使用異常的正確標籤，屬於非監督式學習的方法。若異常的例子也有標籤且數量足夠，就能當作監督式學習的分類處理。實際上異常的例子往往非常少，因此非監督式學習的方法較常使用。

半監督式學習與自監督式學習是什麼？

半監督式學習是組合少量有標籤的資料與大量無標籤的資料來學習的方法。自監督式學習則像遮住文章的一部分讓模型猜出來那樣，從資料本身產生正確答案來學習，用於大型語言模型的預訓練等。兩者都是為了減少準備標籤的工夫，介於監督式學習與非監督式學習之間的方法。

強化學習與監督式學習最大的差異是什麼？

在監督式學習中，每個輸入都會給予正確的輸出，模型學習縮小與它的差距。在強化學習中，不會給予每個行動的正確答案，唯一的線索是稱為獎勵的評價。而且獎勵常在一連串行動之後才一起得到，必須自行判斷哪些行動是好的。學習使用的資料由自己的行動收集，這點也不同。

理解度檢測

下列監督式學習的任務中，屬於迴歸的是何者？

  1. A由電子郵件的內文判斷該郵件是否為垃圾郵件
  2. B辨識手寫數字的影像是0〜9中的哪一個數字
  3. C由坪數、到車站的距離等預測房屋的價格
查看答案與解析

正確答案：C. 由坪數、到車站的距離等預測房屋的價格

監督式學習是使用輸入與正確答案（標籤）的配對，訓練由輸入預測輸出之模型的方法。預測的輸出為連續數值時稱為迴歸，為固定幾個類別之一時稱為分類。房屋價格是連續數值，因此屬於迴歸。垃圾郵件判斷是二元分類，手寫數字辨識是10個類別的分類。

下列何者屬於非監督式學習？

  1. A只根據購買紀錄，把購買方式相似的顧客分成幾個群組
  2. B以過去是否發生故障的紀錄作為正確答案，由設備的感測器數值預測故障
  3. C學習遊戲中行動的選擇方式，使透過反覆試誤得到的獎勵變大
查看答案與解析

正確答案：A. 只根據購買紀錄，把購買方式相似的顧客分成幾個群組

非監督式學習是從沒有正確答案標籤的資料中，找出資料內部的群聚或結構的方法。代表性的例子有將相似資料分成群組的分群，以及用較少變數表示資料的降維。使用是否故障這個正確答案來預測的是監督式學習，以獎勵為線索學習行動的是強化學習。

下列關於強化學習的敘述，何者適當？

  1. A給予大量輸入與正確答案的配對，以使預測與正確答案之差變小的方式，學習由輸入預測正確答案的函數
  2. B代理人在環境中行動，學習能使所得獎勵總和變大的行動選擇方式（策略）
  3. C將沒有正確答案的資料，分成幾個群組，使特徵相似者被分到同一群組
查看答案與解析

正確答案：B. 代理人在環境中行動，學習能使所得獎勵總和變大的行動選擇方式（策略）

在強化學習中，學習的主體（代理人）觀察環境的狀態並選擇行動，並因此獲得獎勵。不會為每個行動提供正確答案，而是透過反覆試誤，學習能使未來所得獎勵總和變大的策略。用於圍棋等遊戲、機器人控制，以及讓語言模型的輸出符合人類評價的調整等。

  1. 下列關於以k-平均演算法（k-means）進行分群的步驟，何者適當？
  2. 下列關於主成分分析（PCA）的敘述，何者適當？

前往機器學習基礎的練習題

相關名詞的解說

監督式學習（Supervised learning）
使用由輸入與正確答案（標籤）成對組成的資料，訓練能由輸入預測正確答案之模型的機器學習方法。預測的輸出為連續數值時稱為迴歸，為固定幾個類別之一時稱為分類。常用的模型有線性迴歸、邏輯斯迴歸、決策樹、支援向量機與神經網路等。準備標籤往往需要相當多的人力。
非監督式學習（Unsupervised learning）
從沒有正確答案標籤的資料中，找出資料內部的群聚或結構的機器學習方法。用於將相似資料分成群組的分群（k-平均演算法等）、以較少變數表示資料的降維（主成分分析等），以及找出與其他資料差異很大之資料的異常偵測等。不需要準備標籤，但較難評估結果的好壞。
強化學習（Reinforcement learning）
代理人（學習的主體）觀察環境的狀態並選擇行動，透過反覆試誤，學習能使所得獎勵總和（包含未來的獎勵）變大的行動選擇方式（策略）的機器學習方法。不會為每個行動提供正確答案，獎勵也常常延遲才得到。用於遊戲、機器人控制，以及讓語言模型的輸出符合人類評價的調整等。
k-平均演算法（k-means clustering）
將資料分成事先決定之k個群集的代表性分群方法。先暫定k個中心，然後反覆進行「將各筆資料分配到最近中心的群集」與「以各群集資料的平均作為新中心」，直到分配不再改變為止。計算簡單、也能用於大量資料，但結果受初始值影響、必須自行決定k，且難以分開非球狀的群聚。
主成分分析（PCA）
以盡量不失去資訊的方式，用較少的變數表示具有許多變數之資料的降維方法。以資料變異數最大的方向為第1主成分，與其正交的方向中變異數最大者為第2主成分，依序求出，並只用前幾個主成分表示資料。數學上相當於求資料共變異數矩陣的特徵向量。用於資料視覺化、去除雜訊與訓練前的前處理等。
過擬合（Overfitting）
模型連訓練資料中的細微特徵與偶然的雜訊都記住，使得在訓練資料上的誤差很小，但對新資料的誤差（泛化誤差）卻很大的狀態。以少量資料訓練參數眾多的複雜模型時容易發生。可透過增加資料、簡化模型、正規化（regularization）、丟棄法（dropout）、提前停止等方法加以抑制。
精確率與召回率（Precision and recall）
二元分類模型的評估指標。精確率（precision）是預測為陽性者中實際為陽性的比例 TP ÷ (TP + FP)，召回率（recall）是實際為陽性者中被預測為陽性的比例 TP ÷ (TP + FN)。一般而言，改變判定的閾值時，一方上升另一方就會下降。兩者的調和平均 2PR ÷ (P + R) 稱為F1分數。

相關的比較