機器學習基礎
下列關於大型語言模型（LLM）處理文章之方式的敘述，何者適當？
- A把文章一個字一個字轉換為字元碼，將字元碼數值相近的字視為意義相近，並預測下一個字
- B把文章切分為詞元（token，單字或單字的一部分等單位），將各詞元轉換為嵌入向量來處理，並預測下一個詞元的機率
- C把文章中的單字全部替換成字典的詞條後再處理，因此無法處理含有字典中沒有的單字或新詞的文章
查看答案與解析
正確答案：B. 把文章切分為詞元（token，單字或單字的一部分等單位），將各詞元轉換為嵌入向量來處理，並預測下一個詞元的機率
LLM把文章切分為稱為詞元（token）的單位來處理。詞元不一定是完整的單字，常見的詞為一個詞元，罕見的詞則切分為幾個部分，因此字典中沒有的詞也能處理。各詞元會轉換為透過訓練得到的嵌入向量，意義或用法相近的詞元，向量也會相近。模型由目前為止的詞元預測下一個詞元的機率，並反覆附加選出的詞元來生成文章。
- A. 字元碼數值的大小與意義無關，因此使用透過訓練得到的嵌入向量。
- B. 正確。切分為詞元並轉為嵌入向量，再預測下一個詞元。
- C. 詞可以切分為單字的一部分等詞元，因此字典中沒有的詞也能處理。