機械学習の基礎
大規模言語モデル(LLM)が文章を処理するしくみの説明として、適切なものはどれか。
- A文章を1文字ずつの文字コードに変換し、文字コードの数値が近い文字どうしを意味が近いものとして扱って、次の文字を予測する
- B文章をトークン(単語や単語の一部などの単位)に分け、各トークンを埋め込みベクトルに変換して処理し、次に来るトークンの確率を予測する
- C文章の単語をすべて辞書の見出し語に置き換えて処理するので、辞書にない単語や新しい言葉を含む文章は処理できない
答えと解説を見る
正解：B. 文章をトークン(単語や単語の一部などの単位)に分け、各トークンを埋め込みベクトルに変換して処理し、次に来るトークンの確率を予測する
LLMは、文章をトークンと呼ぶ単位に分けて扱います。トークンは単語そのものとは限らず、よく出る語は1つのトークンに、まれな語はいくつかの部分に分けられるので、辞書にない語も扱えます。各トークンは学習で得た埋め込みベクトルに変換され、意味や使われ方の近いトークンほど近いベクトルになります。モデルはそれまでのトークンから次のトークンの確率を予測し、選んだトークンを付け足すことを繰り返して文章を生成します。
- A. 文字コードの数値の大小は意味と関係がないので、学習で得た埋め込みベクトルを使います。
- B. 正しい。トークンに分けて埋め込みベクトルにし、次のトークンを予測します。
- C. 語を単語の一部などのトークンに分けられるので、辞書にない語も扱えます。