머신러닝의 기초
대규모 언어 모델(LLM)이 문장을 처리하는 구조에 대한 설명으로 적절한 것은?
- A문장을 한 글자씩 문자 코드로 변환하고, 문자 코드의 수치가 가까운 문자끼리를 의미가 가까운 것으로 다루어 다음 글자를 예측한다
- B문장을 토큰(단어나 단어의 일부 등의 단위)으로 나누고, 각 토큰을 임베딩 벡터로 변환하여 처리하며, 다음에 올 토큰의 확률을 예측한다
- C문장의 단어를 모두 사전의 표제어로 바꾸어 처리하므로, 사전에 없는 단어나 새로운 말을 포함하는 문장은 처리할 수 없다
정답과 해설 보기
정답: B. 문장을 토큰(단어나 단어의 일부 등의 단위)으로 나누고, 각 토큰을 임베딩 벡터로 변환하여 처리하며, 다음에 올 토큰의 확률을 예측한다
LLM은 문장을 토큰이라고 부르는 단위로 나누어 다룹니다. 토큰이 꼭 단어 그 자체인 것은 아니며, 자주 나오는 말은 하나의 토큰으로, 드문 말은 몇 개의 부분으로 나뉘므로 사전에 없는 말도 다룰 수 있습니다. 각 토큰은 학습으로 얻은 임베딩 벡터로 변환되며, 의미나 쓰임새가 가까운 토큰일수록 가까운 벡터가 됩니다. 모델은 그때까지의 토큰으로부터 다음 토큰의 확률을 예측하고, 고른 토큰을 덧붙이는 것을 반복하여 문장을 생성합니다.