AI 하드웨어·소프트웨어 스택
추천 시스템 모델 등에서 사용되는 큰 임베딩 테이블의 조회가 AI 하드웨어에서 다루기 어려운 이유로 올바른 것은 무엇인가?
- A조회에는 매우 많은 곱셈이 필요하기 때문
- B임베딩 테이블은 작아서 칩 위에 반드시 들어가기 때문
- C계산은 거의 없고 거대한 테이블의 제각각인 위치를 읽으므로 행렬 연산기를 활용할 수 없고, 메모리 용량과 대역폭 및 지연으로 속도가 결정되기 때문
정답과 해설 보기
정답: C. 계산은 거의 없고 거대한 테이블의 제각각인 위치를 읽으므로 행렬 연산기를 활용할 수 없고, 메모리 용량과 대역폭 및 지연으로 속도가 결정되기 때문
추천 시스템에서는 사용자나 상품 등의 ID마다 벡터를 가지는 테이블이 수백 GB에 이르기도 하며, 입력마다 테이블의 제각각인 행을 읽어 내어 더합니다. 계산은 거의 없고 읽기는 불규칙해서 코얼레스드 접근도 캐시도 효과가 적으므로, 행렬 곱에 강한 가속기가 잘하는 형태와는 크게 다릅니다. 테이블을 다수의 GPU나 CPU 메모리에 나누어 두어 메모리 용량과 대역폭을 확보하는 방법이 필요합니다.
- A. 조회는 읽기가 중심이고 곱셈은 미미합니다.
- B. 수백 GB에 이르러 칩에는 들어가지 않습니다.
- C. 정답입니다. 연산기가 아니라 메모리 구조가 관건입니다.