AI 하드웨어·소프트웨어 스택
AI 계산에서 사용되는 '연산 융합(오퍼레이터 퓨전)'의 주된 목적은 무엇인가?
- A여러 연산을 하나의 커널로 묶어, 중간 결과를 메모리에 쓰고 다시 읽는 수고를 없앤다
- B두 AI 모델을 하나로 합쳐 답의 정확도를 높인다
- C연산기를 물리적으로 녹여서 연결한다
정답과 해설 보기
정답: A. 여러 연산을 하나의 커널로 묶어, 중간 결과를 메모리에 쓰고 다시 읽는 수고를 없앤다
행렬 곱 뒤에 바이어스 덧셈, 활성화 함수, 정규화 등의 요소별 연산이 이어지는 경우가 많습니다. 이를 별개의 커널로 수행하면 매번 중간 결과를 메모리에 쓰고 다음 커널에서 다시 읽으므로, 계산보다 메모리 읽기/쓰기에 시간이 걸립니다. 하나의 커널로 묶으면 중간 결과를 레지스터나 칩 위의 메모리에 둔 채로 이어서 계산할 수 있습니다.
- A. 정답입니다. 메모리 율속인 연산에서 특히 효과가 있습니다.
- B. 모델을 합치는 이야기가 아닙니다.
- C. 물리적인 가공이 아닙니다.