INT8란?
いんとはち
8ビットの符号付き整数(−128〜127)。AIの推論で、重みや活性化の値をスケールを掛けてINT8に変換(量子化)すると、計算とメモリが大きく減り、整数の小さな回路で高速に処理できる。
일본어 명칭: INT8
INT8은(는) AI 하드웨어·소프트웨어 스택 등 1개 분야의 연습 문제 2개에 나와요.
분야: 컴퓨터 산술
도전해 보기: INT8 관련 문제
활성화를 INT8로 양자화하는 학습 후 양자화에서 수행하는 '캘리브레이션'의 목적으로 올바른 것은 무엇인가?
- A대표적인 입력 데이터를 흘려 보내 각 층의 활성화 값의 범위를 조사하고 양자화 스케일을 정한다
- BGPU 클럭의 진행을 정확하게 맞춘다
- C화면의 색 표현을 조정한다
정답과 해설 보기
정답: A. 대표적인 입력 데이터를 흘려 보내 각 층의 활성화 값의 범위를 조사하고 양자화 스케일을 정한다
가중치는 학습이 끝나면 값이 정해져 있지만, 활성화 값은 입력에 따라 달라집니다. 그래서 실제 사용에 가까운 입력을 수백 건 정도 흘려 보내 각 층의 활성화가 취하는 값의 범위와 분포를 조사하고, 어느 범위를 INT8의 -127~127에 대응시킬지(스케일)를 정합니다. 최댓값에 맞추면 이상치 때문에 세밀함이 사라지므로, 분포의 대부분이 들어가도록 범위를 조금 좁히기도 합니다.
해설 속 INT8
그래서 실제 사용에 가까운 입력을 수백 건 정도 흘려 보내 각 층의 활성화가 취하는 값의 범위와 분포를 조사하고, 어느 범위를 INT8의 -127~127에 대응시킬지(스케일)를 정합니다.
활성화를 INT8로 양자화하는 학습 후 양자화에서 수행하는 '캘리브레이션'의 목적으로 올바른 것은 무엇인가?TOPS(초당 조 회의 연산)는 모든 연산기가 쉬지 않고 동작했을 때의 이론상 값으로, 대부분 INT8이나 그보다 낮은 정밀도로 세며 스파스를 사용한 경우의 값일 때도 있습니다.
AI 가속기의 성능으로 제시되는 '○○ TOPS'라는 값에 대해 주의할 점으로 올바른 것은 무엇인가?