NPU(ニューラルプロセッシングユニット)란?
えぬぴーゆー
AIのニューラルネットワークの推論処理を、高速かつ低い消費電力で行うための専用回路。スマートフォンやパソコンのSoCに搭載されている。
일본어 명칭: NPU(ニューラルプロセッシングユニット)
NPU(ニューラルプロセッシングユニット)은(는) AI 하드웨어·소프트웨어 스택, CPU와 아키텍처 등 2개 분야의 연습 문제 6개에 나와요.
분야: CPU와 아키텍처
도전해 보기: NPU(ニューラルプロセッシングユニット) 관련 문제
스마트폰 SoC에 탑재되는 NPU가 AI 추론에서 CPU보다 전력 효율이 높은 주된 이유는 무엇인가?
- ANPU는 전기를 쓰지 않고 빛으로 계산하기 때문
- BINT8 등 낮은 정밀도의 곱셈-덧셈 연산기를 다수 배치하고 AI 계산에 필요 없는 범용 회로를 생략했기 때문
- CNPU는 CPU보다 반드시 높은 클럭으로 동작하기 때문
정답과 해설 보기
정답: B. INT8 등 낮은 정밀도의 곱셈-덧셈 연산기를 다수 배치하고 AI 계산에 필요 없는 범용 회로를 생략했기 때문
CPU는 무엇이든 실행할 수 있도록 분기 예측이나 명령 재배열 등 명령마다 많은 회로를 동작시킵니다. NPU는 행렬의 곱셈-덧셈에 특화되어 낮은 정밀도의 연산기를 다수 배치하고 데이터를 칩 안에서 재사용하도록 만들어져 있으므로, 연산 1회에 드는 에너지가 자릿수 단위로 작아집니다. 그 대신 AI 이외의 처리나 지원하지 않는 연산에는 맞지 않습니다.
해설 속 NPU(ニューラルプロセッシングユニット)
NPU는 행렬의 곱셈-덧셈에 특화되어 낮은 정밀도의 연산기를 다수 배치하고 데이터를 칩 안에서 재사용하도록 만들어져 있으므로, 연산 1회에 드는 에너지가 자릿수 단위로 작아집니다.
스마트폰 SoC에 탑재되는 NPU가 AI 추론에서 CPU보다 전력 효율이 높은 주된 이유는 무엇인가?NPU는 신경망 계산의 대부분을 차지하는 곱셈-누산 연산을 8비트 이하의 정수 등 낮은 정밀도로 대량 병렬 처리하는 전용 회로입니다.
AI 추론 처리를 고속·저전력으로 수행하기 위해 스마트폰용 SoC 등에 탑재되는 전용 회로는?AI 컴파일러는 모델을 연산과 데이터 흐름의 계산 그래프로 받아, 묶을 수 있는 연산의 융합, 불필요한 계산의 삭제, 메모리 배치의 선택, 타일 크기의 조정 등을 수행하고 GPU나 NPU 등 대상에 맞는 커널을 만듭니다.
XLA, TVM, PyTorch의 컴파일 기능과 같은 AI 컴파일러가 수행하는 주된 처리로 올바른 것은 무…추론 런타임은 모델을 읽어 들인 뒤 추론에 불필요한 부분을 제거하고, 연산을 융합하며, 필요에 따라 가중치나 활성화를 낮은 정밀도로 바꾸고, 대상 GPU나 NPU에서 가장 빠른 커널을 선택합니다.
TensorRT나 ONNX Runtime 같은 추론 런타임이 학습용 프레임워크로 그대로 추론하는 것보다 빠…양자화나 작은 모델로의 증류, NPU와 같은 전력 효율이 높은 전용 회로를 사용하여 제약 안에서 구동합니다.
AI 추론을 클라우드 서버가 아니라 스마트폰 같은 단말 안(엣지)에서 수행할 때의 이점으로 해당하지 않는 …
NPU(ニューラルプロセッシングユニット)이(가) 나오는 문제 (6)
- 스마트폰 SoC에 탑재되는 NPU가 AI 추론에서 CPU보다 전력 효율이 높은 주된 이유는 무엇인가?
- AI 추론 처리를 고속·저전력으로 수행하기 위해 스마트폰용 SoC 등에 탑재되는 전용 회로는?
- XLA, TVM, PyTorch의 컴파일 기능과 같은 AI 컴파일러가 수행하는 주된 처리로 올바른 것은 무엇인가?
- TensorRT나 ONNX Runtime 같은 추론 런타임이 학습용 프레임워크로 그대로 추론하는 것보다 빠를 수 있는 주된 이유는 무엇인가?
- AI 추론을 클라우드 서버가 아니라 스마트폰 같은 단말 안(엣지)에서 수행할 때의 이점으로 해당하지 않는 것은 무엇인가?
- AI 소프트웨어 스택을 사용자에 가까운 위쪽 층에서 하드웨어에 가까운 아래쪽 층으로 나열한 것으로 올바른 것은 무엇인가?
관련 용어
GPU SoC(システムオンチップ) TOPS ONNX 仮想記憶 命令セットアーキテクチャ(ISA) 分岐予測 割り込み DMA(ダイレクトメモリアクセス) DVFS(動的電圧・周波数制御)