什麼是結構化稀疏（Structured sparsity）
將權重的 0 排列成固定形式的稀疏。例如每 4 個權重中有 2 個為 0 的 2:4 稀疏，在矩陣運算單元上可加速約 2 倍。
日文名稱: 構造化スパース
這個名詞所屬的領域: AI硬體與軟體堆疊
相關名詞
反向傳播（Backpropagation） 全歸約（All-reduce） 批次大小（Batch size） 注意力機制（Attention mechanism） 知識蒸餾（Knowledge distillation） 計算圖（Computational graph） 訓練後量化（Post-training quantization） 剪枝（Pruning） 張量平行（Tensor parallelism） 推測式解碼（Speculative decoding）