什麼是資訊量
得知機率為p的事件發生時所獲得之資訊的大小。以 I = −log₂ p 表示，單位為位元。越不容易發生的事件越大，必定發生的事件（p = 1）為0。機率1/2的事件為1位元，機率1/1024的事件為10位元。兩個獨立事件都發生時的資訊量，等於各自資訊量的和。把資訊源每個符號的資訊量以機率加以平均，就是熵。也稱為自資訊。
日文名稱: 情報量
「資訊量」出現在1領域的5道練習題中（資訊理論與編碼基礎等）。
這個名詞所屬的領域: 資訊理論與編碼基礎
練習資訊量的題目
設事件的機率為p時，得知該事件發生所獲得的資訊量為 −log₂ p 位元。得知機率為1/8的事件發生時，所獲得的資訊量為下列何者？
- A0.125位元
- B0.375位元
- C3位元
查看答案與解析
正確答案：C. 3位元
資訊量為 −log₂(1/8) = log₂ 8 = 3 位元。因為 1/8 = 1/2³，相當於把得知機率1/2的「二選一」結果這件事重複3次的資訊量。越不容易發生的事件，得知它發生時的資訊量越大。
關於資訊量（得知機率為p的事件發生時的 −log₂ p）的性質，下列何者正確？
- A得知機率為1、必定發生的事件發生時，資訊量為1位元
- B得知兩個獨立事件都發生時，資訊量等於各自資訊量的和
- C發生機率越高的事件，得知它發生時的資訊量越大
查看答案與解析
正確答案：B. 得知兩個獨立事件都發生時，資訊量等於各自資訊量的和
兩個獨立事件都發生的機率為 p₁ × p₂，因此資訊量為 −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂)，等於各自資訊量的和。以對數定義資訊量，正是為了讓它具有這種可相加的性質。必定發生的事件即使被告知也得不到新的訊息，因此資訊量為 −log₂ 1 = 0。
解析中的「資訊量」
資訊量為 −log₂(1/8) = log₂ 8 = 3 位元。
設事件的機率為p時，得知該事件發生所獲得的資訊量為 −log₂ p 位元。得知機率為1/8的事件發生時，所獲得的資訊量…兩個獨立事件都發生的機率為 p₁ × p₂，因此資訊量為 −log₂(p₁ × p₂) = (−log₂ p₁) + (−log₂ p₂)，等於各自資訊量的和。
關於資訊量（得知機率為p的事件發生時的 −log₂ p）的性質，下列何者正確？熵是把各符號的資訊量 −log₂ p 以機率加權後的平均，即 H = Σ(−p log₂ p)。
某資訊源分別以機率1/2、1/4、1/8、1/8彼此獨立地輸出符號A、B、C、D。此資訊源的熵（每個符號的平均資訊量）…冗餘度表示因符號機率的偏差等原因，與最大資訊量相比有多少浪費。
某輸出8種符號之資訊源的熵為2.4位元。若冗餘度定義為 1 −（熵 ÷ 最大熵），此資訊源的冗餘度為下列何者？在通訊中，若X為送出的符號、Y為收到的符號，I(X;Y) 就相當於每次傳輸實際傳達的資訊量。
關於兩個隨機變數X、Y的條件熵 H(X|Y) 與互資訊 I(X;Y)，下列說明何者正確？
出現「資訊量」的題目（5題）
相關名詞
資訊熵 無失真壓縮 互資訊 二元對稱通道 平均碼長 同位位元 有失真壓縮 行程長度編碼（RLE） 克拉夫特不等式 前向錯誤更正（FEC）