信息熵的計算方法

⑴ 請問一幅圖像的信息熵怎麼計算信息熵越大越好分類，還是越小越好分類

公式正確，熵最大時的閾值可以進行閾值分割。詳見最大熵閾值分割。

⑵ 急求助：香農（信息）熵的計算~

1948 年，香農提出了「信息熵」 的概念，所以叫香農熵。
香農不是用錢，而是用 「比特」（bit）這個概念來度量信息量。 一個比特是一位二進制數，計算機中的一個位元組是八個比特。在上面的例子中，這條消息的信息量是五比特。 信息量的比特數和所有可能情況的對數函數 log 有關。 (log32=5, log64=6。）
對於任意一個隨機變數 X，它的熵定義如下：
變數的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。
有了「熵」這個概念，我們就可以回答本文開始提出的問題，即一本五十萬字的中文書平均有多少信息量。我們知道常用的漢字（一級二級國標）大約有 7000 字。假如每個字等概率，那麼我們大約需要 13 個比特（即 13 位二進制數）表示一個漢字。但漢字的使用是不平衡的。實際上，前 10% 的漢字占文本的 95% 以上。因此，即使不考慮上下文的相關性，而只考慮每個漢字的獨立的概率，那麼，每個漢字的信息熵大約也只有 8-9 個比特。如果我們再考慮上下文相關性，每個漢字的信息熵只有5比特左右。所以，一本五十萬字的中文書，信息量大約是 250 萬比特。如果用一個好的演算法壓縮一下，整本書可以存成一個 320KB 的文件。如果我們直接用兩位元組的國標編碼存儲這本書，大約需要 1MB 大小，是壓縮文件的三倍。這兩個數量的差距，在資訊理論中稱作「冗餘度」（rendancy)。 需要指出的是我們這里講的 250 萬比特是個平均數，同樣長度的書，所含的信息量可以差很多。如果一本書重復的內容很多，它的信息量就小，冗餘度就大。

⑶ 信息熵 計算 等比數列 等比數列 {1/2,1/4,1/8,……}的信息熵是多少

信息熵公式：H(X)=-∑P(X)log(2)[P(X)] log(2) 表示以2為底的對數
按題意 P(X)=a（n）=（1/2）^n
所以 H(X)=H(n)=-∑（1/2）^n*log(2)( 1/2)^n=∑n（1/2）^n ①
下面用錯位相乘法求H(X)
等式兩邊同乘以1/2 得到 ½*H(n)=1/2*∑n（1/2）^n =∑n（1/2）^（n+1） ②
① –② 得到1/2*H（n）=[∑（1/2）^n]-n(1/2)^( n+1)=1-(1/2)^n-n(1/2)^(n+1)
得到 H(n)=2-(1/2)^(n-1)-n(1/2)^n
若為無窮數列,令n→∞,H(n)→2

⑷ 信息熵是什麼

信息是一個非常抽象的概念。人們經常說很多信息，或者更少的信息，但是很難說到底有多少信息。一本50萬字的中文書有多少信息?

提出

直到1948年，香農提出了「信息熵」的概念來解決信息的定量測量。熵這個詞是c。e。香農從熱力學中借用的。熱力學的熱力學熵是分子無序程度的大小。香香的信息熵概念描述了源的不確定性。

我們可以認為信息熵可以從信息傳遞的角度來表示信息的價值。因此，我們可以測量信息的價值，從而對知識流動的問題進行更多的推論。

⑸ 請問為什麼在計算信息熵的時候要取對數呢

看看定義信息熵的想法:

設對於某個事件 x, 發生的概率是 p(x), 對應的"信息量"是 I(x).
性質
1. p(x) = 0 => I(x) = +\inf (正無窮大)
2. p(x) = 1 => I(x) = 0
3. p(x)>p(y) => I(x)<I(y)
含義是概率為 0 的事件對應的信息量大, 反之信息量少.
我們概率老師舉的例子是: 皇家馬德里與中國隊踢, 那麼皇馬贏的概率...是人都知道...所以沒有信息量(=0). 反之若是中國隊贏了, 這個信息量就大了.
4. I(x)>=0 信息量總是正的.
5. p(x,y)=p(x)p(y) => I(x,y)=I(x)+I(y)
信息量的疊加性, 知道了兩個獨立事件的概率, 相當於知道了兩方的信息(的和)

由以上性質就能決定出 I(x) = -c*ln(p(x)), 其中 c 是某個正常數, 代入就可驗證.

最後的信息熵公式 - sum p[i] * ln(p[i]) 可以看作 ln(p) 的期望, 也就是整個系統的平均信息的多少.

就為什麼要取對數這個問題來說, 最關鍵就是性質 5. 了吧, 對數能把乘積化為求和.

⑹ 請問文字的信息熵如何計算請給出計算公式。

H(x)=E[I(xi)]=E[log2 1/p(xi)]=-ξp(xi)log2 p(xi)(i=1,2,..n)

⑺ 二元信源 信息熵 計算公式

信源熵:
H(x)=E[I(xi)]=E[log2 1/p(xi)]=-ξp(xi)log2 p(xi)(i=1,2,..n)
二元信源,你是想說聯合熵嗎?
我不知道你想知道什麼?

⑻ 如何計算影像的信息熵

俗語道：「人要交流，馬要試騎。」人的存在就離不開交往。一個人成功的過程是了解社會，認識社會，充分利用社會給予自己的一切條件去實現自己的遠大理想、目標的過程。在這個過程中，自身要與方方面面的人打交道，與那些對自己的事業有各種影響的

⑼ 電腦信息熵計算，log以什麼為底數

應該以e的多(求導比較方便)，編碼長度是2，交叉熵損失為e