信息熵的计算方法

⑴ 请问一幅图像的信息熵怎么计算信息熵越大越好分类，还是越小越好分类

公式正确，熵最大时的阈值可以进行阈值分割。详见最大熵阈值分割。

⑵ 急求助：香农（信息）熵的计算~

1948 年，香农提出了“信息熵” 的概念，所以叫香农熵。
香农不是用钱，而是用 “比特”（bit）这个概念来度量信息量。 一个比特是一位二进制数，计算机中的一个字节是八个比特。在上面的例子中，这条消息的信息量是五比特。 信息量的比特数和所有可能情况的对数函数 log 有关。 (log32=5, log64=6。）
对于任意一个随机变量 X，它的熵定义如下：
变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。
有了“熵”这个概念，我们就可以回答本文开始提出的问题，即一本五十万字的中文书平均有多少信息量。我们知道常用的汉字（一级二级国标）大约有 7000 字。假如每个字等概率，那么我们大约需要 13 个比特（即 13 位二进制数）表示一个汉字。但汉字的使用是不平衡的。实际上，前 10% 的汉字占文本的 95% 以上。因此，即使不考虑上下文的相关性，而只考虑每个汉字的独立的概率，那么，每个汉字的信息熵大约也只有 8-9 个比特。如果我们再考虑上下文相关性，每个汉字的信息熵只有5比特左右。所以，一本五十万字的中文书，信息量大约是 250 万比特。如果用一个好的算法压缩一下，整本书可以存成一个 320KB 的文件。如果我们直接用两字节的国标编码存储这本书，大约需要 1MB 大小，是压缩文件的三倍。这两个数量的差距，在信息论中称作“冗余度”（rendancy)。 需要指出的是我们这里讲的 250 万比特是个平均数，同样长度的书，所含的信息量可以差很多。如果一本书重复的内容很多，它的信息量就小，冗余度就大。

⑶ 信息熵 计算 等比数列 等比数列 {1/2,1/4,1/8,……}的信息熵是多少

信息熵公式：H(X)=-∑P(X)log(2)[P(X)] log(2) 表示以2为底的对数
按题意 P(X)=a（n）=（1/2）^n
所以 H(X)=H(n)=-∑（1/2）^n*log(2)( 1/2)^n=∑n（1/2）^n ①
下面用错位相乘法求H(X)
等式两边同乘以1/2 得到 ½*H(n)=1/2*∑n（1/2）^n =∑n（1/2）^（n+1） ②
① –② 得到1/2*H（n）=[∑（1/2）^n]-n(1/2)^( n+1)=1-(1/2)^n-n(1/2)^(n+1)
得到 H(n)=2-(1/2)^(n-1)-n(1/2)^n
若为无穷数列,令n→∞,H(n)→2

⑷ 信息熵是什么

信息是一个非常抽象的概念。人们经常说很多信息，或者更少的信息，但是很难说到底有多少信息。一本50万字的中文书有多少信息?

提出

直到1948年，香农提出了“信息熵”的概念来解决信息的定量测量。熵这个词是c。e。香农从热力学中借用的。热力学的热力学熵是分子无序程度的大小。香香的信息熵概念描述了源的不确定性。

我们可以认为信息熵可以从信息传递的角度来表示信息的价值。因此，我们可以测量信息的价值，从而对知识流动的问题进行更多的推论。

⑸ 请问为什么在计算信息熵的时候要取对数呢

看看定义信息熵的想法:

设对于某个事件 x, 发生的概率是 p(x), 对应的"信息量"是 I(x).
性质
1. p(x) = 0 => I(x) = +\inf (正无穷大)
2. p(x) = 1 => I(x) = 0
3. p(x)>p(y) => I(x)<I(y)
含义是概率为 0 的事件对应的信息量大, 反之信息量少.
我们概率老师举的例子是: 皇家马德里与中国队踢, 那么皇马赢的概率...是人都知道...所以没有信息量(=0). 反之若是中国队赢了, 这个信息量就大了.
4. I(x)>=0 信息量总是正的.
5. p(x,y)=p(x)p(y) => I(x,y)=I(x)+I(y)
信息量的叠加性, 知道了两个独立事件的概率, 相当于知道了两方的信息(的和)

由以上性质就能决定出 I(x) = -c*ln(p(x)), 其中 c 是某个正常数, 代入就可验证.

最后的信息熵公式 - sum p[i] * ln(p[i]) 可以看作 ln(p) 的期望, 也就是整个系统的平均信息的多少.

就为什么要取对数这个问题来说, 最关键就是性质 5. 了吧, 对数能把乘积化为求和.

⑹ 请问文字的信息熵如何计算请给出计算公式。

H(x)=E[I(xi)]=E[log2 1/p(xi)]=-ξp(xi)log2 p(xi)(i=1,2,..n)

⑺ 二元信源 信息熵 计算公式

信源熵:
H(x)=E[I(xi)]=E[log2 1/p(xi)]=-ξp(xi)log2 p(xi)(i=1,2,..n)
二元信源,你是想说联合熵吗?
我不知道你想知道什么?

⑻ 如何计算影像的信息熵

俗语道：“人要交流，马要试骑。”人的存在就离不开交往。一个人成功的过程是了解社会，认识社会，充分利用社会给予自己的一切条件去实现自己的远大理想、目标的过程。在这个过程中，自身要与方方面面的人打交道，与那些对自己的事业有各种影响的

⑼ 电脑信息熵计算，log以什么为底数

应该以e的多(求导比较方便)，编码长度是2，交叉熵损失为e