信道编码方法研究

❶ 交织编码的编码器设计

软件无线电是一种实现无线通信的新的体系结构，是无线通信产业从模拟到数字、从固定到移动这两次革命后的第三次革命，是从硬件无线通信到软件无线通信的革命。
在从事使用软件无线实现GSM基站研究中，在深入研究GSM通信系统信道编码结构、交织方式的基础上，利用VHDL硬件描述语言完成GSM基站信道编码中使用的交织器的具体设计，为进一步研究软件无线技术在GSM基站系统中应用打下基础。
1、GSM的话音编码与信道编码
在GSM通信系统中，全速率话音编码算法为规则脉冲激励及长期预测算法(RPE-LTP)。模拟话音首先通过一个ADC以8kHz采样频率进行采样，每个采样点用均匀13b编码。话音编码器对每20ms一段的话音进行压缩编码，编码结果为每20 ms产生260 b的数据块。这260 b的数据根据他们的重要性分成为3类：Ia类、Ib类和Ⅱ类。Ia类共50 b，为非常重要的数据。如果这些数据被修改，恢复的话音将发生很大的错误，甚至无法恢复正常的话音，因此这些数据需要严格保护。Ib类数据共132 b，是比较重要的数据，需要进行较好的保护。Ⅱ类数据共78 b，为一般重要的数据，发生一些差错也不会对恢复的话音有太大的影响，通常不对其进行保护。根据数据重要性的不同，决定信道编码中采用不同的保护方法。
GSM通信系统的信道编码首先对Ia类数据进行差错检测编码，产生3个循环冗余校验(CRC)比特，这些比特的产生使用多项式为G(x)=X3？X？1。3个CRC比特附在Ia类的50b后面，再与Ib类数据组合在一起进行K=5，r=1/2的卷积编码，卷积编码器使用的2个多项式为P1(x)=X4？X3？1和P2(x)=X4？X3？X？1，卷积编码产生的结果是两个189b的序列，将他们与不需要保护的Ⅱ类数据复合在一起，产生一个完整的经过信道编码的话音帧，共456b。
2、交织编码器工作原理
信道编码中采用交织技术，可打乱码字比特之间的相关性，将信道中传输过程中的成群突发错误转换为随机错误，从而提高整个通信系统的可靠性。交织编码根据交织方式的不同，可分为线性交织、卷积交织和伪随机交织。其中线性交织编码是一种比较常见的形式。所谓线性交织编码器，是指把纠错编码器输出信号均匀分成m个码组，每个码组由n段数据构成，这样就构成一个n×m的矩阵。这里把这个矩阵称为交织矩阵。如图1所示，数据以a11，a12，…，a1n，a21，a22，…，a2n，…，aij，…，am1，am2，…，amn(i=1，2，…，m;j=1，2，…，n)的顺序进入交织矩阵，交织处理后以a11，n21，…，am1，a12，a22，…，am2，…，a1n，a2n，…，amn的顺序从交织矩阵中送出，这样就完成对数据的交织编码，如图1所示。还可以按照其他顺序从交织矩阵中读出数据，不管采用哪种方式，其最终目的都是把输入数据的次序打乱。如果aij只包含1个数据比特，称为按比特交织;如果aij包含多个数据比特，则称为按字交织。接收端的交织译码同交织编码过程相类似。

一般来说，如果有n个(m，k)码，排成，n×m矩阵，按列交织后存储或传送，读出或接收时恢复原来的排列，若(m，k)码能纠t个错误，那么交织后就可纠m个错误。对纠正信道传输过程中出现的突发错误效果明显，如图2所示。

GSM中使用这种比特交织器。其交织方式为将信道编码后的每20ms的数据块m=456b拆分到8组中，每组57b，然后这每组57 b分配到不同的Burst中。
3、交织编码器的软件设计
GSM通信系统必须满足实时性的要求，因此，交织编码引入的延时应尽可能小。为了同时满足块内交织进行(57，8)矩阵转置变换和延时尽可能小的要求，该交织器利用2片双口RAM实现，记作RAM_和RAM_B。交织处理时，按地址从0～455将456b输入数据全部写入RAM_A，待456b数据全部送入RAM_A后，控制信号使RAM_A由写状态转换到读状态，同时，将输入的待交织数据写入RAM_B，RAM_B为写状态，交织器由RAM_A输出数据。经过456个时钟周期后，从RAM_A读出456b数据的同时，RAM_B写入一个时隙的456 b数据。此时，改变RAM_A和RAM_B的读写状态，RAM_A开始写，从RAM_B中读取数据。如此反复完成数据的实时连续交织处理。
完成交织处理的核心问题是处理好读/写地址之间的关系，该交织器读/写地址的变换采用如下算法完成：
为减少FPGA运算量，可利用Matlab，C语言等实现读/写地址矩阵转置运算。这里采用Matlab完成读/写地址矩阵转置运算，具体程序为：x=0：1：455;reshape(x，57，8)。读/写地址的变换结果存储在address_ROM.mif文件中。利用VHDL语言描述该交织编码器完整代码如下：
4、仿真分析
利用Altera公司的QuartusⅡ工具软件，对该交织器仿真分析，得到的时序仿真波形如图2所示。从读地址(rd_addr_A)和写地址(wr_addr_A)以及(data_in)和(intlv_out)可以看出，该交织器完成既定的交织功能，延时相当小，该设计方法正确可行。
5、结语
本文提出基于FPGA实现交织器的方法，给出利用VHDL语言描述该交织器的全部代码。通过仿真分析验证该实现方案的正确性和可行性。为进一步研究GSM通信系统基站软件化打下了良好的基础。

❷ 请问搞信道编码的的通信的研究生就业如何

我也是搞信道编码的诶，主要做的是差错控制那块的，就业的话很难说，要看市场的需要，以及你个人的能力的，就单从市场来讲的话，其实还蛮热的，特别是无线那块。我觉得这块的话，最重要是搞懂这些编码的机制，是通过什么手段，怎样一个方式实验编码的，然后就实现，所以对编程能力以及软件仿真能力要求会高一些，好好努力吧。
我看好你哦～～～

❸ 有噪信道编码定理的详细介绍

在密码学方面，1949年香农发表《保密系统的通信理论》，通常它被认为是密码学的先驱性着作。1976年狄菲和赫尔曼首次提出公开密钥体制，为密码学的研究开辟了新的方向。超大规模集成电路和高速计算机的应用,促进了保密编码理论的发展,同时也给保密通信的安全性带来很大的威胁。70年代以来把计算机复杂性理论引入密码学,出现了所谓P类、NP类和NP完全类问题。算法的复杂性函数呈指数型增长，因此密钥空间扩大，使密码的分析和搜索面临严重的挑战。密码学开始向纵深方向发展。
信源编码广义的信源编码包括模数转换（即把模拟量变换成二进制的数字量）和数据压缩（即对这些数字量进行编码来降低数码率）两个方面。信源编码的主要任务是压缩数据。它有四种基本方法：、 。这种方法主要用于有标准形状的文字、符号和数据的编码。但话音也可以进行识别编码。识别编码的作用不仅限于压缩数据，它在模式识别中也有广泛的应用。常用的识别方法有关联识别和逻辑识别等方法。识别编码可大大压缩数据。例如，用话音识别的方法传输话音，平均数码率小于100比特/秒。而用Δ调制话音的方法传输话音,数码率达38400比特/秒。两者相差约400倍。但识别编码在恢复时是根据一个代码恢复一个标准声音，只能用于不必知道发话人是谁的特殊电话和问答装置。识别编码用于文字传输时，恢复出来的都是印刷体符号，只能用于普通电报。

❹ 常用的差错控制编码方法有

常用的差错控制编码方法有：奇偶校验、恒比码、矩阵码、循环冗余校验码、卷积码、Turbo码。

1、奇偶校验

奇偶校验是一种校验代码传输正确性的方法。根据被传输的一组二进制代码的数位中“1”的个数是奇数或偶数来进行校验。采用奇数的称为奇校验，反之，称为偶校验。

采用何种校验是事先规定好的。通常专门设置一个奇偶校验位，用它使这组代码中“1”的个数为奇数或偶数。若用奇校验，则当接收端收到这组代码时，校验“1”的个数是否为奇数，从而确定传输代码的正确性。

2、恒比码

恒比码一般指定比码 。

定比码是指一组码中1和0的码元个数成一定比例的一种编码。换言之，它是选用比特序列中1和0码元之比例为定值，所以又称为恒比码。定比码是一种常用的检错码。

3、矩阵码

矩阵码属二维条码的一种，是将图文和数据编码后，转换成一个二维排列的多格黑白小方块图形。

矩阵式二维条形码是以矩阵的形式组成，在矩阵相应元素位置上，用点(Dot)的出现表示二进制的 “1”，不出现表示二进制的 “0”，点的排列组合确定了矩阵码所代表的意义。其中点可以是方点、圆点或其它形状的点。矩阵码是建立在电脑图像处理技术、组合编码原理等基础上的图形符号自动辨识的码制，已较不适合用“条形码”称之。

4、循环冗余校验码

循环冗余校验码（CRC），简称循环码，是一种常用的、具有检错、纠错能力的校验码，在早期的通信中运用广泛。循环冗余校验码常用于外存储器和计算机同步通信的数据校验。奇偶校验码和海明校验码都是采用奇偶检测为手段检错和纠错的(奇偶校验码不具有纠错能力)，而循环冗余校验则是通过某种数学运算来建立数据位和校验位的约定关系的。

5、卷积码

卷积码将k个信息比特编成n个比特，但k和n通常很小，特别适合以串行形式进行传输，时延小。卷积码的纠错性能随m的增加而增大，而差错率随N的增加而指数下降。在编码器复杂性相同的情况下，卷积码的性能优于分组码。

6、Turbo码

Turbo码是Claude.Berrou等人在1993年首次提出的一种级联码。Turbo码有一重要特点是其译码较为复杂，比常规的卷积码要复杂的多，这种复杂不仅在于其译码要采用迭代的过程，而且采用的算法本身也比较复杂。这些算法的关键是不但要能够对每比特进行译码，而且还要伴随着译码给出每比特译出的可靠性信息，有了这些信息，迭代才能进行下去。

(4)信道编码方法研究扩展阅读：

差错控制编码是指在实际信道上传输数字信号时，由于信道传输特性不理想及加性噪声的影响，所收到的数字信号不可避免地会发生错误。

为了在已知信噪比的情况下达到一定的误比特率指标，首先应合理设计基带信号，选择调制、解调方式，采用频域均衡和时域均衡，使误比特率尽可能降低，但若误比特率仍不能满足要求，则必须采用信道编码，即差错控制编码。

差错控制编码的基本做法是：在发送端被传输的信息序列上附加一些监督码元，这些多余的码元与信息码元之间以某种确定的规则相互关联（约束）。接收端按照既定的规则检验信息码元与监督码元之间的关系，一旦传输过程中发生差错，则信息码元与监督码元之间的关系将受到破坏，从而可以发现错误，乃至纠正错误。研究各种编码和译码方法正式差错控制编码所要解决的问题。

❺ 关于毕业论文的蓝牙研究方向

有这么好的毕业论文课题
你应该拜佛了!
如果你赶兴趣的话
而且现在开始时间很充裕
希望你能取得好成绩.
我虽然不是搞理论研究的
但是蓝呀这个东西用的很熟了
所以可以有一些方向提供给你
希望能给你帮助
建议几个研究方向把:
1
蓝牙传输速率
----
现在蓝牙的传输速率还很低
BLUETOOTH
2.0虽然高
但是不够普及
如何利用1.0的平台提高速率
可以是你研究的方向.
可以参考最早的蓝呀技术规范
从信源编码方法
信道编码方法
载波利用等方面入手分析
而且你有蓝呀实验箱
所以要多做实验
不过对于本科生可能有些难度
你可以用大量的实验
验证在什么情况下传输速率最高
2
蓝呀的兼容性
虽然兼容性蓝呀作的很好了
但是为什么在有些时候
蓝牙适配器和设备的连接还是不能建立
另外在众多蓝牙设备存在的情况下
会出现兼容性下降的问题
可以做实验验证解决
3
蓝牙的应用
现在最热门的应用是
立体声蓝牙耳机
无线手机蓝牙对战游戏
你可以探讨一下
另外
无线蓝牙设备连接投影仪
是商务人士很需要的功能
但是现在还没有一个解决方案
你可以试着探讨一下
论文完成了
记得要给我Cc一份啊
哈哈

❻ 请教信道编码接近香农限的概念问题

你看一下 香农定理 就明白了

香农定理：香农定理则描述了有限带宽;有随机热噪声信道的最大传输速率与信道带宽;信号噪声功率比之间的关系.
在有随机热噪声的信道上传输数据信号时，数据传输率Rmax与信道带宽B，信噪比S/N关系为： Rmax=B*LOG⒉（1+S/N）

在信号处理和信息理论的相关领域中，通过研究信号在经过一段距离后如何衰减以及一个给定信号能加载多少数据后得到了一个着名的公式，叫做香农（Shannon）定理。它以比特每秒（bps）的形式给出一个链路速度的上限，表示为链路信噪比的一个函数，链路信噪比用分贝（dB）衡量。因此我们可以用香农定理来检测电话线的数据速率。

香农定理由如下的公式给出: C=Blog2(1＋S/N) 其中C是可得到的链路速度，B是链路的带宽，S是平均信号功率,N是平均噪声功率，信噪比（S/N）通常用分贝（dB）表示，分贝数=10×log10（S/N）。
=====================
香农限就是上面的极限值
明白了吧！

❼ 有噪信道编码定理的基本信息

在信源编码方面，1951年香农证明，当信源输出有冗余的消息时可通过编码改变信源的输出，使信息传输速率接近信道容量。1948年香农就提出能使信源与信道匹配的香农编码。1949年美国麻省理工学院的R.M.费诺提出费诺编码。1951年美国电信工程师D.A.霍夫曼提出更有效的霍夫曼编码。此后又出现了传真编码、图像编码和话音编码，对数据压缩进行了深入的研究，解决了数字通信中提出的许多实际问题。
在纠错编码方面,1948年香农就提出一位纠错码(码字长=7,信息码元数=4)。1949年出现三位纠错的格雷码(码字长=23，信息码元数=12)。1950年美国数学家R.W.汉明发表论文《检错码和纠错码》，提出着名的汉明码，对纠错编码产生了重要的影响。1955年出现卷积码。卷积码至今仍有很广泛的应用。1957年引入循环码。循环码构造简单,便于应用代数理论进行设计,也容易实现。1959年出现能纠正突发错误的哈格伯尔格码和费尔码。1959年美国的R.C.博斯和D.K.雷·乔达利与法国的A.奥昆冈几乎同时独立地发表一种着名的循环码，后来称为BCH码(即Bose-Chaudhuri-Hocquenghem码)。1965年提出序贯译码序贯译码已用于空间通信1967年A.J.维特比提出最大似然卷积译码,称为维特比译码1978年出现矢量编码法。矢量编码法是一种高效率的编码技术。1980年用数论方法实现里德－所罗门码（Reed-Solomon码）,简称RS码。它实际上是多进制的BCH码。这种纠错编码技术能使编码器集成电路的元件数减少一个数量级。它已在卫星通信中得到了广泛的应用。RS码和卷积码结合而构造的级连码，可用于深空通信。

❽ 谁有基于LabVIEW的信道编码系统的设计 外文翻译 文献综述 急需

引言
---美国ni公司推出的labview语言是一种优秀的面向对象的图形化编程语言，使用图标代替文本代码创建应用程序，拥有大量与其他应用程序通信的vi库。labview作为目前国际上应用最广的数据采集和控制开发环境之一，在测试与测量、数据采集、仪器控制、数字信号分析、通信仿真等领域获得了广泛的应用。本文主要研究基于labview的通信仿真。

labview程序结构
---labview程序主要包括两部分：前面板(即人机界面)和方框图程序。前面板用于模拟真实仪器的面板操作，可设置输入数值、观察输出值以及实现图表、文本等显示。框图程序应用图形编程语言编写，相当于传统程序的源代码。其用于传送前面板输入的命令参数到仪器以执行相应的操作。labview的强大功能在于层次化结构，用户可以把创建的vi程序当作子程序调用，以创建更复杂的程序，而且，调用阶数可以是任意的。labview编程方法与传统的程序设计方法不同，它拥有流程图程序设计语言的特点，摆脱了传统程序语言线性结构的束缚。labview的执行顺序依方块图间数据的流向决定，而不像一般通用的编程语言逐行执行。在编写方块图程序时，只需从功能模块中选用不同的函数图标，然后再以线条相互连接，即可实现数据的传输。

仿真过程
---信号源产生的是模拟信号，必须首先对它进行数字处理。在仿真过程中，用100hz的正弦信号作为信号源。按照一般语音通信的要求，这里采用8khz速率对100hz的正弦号进行抽样，得到的是间隔为125μs的离散抽样值。信号的幅度为归一化幅度，最小幅度为-1，最大幅度为1，再进行32级(4bit)pcm量化编码。再将每一个样值转化成4bit的二进制的pcm代码流，其速率为32kbps。对pcm编码的数据流进行汉明编码，得到的是56kbps的纠错编码后的数据流。随后进行调制，在发送端对码流进行4psk数字编码调制，采用的载波是400khz的正弦波，然后送上信道进行传输。信道是最常见的高斯加性白噪声信道，信号传输过程中受到高斯噪声的干扰。在接收端对接受到的码流进行数字解调、汉明码解码，最后pcm信号恢复所发送的信号。
---这里所使用的仿真环境为labview软件。下文中主要针对4psk的仿真进行叙述。
● 抽样、量化和编码
---在发送端，源(source)子vi产生一个100hz的正弦信号作为信号源，通过量化(quantify)子vi对它进行抽样和量化。对信号源进行8khz的抽样，抽样产生的离散抽样值归一化为绝对值小于等于1的数据流。量化器把-1～1的范围等分为32个小区间，每一个区间用0～31之间的一个整数表示，每个样值通过它被量化成32个值中的某一个值，再转化成元素为0、1的矢量，即c端输出的源信息流。这时输出的是长度为4的矢量，进入到编码(coding)子vi。在信号传输的过程中，为了提高信号的传输效率，降低误码率，采用了纠错编码技术。这里采用的是(4，7)汉明纠错编码技术。对8ksps的矢量信号中，每个矢量加入3bit的控制位，但所占的时间长度仍为原来4位矢量的时间长度。接着，将7位的矢量信号进行串行化，产生56kbps的0、1数据流输出到a端，如图1所示。

● 调制、解调和信道传输
---从a端输出的二进制数据流在调制(molation)子vi中进行4psk数字调制。4psk是受0～3这4个数据调制的，这四个值是用连续两个二进制位表示的。这里进行的调制是基带调制，调制子vi输出的调制过后的基带信号。采用多个控件实现对调制的一些基本参数的设定，如字符速率、每个字符的采样数、波形形成滤波器的类型及参数。输出的基带信号通过上变频(upconverter)vi实现上变频，把基带信号搬移到400khz的频率段。对应实际中的信号，就可以直接发射到信道上了。仿真过程中，采用的是一个简单的加性高斯白噪声信道模型。通过对信噪比(eb/no)控件的设置，实现对信道信噪比参数的选择。接受端收到一个被信道噪声损伤的信号，通过相逆过程实现解调功能。经过下变频(downconverter)vi程序下变频的基带信号进入到解调(demolation)子vi。在解调中进行相位检测，将4个不同的相位检测出来，映射成0～3的4个不同的量值，然后转换为2bit的二进制比特流从b端输出。所述实现了调制解调和高斯白噪声信道的传输，如图2所示。

● 解码和信号恢复
---b端输出的二进制比特流进入到解码(decode)子vi，其完成数据流的汉明码译码的功能。解码vi将比特流组成七维的矢量数组，经汉明距离的判断，再把七维矢量纠错转化为四维矢量，即d端输出的接受信息流，完成纠错译码的功能。四维的矢量数组由to dwave子vi化为数字波形进行显示，接下来通过数模转换vi恢复到模拟的信号,如图3所示。

● 信号的同步
---为了实现信号的同步，避免信道延迟带来的影响，在整个传输过程中引入了保护信号和同步信号。生成的保护和同步信号从e端输出。在信息比特进入调制子vi之前，就在信息比特的前面加上了保护信号和同步信号，e端和a端输出的信号合为一路信号，然后再进行调制。在接受方通过把同步信号映射为字符，再与接受的字符流进行比较，确定同步信号的位置，实现接受和发射的同步。同步信号的产生和输出，如图4所示。

● 误码率的计算
---为了计算误码率，c端的源信息流和d端的接受信息流通过一个比较(compare)子vi进行比较，计算出误码的个数，从而计算出误码率，如图5所示。

● 性能分析
---4psk数字相位调制波形可表示为

---其向量表达式为

---4psk符号错误概率为

---由于进行了(7，4)汉明码纠错编码，然后进行4psk调制，并且 比特符号对相应信号相位映射中采用格雷(gray)码，因而编码比特能量可以用信息比特能量表示为

---且

---程序采用的模拟加性高斯白噪声信道，设定信道的信噪比则为 ，可得

---图6为仿真生成和理论生成的误码率的对照图。信道信噪比超过7db以后，要求样本数很大，由于计算机内存的限制，使得仿真的结果与理论的结果有一定偏差。在7db之前，仿真误比特率和理论值很接近，拟合得很好。

结论
---作为应用最广的数据采集和控制开发环境之一，labview在通信仿真中有着重要的作用。由于labview有很强的仪器控制功能，相对于matlab等其他仿真软件，labview能更有效地把仿真试验移植到实际中。labview只需要用实际的发射和接受机及实际的信道来替换模拟的发射和接受机及模拟的信道，但也要进行一定量的相应改动。这样就能很好地把labview在仿真和仪器控制两方面的功能有机结合起来，更好地发挥labview在虚拟仪器中的作用。

参考文献
1 田丽华编着.编码理论.西安电子科技大学出版社.2004
2 john g. proakis. digital communication. fourth edition. mcgraw-hill companies. 2001
3 曹志刚,钱亚生编着.现代通信原理.清华大学出版社. 2002

❾ 通信领域中的 “编码速率” code rating 指的什么 麻烦 以 turbo 码的编码速率说明。

编码速率是指在保证原有信息能够得到还原的码流速度。通常码流速率越低，编码效率就越高。

1993 年两位法国教授Berrou、Glavieux 和他们的缅甸籍博士生Thitimajshima 在ICC 会议上发表的 Turbo码Near Shannon limit error-correcting coding and decoding: Turbo codes”，提出了一种全新的编码方式——Turbo 码。它巧妙地将两个简单分量码通过伪随机交织器并行级联来构造具有伪随机特性的长码，并通过在两个软入/软出（SISO）译码器之间进行多次迭代实现了伪
随机译码。
仿真结果表明，在AWGN 信道下，码率为1/2 的Turbo 码在达到误比特率（BER) ≤ 10−5时，Eb/N0仅为约0.7dB （这种情况下达到信道容量的理想Eb/N0值为0db），远远超过了其他的编码方式，一时在信息和编码理论界引起了轰动。
从此以后，Turbo 码得到了广泛的关注和发展，并对当今的编码理论和研究方法产生了深远的影响，信道编码学也随之进入了一个新的阶段。
Turbo码由于其近Shannon界的突出纠错能力，成为近年信道编码理论研究的热点问题。其编码器由两个（或多个）带反馈的系统卷积码器经一交织器并行级联而成，接收端一般采用逐位最大后验概率译码器通过反复迭代循环来译码。
Turbo码有一重要特点是其译码较为复杂，比常规的卷积码要复杂的多，这种复杂不仅在于其译码要 Turbo码采用迭代的过程，而且采用的算法本身也比较复杂。这些算法的关键是不但要能够对每比特进行译码，而且还要伴随着译码给出每比特译出的可靠性信息，有了这些信息，迭代才能进行下去。用于Turbo码译码的具体算法有：MAP(Maximum A Posterori)

Max-Log-MAP、Log-MAP和SOVA(Soft Output Viterbi Algorithm）算法。MAP算法是1974年被用于卷积码的译码，但用作Turbo码的译码还是要做一些修改；Max-Log-MAP与Log-MAP是根据MAP算法在运算量上做了重大改进，虽然性能有些下降，但使得Turbo码的译码复杂度大大的降低了，更加适合于实际系统的运用；Viterbi算法并不适合Turbo码的译码，原因就是没有每比特译出的可靠性信息输出，修改后的具有软信息输出的SOVA算法，就正好适合了Turbo码的译码。这些算法在复杂度上和性能上具有一定的差异，系统地了解这些算法的原理是对Turbo码研究的基础，同时对这些算法的复杂度和性能的比较研究也将有助于Turbo的应用研究。

❿ 信息论与信道编码和高数有什么关系

.

人们研究信息论的目的是为了

高效、可靠、安全

地交换和利用各种各样的信息。

2.

信息的

可度量性

是建立信息论的基础。

3.

统计度量

是信息度量最常用的方法。

4.

熵

是香农信息论最基本最重要的概念。

5.

事物的不确定度是用时间统计发生

概率的对数

来描述的。

6.

单符号离散信源一般用随机变量描述，而多符号离散信源一般用

随机矢量

描述。

7.

一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为

其发生概率对数的负值

。

8.

自信息量的单位一般有

比特、奈特和哈特

。

9.

必然事件的自信息是

0

。

10.

不可能事件的自信息量是

∞

。

11.

两个相互独立的随机变量的联合自信息量等于

两个自信息量之和

。