信息论习题一二答案参考

信息论习题一二答案参考

　　信息论习题一、二答案参考

　　1.一个随即变量x的概率密度函数P(x)= x /2，0≤x≤2V，则信源的相对熵为（ ）。

　　A. 1.44bit/符号

　　B. 1bit/符号 正确

　　C. 0.5bit/符号

　　D. 0.72bit/符号

　　2.下列不属于消息的是（ ）

　　A. 文字

　　B. 图像

　　C. 语言

　　D. 信号

　　3.下列哪一项不属于最简单的通信系统模型（ ）

　　A. 信宿

　　B. 加密

　　C. 信道

　　D. 信源

　　4.下列离散信源，熵最大的是（ ）。

　　A. H（1/2,1/2）

　　B. H（1/2,1/4,1/8,1/8)

　　C. H（1/3,1/3,1/3）

　　D. H（0.9,0.1）

　　5.下面哪一项不属于熵的性质（ ）

　　A. 对称性

　　B. 确定性

　　C. 完备性

　　D. 非负性

　　6.同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ ）。

　　A. －log36bit

　　B. log36bit

　　C. －log (11/36)bit

　　D. log (11/36)bit

　　7.对连续信源的熵的描述不正确的是（ ）。

　　A. 连续信源的熵和离散集的熵形式一致，只是用概率密度代替概率，用积分代替求和

　　B. 连续信源的熵由相对熵和无穷大项构成

　　C. 连续信源的熵值无限大

　　D. 连续信源的熵可以是任意整数

　　9.相对熵（）。

　　A. 总非负

　　B. 总为正

　　C. 总为负

　　D. 都不对

　　9.英文字母有26个，加上空格共27个符号，由此H0（X）=4.76bit/符号，根据有关研究H∞（X）=1.4 bit/符号，则冗余度为（） 。

　　A. 0.71

　　B. 0.51

　　C. 0.11

　　D. 0.31

　　10.设信源S，若P（s1）=1/2、P（s2）=1/4、P（s3）=1/4，则其信源剩余度为 （ ）。

　　A. 3/4

　　B. 0

　　C. 1/4

　　D. 1/2

　　11.设有一个无记忆信源发出符号A和B，已知p（A）＝1/4，p（B）=3/4，发出二重符号序列消息的信源，则二次扩展信源熵 为（ ）。

　　A. 0.81bit/二重符号

　　B. 1.86 bit/二重符号

　　C. 0.93 bit/二重符号

　　D. 1.62bit/二重符号

　　12.H（X/X）=0。(对)

　　13.一维高斯信源的熵只与其均值和方差有关；(错)

　　14.一维高斯信源的相对熵只与其方差有关；（对）

　　15.互信息量可正、可负亦可为零。（对）

　　16.信息就是一种消息。（错）

　　17.信源符号的概率越大，不确定性就越小，接受者获得的'信息量就越大。（错）

　　18.冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。（错）

　　19.在信息处理过程中熵不会增加。（对）

　　20.在信息处理过程中，处理的次数越多得到的信息量也就越大。（错）

　　21.对平稳离散有记忆信源有：H0（X）≥H1（X）≥H2（X）……≥H∞（X）。（对）

　　22.平均互信息I(X;Y)与信息熵H(Y)的关系为：I(X;Y)≤H(Y)。（对）

　　23.平稳信源发出的符号序列的概率分布与时间起点无关。（对）

　　24.当随机变量X和Y是确定的一一对应关系时，I（X；Y）=0。（错）

　　25．相对熵为零的连续信源的平均不确定性为零（错）

　　26.确定性信源的信源熵为零。（对）

　　27.离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。（错）

　　28.离散无记忆信源的N 次扩展源的熵是原信源熵的N 倍；（对）

　　29.符号出现的概率与信息量是单调递减关系。（对）

　　30.若某符号出现的概率为1，则该符号的自信息量为∞。（错）

　　31.运用概率论和随机过程的理论来研究信息是香农信息论的基本点。（对）

　　32.连续信源的平均不确定性为零；（错）

　　33.连续信源的相对熵非负；（错）