染雾《信息论与编码》答案2345完整版 篇一
在信息技术飞速发展的今天，信息论与编码成为了一门重要的学科。信息论是研究信息传输、存储和处理的数学理论，而编码则是将信息转化为特定格式以便传输和存储的技术。了解信息论与编码的原理和应用，对于我们理解现代通信技术和数据处理方式至关重要。
首先，信息论主要研究的是信息的度量和传输。信息的度量是通过信息熵来进行的，即信息的不确定性。信息熵越高，信息的不确定性就越大，传输和存储的难度也就越大。而信息的传输则是通过信道来实现的，信道的质量决定了信息的传输效率和可靠性。在信息论中，我们还会学习到信道编码和纠错编码的原理，通过这些编码技术，可以提高信息传输的可靠性和效率。
其次，编码是将信息转化为特定形式的技术。在现代通信系统中，编码技术起着至关重要的作用。通过编码，可以在有限的频谱和带宽内传输更多的信息，提高通信系统的效率。常见的编码技术包括源编码和信道编码，源编码用于压缩信息以减少传输开销，信道编码用于提高信息传输的可靠性。在编码中，我们还会学习到很多经典的编码方法，如哈夫曼编码、循环冗余校验码等。
总的来说，信息论与编码是信息技术领域的重要基础学科，它们为我们理解和应用现代通信技术提供了理论支持和技术指导。通过学习信息论与编码，我们不仅可以深入了解信息的传输和处理原理，还可以掌握一些实用的编码技术，为我们的工作和研究提供帮助。因此，深入学习信息论与编码，对于提升我们的信息技术水平和应用能力具有重要意义。
《信息论与编码》答案2345完整版 篇二
信息论与编码是现代通信技术和数据处理领域中的重要学科，它们的研究成果对于我们的日常生活和工作都有着重要影响。在信息论与编码领域，有一些经典问题和方法一直备受关注，其中的四个问题2345题就是其中之一。
首先，第一题是关于熵的计算。信息熵是信息论中的一个重要概念，它用来描述信息的不确定性。计算一个离散随机变量的熵，可以帮助我们了解信息的重要程度和传输的难易程度。在实际应用中，熵的计算是非常常见的问题，掌握这个计算方法对于理解信息的特性和处理信息的方式至关重要。
其次，第二题是关于信道容量的计算。信道容量是指一个通信信道传输信息的最大速率，它取决于信道的带宽和信噪比等因素。计算信道容量可以帮助我们评估一个通信系统的性能和优化传输方案。在现代通信系统设计中，信道容量的计算是一个重要的问题，它直接影响到通信系统的效率和可靠性。
接下来，第三题是关于编码的设计。在信息传输和存储中，编码是起着关键作用的技术。设计高效的编码方案可以提高信息传输的速率和可靠性，节约传输开销和存储空间。因此，掌握编码设计的方法和原理，对于提高通信系统的性能和效率至关重要。
最后，第四题是关于纠错编码的应用。在信息传输过程中，由于信道的噪声和干扰，信息可能会出现错误。纠错编码是一种用来检测和纠正错误的编码技术，它可以提高信息传输的可靠性和稳定性。在现代通信系统中，纠错编码的应用已经成为了标配，掌握纠错编码的原理和实现方法对于保障信息传输的正确性至关重要。
总的来说，信息论与编码是一门理论性和实践性并重的学科，它们为我们理解和应用现代通信技术提供了重要的支持。通过解答2345题这些经典问题，我们可以更深入地了解信息论与编码的原理和方法，为我们的学习和工作提供更多的帮助和指导。希望通过深入学习和应用信息论与编码，我们可以更好地利用信息技术，提升我们的工作效率和生活质量。
《信息论与编码》答案2345完整版 篇三
信息论与编码是一门理论基础重要的学科，它研究的是信息的传输、存储和处理等问题。在通信领域中，信息论与编码的应用非常广泛，对于提高通信系统的性能和可靠性起着至关重要的作用。下面我们将为大家介绍《信息论与编码》的答案2345完整版。
首先，第一题的答案是2。信息论是通过数学方法研究信息传输和存储的理论，其中包括信息熵、互信息、信道容量等重要概念。信息论的发展为通信系统的设计和优化提供了重要的指导。
接着，第二题的答案是3。信道编码是对数据进行编码以提高传输可靠性和效率的技术。信道编码可以通过增加冗余信息和错误检测纠正码等手段来提高信道的可靠性，保证信息的正确传输。
然后，第三题的答案是4。信源编码是对信息源生成的符号进行编码，以减少信息的冗余度，提高信息的压缩率。信源编码技术可以通过消除冗余信息和利用信息统计特性来实现信息的高效压缩。
接着，第四题的答案是5。信道容量是在一定信噪比条件下，信道所能传输的最大信息速率。信道容量的计算可以通过香农公式进行，它是通信系统设计中的重要参数，决定了系统的最大传输速率。
通过学习《信息论与编码》的答案2345完整版，我们可以深入了解信息论与编码的基本概念、原理和应用。这些知识不仅可以帮助我们理解通信系统的工作原理，还可以指导通信系统的设计和优化，提高通信系统的性能和可靠性。
《信息论与编码》答案2345完整版 篇四
《信息论与编码》答案2345完整版 篇五
2.1一个马尔可夫信源有3个符号
?u1,u2,u3?，转移概率为：p?u1|u1??1/2，p?u2|u1??1/2，
，
p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0p?u3|u2??2/3，p?u1|u3??1/3
，
p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。
解：状态图如下
状态转移矩阵为：
设状态u1，u2，u3稳定后的概率分别为W1，W2、W3
0??1/21/2
??p??1/302/3?
?1/32/30???
11?1
W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?
由?得?2计算可得?W2? 3
25?W1?W2?W3?1?2?
6?W2?W3?W3?3??25??W1?W2?W3?1?
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：
p(0|00)=0.8，p(0|11)=0.2，p(1|00)=0.2，
p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。画出状态图，并计算各状态
的稳态概率。 解：
p(0|00)?p(00|00)?0.8 p(0|01)?p(10|01)?0.5 p(0|11)?p(10|11)?0.2 p(0|10)?p(00|10)?0.5 p(1|00)?p(01|00)?0.2 p(1|01)?p(11|01)?0.5 p(1|11)?p(11|11)?0.8 p(1|10)?p(01|10)?0.5
0??0.80.20
??000.50.5? 于是可以列出转移概率矩阵：p??
?0.50.500???000.20.8??
状态图为：
设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有
?WP?W
?4
得 ?Wi?1???i?1
5?
W1??14?0.8W1?0.5W3?W1
?
?0.2W1?0.5W3?W2
?W2?1
???7
计算得到 0.5W2?0.2W4?W3??
1?W3??0.5W2?0.8W4?W4
??7???W1?W2?W3?W4?15?W4?
14?
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；
(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, ? , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：
(1)
11111
p(xi)?????
666618I(xi)??logp(xi)??log
(2)
1
?4.170 bit18
111
p(xi)???
6636
1
I(xi)??logp(xi)??log?5.170 bit
36
(3)
两个点数的排列如下： 11 21 31 41 51 61
共有21种组合：
12 22 32 42 52 62
13 23 33 43 53 63
14 24 34 44 54 64
15 25 35 45 55 65
16 26 36 46 56 66
111?? 6636
111
其他15个组合的概率是2???
6618
其中11，22，33，44，55，66的概率是
1111??
H(X)???p(xi)logp(xi)???6?log?15?log??4.337 bit/symbol
361818??36i
(4)
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
23456789101112??X???1?1111151511???P(X)??
????3618129366369121836??H(X)???p(xi)logp(xi)
i
111111115511??
???2?log?2?log?2?log?2?log?2?log?log?
361818121299363666??36
?3.274 bit/symbol
(5)
1111
p(xi)???11?
6636I(xi)??logp(xi)??log
2-4
11
?1.710 bit36
2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
设随机变量X代表女孩子学历
X P(X)
设随机变量Y代表女孩子身高
Y P(Y)
已知：在女大学生中有75%是身高160厘米以上的 即：
y1（身高>160cm）
0.5
y2（身高
0.5
x1（是大学生）
0.25
x2（不是大学生）
0.75
p(y1/x1)?0.75 bit
求：身高160厘米以上的某女孩是大学生的信息量 即：I(x1/y1)
??logp(x1/y1)??log
p(x1)p(y1/x1)0.25?0.75
??log?1.415 bit
p(y1)0.5
2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：
1）因圆点之和为3的概率该消息自信息量I(x)
p(x)?p(1,2)?p(2,1)?
1
18
??logp(x)?log18?4.170bit
2）因圆点之和为7的概率
p(x)?p(1,6)?p(6,1)?p(2,5)?p(5,2)?p(3,4)?p(4,3)?
该消息自信息量I(x)
1 6
??logp(x)?log6?2.585bit
2.7 设有一离散无记忆信源，其概率空间为? （1）求每个符号的自信息量
?X??x1?0x2?1x3?2x4?3?????
1/41/41/8??P??3/8
（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：I(x1)
?log2
18
?log2?1.415bit
p(x1)3?2bit,I(x3)?2bit,I(x3)?3bit
同理可以求得I(x2)
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：I
?14I(x1)?13I(x2)?12I(x3)?6I(x4)?87.81bit
平均每个符号携带的信息量为
87.81
?1.95bit/符号 45
2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？
解：
四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X1)八进制脉冲的平均信息量H(X2)二进制脉冲的平均信息量H(X0)所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2-9 “－” 用三个脉冲 “●”用一个脉冲
(1) I(●)=Log(4)
?logn?log4?2 bit/symbol ?logn?log8?3 bit/symbol ?logn?log2?1 bit/symbol
?2
34
I(－)＝Log?
?4??0.415
??3?
(2) H=
14
Log(4)?
Log??
4?3?
?
??0.811
2-10
(2) P(黑/黑
)= P(白/黑
)=
H(Y/黑
)=
(3) P(黑/白
)= P(白/白
)=
H(Y/白
)=
(4) P(黑
)= P(白
)=
H(Y)=
2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。 （1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度
（3）如果颜色已知时，则计算条件熵
解：令X表示指针指向某一数字，则X={1,2,……….,38} Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知
3
p(xiyj)?p(xi)
（1）H(Y)
??p(yj)log
j?1
12381838
?log?2?log?1.24bit/符号
p(yj)3823818
（2）H(X,Y)（3）H(X
?H(X)?log238?5.25bit/符号
|Y)?H(X,Y)?H(Y)?H(X)?H(Y)?5.25?1.24?4.01bit/符号
2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率r
?xi,yj??rij为
?r11r12
?
?r21r22?r
?31r32
（1） （2） （3）
r13??7/241/240????r23???1/241/41/24?
?r33?1/247/24???0?
如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？ 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？
在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？
解：联合概率
p(xi,yj)为
H(X,Y)??p(xi,yj)log2
ij
1
p(xi,yj)
?2?
72411
log2?4?log224?log24247244
=2.3bit/符号
X概率分布http:// 1
H(Y)?3?log23?1.58bit/符号
3H(X|Y)?H(X,Y)?H(Y)?2.3?1.58
Y概率分布是 =0.72bit/符号
2.13 有两个二元随机变量X和Y，它们的联合概率为
并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解： (1)
131p(x1)?p(x1y1)?p(x1y2)???
882311
p(x2)?p(x2y1)?p(x2y2)???
882
H(X)???p(xi)logp(xi)?1 bit/symbol
i
131
p(y1)?p(x1y1)?p(x2y1)???
882311
p(y2)?p(x1y2)?p(x2y2)???
882
H(Y)???p(yj)logp(yj)?1 bit/symbol
j
Z = XY的概率分布如下：
z?0z2?1?
?Z???1?
?71???P(Z)?
???8??8?
2
711??7
H(Z)???p(zk)???log?log??0.544 bit/symbol
888??8k
p(x1)?p(x1z1)?p(x1z2)p(x1z2)?0p(x1z1)?p(x1)?0.5p(z1)?p(x1z1)?p(x2z1)p(x2z1)?p(z1)?p(x1z1)?p(z2)?p(x1z2)?p(x2z2)p(x2z2)?p(z2)?
1
8
73?0.5?88
13311??1
H(XZ)????p(xizk)logp(xizk)???log?log?log??1.406 bit/symbol
28888??2ik
p(y1)?p(y1z1)?p(y1z2)p(y1z2)?0p(y1z1)?p(y1)?0.5p(z1)?p(y1z1)?p(y2z1)p(y2z1)?p(z1)?p(y1z1)?p(z2)?p(y1z2)?p(y2z2)p(y2z2)?p(z2)?
18
73?0.5?88
13311??1
H(YZ)????p(yjzk)logp(yjzk)???log?log?log??1.406 bit/symbol
28888??2jk
p(x1y1z2)?0p(x1y2z2)?0p(x2y1z2)?0
p(x1y1z1)?p(x1y1z2)?p(x1y1)p(x1y1z1)?p(x1y1)?1/8p(x1y2z1)?p(x1y1z1)?p(x1z1)p(x1y2z1)?p(x1z1)?p(x1y1z1)?p(x2y1z1)?p(x2y1z2)?p(x2y1)p(x2y1z1)?p(x2y1)?p(x2y2z1)?0
p(x2y2z1)?p(x2y2z2)?p(x2y2)
1
8
H(XYZ)?????p(xiyjzk)log2p(xiyjzk)p(x2y2z2)?p(x2y2)?
i
j
k
113??288
38
1333311??1
???log?log?log?log??1.811 bit/symbol
8888888??8
(2)
1333311??1
H(XY)????p(xiyj)log2p(xiyj)????log?log?log?log??1.811 bit/symbol
8888888??8ij
H(X/Y)?H(XY)?H(Y)?1.811?1?0.811 bit/symbolH(Y/X)?H(XY)?H(X)?1.811?1?0.811 bit/symbolH(X/Z)?H(XZ)?H(Z)?1.406?0.544?0.862 bit/symbolH(Z/X)?H(XZ)?H(X)?1.406?1?0.406 bit/symbolH(Y/Z)?H(YZ)?H(Z)?1.406?0.544?0.862 bit/symbolH(Z/Y)?H(YZ)?H(Y)?1.406?1?0.406 bit/symbolH(X/YZ)?H(XYZ)?H(YZ)?1.811?1.406?0.405 bit/symbolH(Y/XZ)?H(XYZ)?H(XZ)?1.811?1.406?0.405 bit/symbolH(Z/XY)?H(XYZ)?H(XY)?1.811?1.811?0 bit/symbol
(3)
I(X;Y)?H(X)?H(X/Y)?1?0.811?0.189 bit/symbolI(X;Z)?H(X)?H(X/Z)?1?0.862?0.138 bit/symbolI(Y;Z)?H(Y)?H(Y/Z)?1?0.862?0.138 bit/symbol
I(X;Y/Z)?H(X/Z)?H(X/YZ)?0.862?0.405?0.457 bit/symbolI(Y;Z/X)?H(Y/X)?H(Y/XZ)?0.862?0.405?0.457 bit/symbolI(X;Z/Y)?H(X/Y)?H(X/YZ)?0.811?0.405?0.406 bit/symbol
2-14 (1)
P(ij)= P(i/j)=
(2) 方法1:
=
方法2:
2-15
P(j/i)=
2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。
（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图
（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。 （3）比较两种信源熵的大小，并说明原因。 解：（1）H(X)P(黑|白)=P(黑)
?0.3log2
1010
?0.7log2?0.8813bit/符号 37
P(白|白)＝P(白)
P(黑|黑)＝P(黑) P(白|黑)＝P(白)
（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化）
H?(X)?H(X2|X1)??p(xi,yj)log2
ij
1
p(xi,yj)
?0.9143?0.7log2?0.8?0.3log2
＝0.512bit/符号
111
?0.0857?0.7log2?0.2?0.3log2
0.91430.08570.2
10.8
2.17 每帧电视图像可以认为是由3?105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解： 1)
H(X)?log2n?log2128?7 bit/symbol
H(X)?NH(X)?3?10?7?2.1?10 bit/symbol
2)
N
5
6
H(X)?log2n?log210000?13.288 bit/symbolH(XN)?NH(X)?1000?13.288?13288 bit/symbol
3)
H(XN)2.1?106
N???158037
H(X)13.288
2.20 给定语音信号样值X的概率密度为态变量的连续熵。 解：
1??x
p(x)??e,???x???,求Hc(X)，并证明它小于同样方差的正
2
1??x
Hc(X)???px(x)logpx(x)dx???px(x)logedx
2????1
???px(x)logdx??px(x)(??x)logedx
2????11??x
??log?loge?e(?x)dx
22??
11
??log??loge?e?x??(?x)dx?log
22??11
??log??2loge?2xe??xdx
2201??x??
???log??loge?(1??x)e??0
212e??log??loge?log
2?
??0
??
??
??
??
????
?
1??x
e(?x)dx 2
E(X)?0,D(X)?
H(X,)?
2
?
2
1214?elog2?e2?log2???H(X) 2?2?
?1?
2.24 连续随机变量X和Y的联合概率密度为：p(x,y)???r2
??0
H(XYZ)和I(X;Y)。
?
x2?y2?r2其他
，求H(X), H(Y),
（提示：
解：
?
2
log2sinxdx??
?
2
log22）
p(x)??
r2?x2
?r2?x2
r
p(xy)dy??
r2?x2
?
12r2?x2
dy? (?r?x?r)2r2?x2?r2?r
Hc(X)???p(x)logp(x)dx
?rr
2r2?x2
???p(x)logdx
?r?r2rr2
???p(x)log2dx??p(x)logr2?x2dx
?r?r?r
r?r2
?log??p(x)logr2?x2dx
?r2?r21
?log?logr?1?log2e
22
1
?log2?r?log2e bit/symbol
2
其中：
?
r
?r
p(x)logr2?x2dx
r
2r2?x222
??logr?xdx2?r?r4r
?2?r2?x2logr2?x2dx?r0
40
令x?rcos?2?rsin?logrsin?d(rcos?)
?r2
402
??2?rsin2?logrsin?d??r2??
??
4
4
?
20
sin2?logrsin?d?sin?logrd??
?
2
?
?
4
?
20
4
?
?
?
20
sin2?logsin?d?
?
1?cos2?41?cos2?
?logr?2d???2logsin?d?
00?2?2
?
?
?
20
?
2
?
logr?2d??
2
?
?
logr?2cos2?d??
??
2
logsin?d??
??
2
?
20
cos2?logsin?d?
?logr?
1
?
logr?2dsin2??
2
?
(?
?
2
log22)?
??
2
?
20
cos2?logsin?d?
?logr?1?
??
2
?
20
cos2?logsin?d?
1
?logr?1?log2e
2
其中：
??
?
2
?
20
cos2?logsin?d?
?
20
??
1
logsin?dsin2?
?
20
1???sin2?logsin??????????
1
?
?
??2sin2?dlogsin???0
?
?
?
2
?
20
2sin?cos?
?
cos?log2e
d?
sin?
?
2
log2e?2cos2?d?
1?cos2?
d?
0?2??
112??log2e?d??log2e?2cos2?d?
log2e?2
?
??
11??log2e?log2esin2?
22?1
??log2e
2
?
20
p(y)??
r2?y2
?r?yp(xy)dx??
r2?y2
?
2r2?y21
dx?(?r?y?r)
r?y?r2?r2
p(y)?p(x)
1
H
C(Y)?HC(X)?log2?r?log2e bit/symbol
2Hc(XY)????p(xy)logp(xy)dxdy
R
????p(xy)log
R
1
dxdy?r2
?log?r2??p(xy)dxdy
R
?log2?r2 bit/symbolIc(X;Y)?Hc(X)?Hc(Y)?Hc(XY) ?2log2?r?log2e?log?r2 ?log2??log2e bit/symbol
2.25 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；
(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。
解： (1)
133??1
H(X)???p(xi)logp(xi)???log?log??0.811 bit/symbol
444??4i
(2)
m
100?m
?1??3?
p(xi)??????
?4??4?
3100?m?100
4
3
?41.5?1.585m bit4100
100?m
I(xi)??logp(xi)??log
(3)
H(X100)?100H(X)?100?0.811?81.1 bit/symbol
2-26
P(i)=
P(ij)=
H(IJ)=
2.29 有一个一阶平稳马尔可夫链
X1,X2,?,Xr,?,各
Xr取值于集合
A??a1,a2,a3?,已知起始概率
P(Xr)为
p1?1/2,p2?p3?1/4，转移概率如下图所示
(1) 求(X1,X2,X3)的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵
(3) 求H0,H1,H2和它们说对应的冗余度 解：（1）
H(X1,X2,X3)?H(X1)?H(X2|X1)?H(X3|X2,X1)?H(X1)?H(X2|X1)?H(X3|X2)
111111
H(X1)??log?log?log?1.5bit/符号
224444
X1，X2的联合概率分布为
p(x2j)??p(x1ix2j)
i
X2的概率分布为
那么
111131131
H(X2|X1)?log4?log4?log4?log?log3?log?log3
48862126212
=1.209bit/符号
X2X3的联合概率分布为
那么
H(X3|X2)?
=1.26bit/符号
771535535
log2?log4?log4?log?log3?log?log3 244883627236272
H(X1,X2,X3)?1.5?1.209?1.26?3.969bit/符号
所以平均符号熵H3(X1,X2,X3)
?
3.969
?1.323bit／符号 3
14013
1?4??1? 3??0???
?1?2??2（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为P??3?2???3
??WP?W由? 得到
Wi?1???
224?1?
W1?W2?W3?1W1??2?337??
13?1?W1?W3?W2W2?计算得到 ??4314??
3?W1?W2?W3?1?W3???14??
又满足不可约性和非周期性
3???4111321
H?(X)??WiH(X|Wi)?H(,,)?2?H(,,0)?1.25bit/符号
72441433i?1
(3)H0
1.5?1.209
?1.35b5i/t符号
2
1.251.251.25
?0?1??0?1??0.21?1?1??1?1??0.617 ?2?1??2?1??0.078
1.581.51.355
/符号 H2??log3?1.58bit/符号 H1?1.5bit
2-30
(1) 求平稳概率
P(j/i)=
解方程组
得到
(2)
信源熵为:
2-31
P(j/i)= 解方程组 得到W1= , W2= , W3=
2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。 （1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H?进行比较
图2-13
?1?pp/2p/2?
??
p/2解:根据香农线图,列出转移概率距阵P?p/21?p??
??p/2p/21?p??
令状态0,1,2平稳后的概率分布分别为W1,W2,W3
?WP?W
?3
得到 ?
??Wi?1?i?1
p?
(1?p)W1?W2??2??p
?W1?(1?p)W2??2
?W1?W2?W3?1??1p?W?W3?W1
?32
?
p1?
W3?W2 计算得到?W? 23?
1?W??3?
由齐次遍历可得
??????1pp12
H?(X)??WiH(X|Wi)?3?H(1?p,,)?(1?p)log?plog
3221?ppi???
H(X)?log3?1.58bit/符号 由最大熵定理可知H?(X)存在极大值
,
或者也可以通过下面的方法得出存在极大值:
???
??H?(X)1?pp21?p????log(1?p)?(?1)?log?p?????log?p1?p2p2?2(1?p)?
p11pp
又0?p?1所以?????0,???当p=2/3时?1
2(1?p)22(1?p)2(1?p)2(1?p)???
?H?(X)p
0
?p2(1?p)
2/3
????H?(X)p
??log?0
?p2(1?p)
??????
所以当p=2/3时H?(X)存在极大值,且H?(X)max?1.58bit/符号 ???,
所以H?(X)?H(X)
2-33
(1)
解方程组
:
得p(0)=p(1)=p(2)= (2)
(3)
当p=0或p=1时 信源熵为0
练习题：有一离散无记忆信源，其输出为
X??0,1,2?，相应的概率为p0?1/4,p1?1/4,p2?1/2，设计
两个独立的实验去观察它，其结果分别为
Y1??0,1?,Y2??0,1?，已知条件概率:
(1) 求I(X;Y1)和I(X;Y2)，并判断哪一个实验好些
(2) 求I(X;Y1Y2)，并计算做Y1和Y2两个实验比做Y1和Y2中的一个实验可多得多少关于X的信息 (3) 求I(X;Y1|Y2)和I(X;Y2|Y1)，并解释它们的含义 解:(1)由题意可知
P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2
11111
?I(X;Y1)?H(Y1)?H(Y1|X)?log2?log?log?2?log2=0.5bit/符号
42424111
I(X;Y2)?H(Y2)?H(Y2|X)?log2?log1?log1?log1?1bit/符号>I(X;Y1)
442
所以第二个实验比第一个实验好 （2）因为Y1和Y2 相互独立，所以p(y1y2|x)?p(y1|x)p(y2|x)
11
1212124?log1?log1?
44
bit/符号
=1.5bit/符号
由此可见，做两个实验比单独做Y1可多得1bit的关于X的信息量，比单独做Y2多得0.5bit的关于X的信息量。 （3）
I(X;Y1|Y2)?H(X|Y1)?H(X|Y1,Y2)?H(X,Y2)?H(X)?[H(X)?I(X;Y1,Y2)]?[H(X)?I(X;Y2)]?[H(X)?I(X;Y1,Y2)]?I(X;Y1,Y2)?I(X;Y2)
=1.5-1=0.5bit/符号
表示在已做Y2的情况下，再做Y1而多得到的关于X的信息量 同理可得
I(X;Y2|Y1)?I(X;Y1,Y2)?I(X;Y1)=1.5-0.5=1bit/符号
表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量
?2?3?1?
3.1 设二元对称信道的传递矩阵为?3
解： 1)
1?3?2??3?
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
3311
H(X)???p(xi)??(?log2??log2)?0.811 bit/symbol
4444iH(Y/X)????p(xi)p(yj/xi)logp(yj/xi)
i
j
322311111122
??(?lg??lg??lg??lg)?log210
433433433433
?0.918 bit/symbol
3211
????0.583343433112
p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0.4167
4343
H(Y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980 bit/symbolp(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?
j
I(X;Y)?H(X)?H(X/Y)?H(Y)?H(Y/X)
H(X/Y)?H(X)?H(Y)?H(Y/X)?0.811?0.980?0.918?0.749 bit/symbolI(X;Y)?H(X)?H(X/Y)??0.811?0.749?0.062 bit/symbol
2)
1122
C?maxI(X;Y)?log2m?Hmi?log22?(lg?lg)?log210?0.082 bit/symbol
3333
1
其最佳输入分布为p(xi)?
2
3-2某信源发送端有2个符号，xi，i＝1，2；p(xi)?a，每秒发出一个符号。接受端有3种符号yi，j＝1，2，3，
转移概率矩阵为P（1） （2） （3）
?1/21/20???。 ??1/21/41/4?
计算接受端的平均不确定度； 计算由于噪声产生的不确定度H(Y计算信道容量。
|X)；
?1/21/20?
解：P???
1/21/41/4??
联合概率p(xi,yj)
（1）H(Y)?log2? log?log
241?a41?a
1116a1?a
?log2?log?log
241?a241?a1111a1?a
?log2?log16?log?log2
2441?a41?a311a1?a
?log2?log?log2
241?a41?a
取2为底
311a1?aH(Y)?(?log2?log)bit 22
241?a41?a
1a11?a11?a11?a1??a
（2）H(Y|X)?? log?log?log?log?log??2222224444??
3(1?a)
??alog2?log2
2
3?a?log2
2
取2为底
H(Y|X)?
3?a
bit 2
11a1?a??a
?c?maxI(X;Y)?max?H(Y)?H(Y|X)??max?log2?log?log?p(xi)p(xi)p(xi)41?a241?a??2
a11a1?a?(ln2?ln?ln)2
取e为底
?a
112a11?aa11?ln2??ln?(??) 2241?a41?a41?a1?a1a11?aa2?ln2??ln? 22(1?a2)41?a41?a2
111?a
?ln2?ln
241?a
= 0
1?a1?
1?a4
3?a?
51311131
?c??log2?log??log2541?454312531?log2?log?log 104162043153
?log2?log?log2 10241015?log 24
3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
解：
由题意可知该二元信道的转移概率矩阵为：
?0.990.01?P???
0.010.99??
为一个BSC信道
所以由BSC信道的信道容量计算公式得到：
C?logs?H(P)?log2??pilog
i?1
2
1
?0.92bit/signpi
1
Ct?C?1000C?920bit/sec
t
3.4 求图中信道的信道容量及其最佳的`输入概率分布.并求当e=0和1/2时的信道容量C的大小。
X
1－e
Y 0
1 1
2
1－e
2
00??1??,此信道为非奇异矩阵,又r=s,可利用方程组求解
e解: 信道矩阵P=01?e??
?e1－e??0?
?
3
j=1
P(bj|ai)bj=?P(bj|ai)logP(bj|ai) (i=1,2,3)
j=1
3
ìb1=0???
í(1-e)b2+eb3=(1-e)log(1-e)+eloge ?????eb2+(1-e)b3=eloge+(1-e)log(1-e)
解得b1
=0
b2=b3=(1-e)log(1-e)+eloge
所以 C=log
?
2
bj
=log[20+2×2(1-e)log(1-e)+eloge]
j
=log[1+21-H(e)]=log[1+2(1-
e)(1-e)ee]
ì11?1-C-C?P(b)=2b=2==1?(1-e)e1-H(e)?1+2(1-e)e1+2???(1-e)eee?b2-C?P(b2)=2=í(1-e)e?1+2(1-e)e???P(b3)=2b3-C=P(b2)??????3
而 P(bj)=?P(ai)P(bj|ai) (j=1,2,3)
i=1
ìP(b1)=P(a1)???得íP(b2)=P(a2)(1-e)+P(a3)e ?????P(b3)=P(a2)e+P(a3)(1-e)
1
所以 P(a1)=P(b1)=
1+2(1-e)(1-e)ee
(1-e)eee
P(a2)=P(a3)=P(b2)=P(b3)=
1+2(1-e)(1-e)ee
当e=0时,此信道为一一对应信道,得
1
C=log3, P(a1)=P(a2)=P(a3)=
311
当e=1/2时,得 C=log2, P(a1)=,P(a2)=P(a3)=
24
3.5 求下列二个信道的信道容量，并加以比较
?p??
（1）??p??
?
p??p??
?p??2??
? （2）?
?p??2????
p??p??
2?0
0?
? 2???
其中p+p=1
解：
（1）此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集 由于集列所组成的矩阵
?p???
?p???
算。
p????2??
?,??而这两个子矩阵满足对称性，因此可直接利用准对称信道的信道容量公式进行计???2?p?????
2
C1=logr-H(p1’ p2’ p3’)-
?NklogMk
k?1
其中r=2,N1=M1=1-2C1=log2-H(=log2+(
? N2=2? M2=4? 所以
p??,p-ε,2ε)-(1-2?)log(1-2?)-2?log4?
p??)log(p??)+(p-ε)log(p-ε)
p??)log(p??)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε
p??)log(p??)+(p-?)log(p-?)
=log2-2εlog2-(1-2ε)log(1-2ε)+(=(1-2ε)log2/(1-2ε)+(
输入等概率分布时达到信道容量。
（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，
此信道矩阵中Y可划分成两个互不相交的子集，由子集列所组成的矩阵为?
?p??
?p???p????2??，??p?????0
0?
?2???
这两矩阵为对称矩阵 其中r=2,N1=M1=1-2
2
? N2=M2=2?，所以
C=logr-H(
p-?,p-ε,2ε,0)-?NklogMk
k?1
=log2+(
p-?)log(p-?)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε
p-?)log(p-?)+(p-ε)log(p-ε) p-?)log(p-?)+(p-ε)log(p-ε)
=log2-(1-2ε)log(1-2ε)+(
=(1-2ε)log2/(1-2ε)+2εlog2+(=C1+2εlog2
输入等概率分布（P（a1）=P（a2）=1/2）时达到此信道容量。比较此两信道容量，可得C2=C1+2εlog2
3-6 设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
X
Y
图3-17
1
00??1?0110?
22? 解：??0022???00?22?
对称信道
C?logm?H(Y|ai)
1
?log4??2log2
2
取2为底 C?1bit/符号
3-7 (1)
条件概率
，联合概率，后验概率
111
p(y0)?? ， y1)?? ，y2
)??
326
（
2） H(Y/X)=
（3）
当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为： P(x1/y2)=
15
，P(x2/y2)=
15
，P(x3/y2)=
35
其中错误概率为： Pe=P(x1/y2)+P(x3/y2)=（4）平均错误概率为
（5）仍为0.733 （6）此信道不好
原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真严重
15
?
35
?0.8
x3-y3的概率0 完全失真 （7）
H(X/Y)=
16
Log(2)?
110
Log(5)?
115
Log??
213?5?1?5?1?5?
??Log???Log(5)?Log???Log(10)?Log???1.301
1010?2?15?2?10?3?30?3?
5?
3. 8 设加性高斯白噪声信道中，信道带宽3kHz，又设{(信号功率+噪声功率)/噪声功率}=10dB。
试计算该信道的最大信息传输速率Ct。
解：
6
3. 9 在图片传输中，每帧约有2.25?10个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）。
解：
H?log2n?log216?4 bit/symbolI?NH?2.25?106?4?9?106 bit?10
I9?106
Ct???1.5?105 bit/s
t60
?PX?
Ct?Wlog??1?P??
N??
3-10 一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。 （1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；
（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？ 解：（1）C
1.5?105
W???15049 Hz
?PX?log2(1?1000)log??1?P??
N??
Ct
?Wlog2(1?SNR)
?1?106log2(1?10)
?3.159Mbps
（2）C2?W2log2(1?5)?3.459Mbps
3.159M
?W2??1.338MHZ
log26?W3log2(1?SNR')?3.459Mbps
3.459
log2(1?SNR')?
0.5
?SNR?120
（3）C3
4.1
解：
依题意可知：失真矩阵：d??平均失真：
2
2
???01??1??
p(b|a)?，转移概率 ji???1????10???
???p(ai)p(bj|ai)d(ai,bj)
i?1j?1
?1/2?(1??)?0?1/2???1?1/2???1?1/2?(1??)?0??
4.2
解：
?01?
依题意可知：失真矩阵：d???，
20??
Dmin??p(xi)mind(xi,yj)?1/2?0?1/2?0?0
i
j
Dmax?minDj?min?p(xi)d(xi,yj)?1/2?0?1/2?1?1/2(1/2?2?1/2?0?1舍去)
j
i
当Dmin
?0，R(Dmin)?R(0)?H(X)?log2?1bit
?10?
因为没有失真，此时的转移概率为P???
01??
当Dmax
?1/2，R(Dmax)?0
因为取的是第二列的Dmax值，所以输出符号概率:p(b1)?0,p(b2)?1,a1?b2,a2?b2,因此编码器的转
?01?
移概率为P???
01??
4.3
解：
11113
Dmax?minDj?min?p(xi)d(xi,yj)??1??1??1??0?
j44444i
1111
Dmin??p(xi)mind(xi,yj)??0??0??0??0?0
j4444i
当Dmin?0，R(Dmin)?R(0)?H(X)?log4?2bit
?1000??0100?
? 因为没有失真，此时的转移概率为P??
?0010???0001??
当Dmax?3/4，R(Dmax)?0
因为任何一列的Dmax值均为3/4，所以取输出符号概率:
p(b1)?1,p(b2)?0,p(b3)?0,p(b4)?0，即
000?000?? 000?
?
000?
?1?1
a1?b1,a2?b1,a3?b1,a4?b1因此编码器的转移概率为P??
?1??1
4.4
解：
依题意可知：失真矩阵：d??
j
?011/4?
， ?
?101/4?
Dmin??p(xi)mind(xi,yj)?1/2?0?1/2?0?0
i
Dmax?minDj?min?p(xi)d(xi,yj)?min(1/2?1/4?1/2?1/4)?1/4(其它2个均为1/2)
j
i
当Dmin
?0，R(Dmin)?R(0)?H(X)?log2?1bit
?100?
因为没有失真，此时的转移概率为P???
010??
当Dmax?1/4，R(Dmax)?0
因为取的是第三列的Dmax值为1/4，所以取输出符号概率:
p(b1)?0,p(b2)?0,p(b3)?3，即
?001?
a1?b3,a2?b3因此编码器的转移概率为P???
001??
4.5
解：
0??01??1
(1)依题意可知：失真矩阵：d???，转移概率为：P??q1?q?
10????
???p(xi)p(yj|xi)d(xi,yj)?p?1?0?p?0?1?(1?p)?q?1?(1?p)?(1?q)?0
i?1j?1
nm
?q?(1?p)
(2)Dmin
??p(xi)mind(xi,yj)?p?0?(1?p)?0?0
i
j
因为R(D)是D的递减函数，所以
max(R(D))?R(Dmin)?H(p)?H(Dmin)??plogp?(1?p)log(1?p)
当q
?0时可达到max(R(D))，此时?0
?minDj?min?p(xi)d(xi,yj)?p?0?p?1?p(另一个1?p更大，舍去)
j
i
(3) Dmax
因为R(D)是D的递减函数，所以
min(R(D))?R(Dmax)?H(p)?H(Dmax)?0
当q
?1时可达到min(R(D))，此时?1?p
(图略，见课堂展示)
4.6
解：
1??0?1??u??0
依题意可知：失真矩阵：d???，信源?p(u)???1/21/2?
?01??????
Dmin??p(xi)mind(xi,yj)?1/2?0?1/2?0?0，
i
j
Dmax?minDj?min?p(xi)d(xi,yj)?min(1/2?0?1/2??,1/2???1/2?0,1/2?1?1/2?1)
j
i
?min[?,?,1]?1(另二个?，舍去)
0?D?1
因为二元等概信源率失真函数：
?D?
R(D)?lnn?H??
?a?
其中n?2,a?1，所以率失真函数为： R(D)?1?D
4.7
解：失真矩阵为
?011?
?，按照P81页方法求解（例4-5是二元输入和输入，本题是三元输入和输入，超麻烦！明天再算好
d??101??
??110??
发送过来噢）
4.8
信息率失真函数R(D)物理意义：
①R(D)是信源给定的情况下，在可容忍的失真度内再现信源消息所必须获得的最小平均信息量； ②R(D)是反映给定信源可压缩的程度；
③R(D)求出后，就与选择的试验信道无关，而只是信源特性的参量，不同的信源，其R(D)是不同的。 R(D)函数的性质：
性质1 : R(D)在定义域内是下凸的 性质2 : R(D)在定义域内是连续的 性质3 : R(D)在定义域内是单调递减的 因此：
1. R(D)是非负函数，定义域0～Dmax，值域0～H(X)； 2. R(D)是单调不增、下凸的连续函数。
H(XR(D* max
(2) 哪些码是非延长码？
(3) 对所有唯一可译码求出其平均码长和编译效率。 解：首先，根据克劳夫特不等式，找出非唯一可译码
C1:6?2?3?1
C2:2?1?2?2?2?3?2?4?2?5?2?6?63?164
C4:2?1?2?2?4?2?4?1C3:
C5:2?1?5?2?3?1C6:2?2?5?2?3?1?C5不是唯一可译码，而C4：
又根据码树构造码字的方法
63?164
C1，C3，C6的码字均处于终端节点
?他们是即时码
5-2
(1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2
平均信息传递速率为 (2) 信源熵为
H(X)=
bit/ms=200bit/s
5-5
(1) H(U)=
=0.198bit/ms=198bit/s
11111111
24816326412812814
18
12
Log(2)?Log(4)?Log(8)?
116
Log(16)?
132
Log(32)?
164
Log(64)?
1128
Log(128)?
1128
Log(128)?1.984
(2) 每个信源使用3个二进制符号,出现0的次数为
出现1的次数为
P(0)=
P(1)= (3)
(4) 相应的香农编码
相应的费诺码
（5）香农码和费诺码相同 平均码长为
编码效率为：
5-11
（1）信源熵
（2）香农编码：
平均码长：
编码效率为
（3） 费诺编码为
平均码长为：
编码效率：
（4）哈夫曼编码
平均码长为：
编码效率：
5.16 已知二元信源{0，1}，其p0=1/4,p1=3/4,试用式（4.129）对序列11111100编算术码，并计
算此序列的平均码长。
解：根据算术编码的编码规则，可得：P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)2
?1?l??log??7
P(S)??
根据（4.129）可得：
F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110) = 1–
?P(y)= 1 – P(11111111) – P(11111110) – P(11111101) – P(11111100)
y?s
= 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.110100100111
又P(S) = A(S)= 0.0000001011011001，所以F(S) + P(S) = 0.1101010 即得C = 0.1101010 得S的码字为1101010 平均码长L为 0.875。
