信息论：基础理论与应用(第3版)/普通高等教育“十一五”规划教材 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

傅祖芸 著

图书标签:

• 信息论
• 通信原理
• 编码学
• 数据压缩
• 机器学习
• 信号处理
• 概率论
• 数学模型
• 高等教育
• 规划教材

店铺： 博学精华图书专营店

出版社： 电子工业出版社

ISBN：9787121129001

商品编码：29744519267

包装：平装

基本信息

书名:信息论：基础理论与应用(第3版)/普通高等教育“十一五”规划教材

定价：48.00元

售价：32.6元,便宜15.4元,折扣67

作者:傅祖芸

出版社：电子工业出版社

出版日期：

ISBN：9787121129001

字数：

页码：

版次：1

装帧：平装

开本：16开

商品重量：0.699kg

编辑推荐

内容提要

《普通高等教育“十一五”规划教材·信息论：基础理论与应用（第3版）》系统地论述了香农信息论基本理论及某些应用问题，基本覆盖了信息论的各个方面的内容。内容包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆、离散和连续信道的信道容量；香农信息论的三个基本定理：无失真信源编码定理、限失真信源编码定理和信道编码定理；网络信息理论及保密系统的信息理论。《普通高等教育“十一五”规划教材·信息论：基础理论与应用（第3版）》还介绍了无失真数据压缩（即无失·信源编码）的实用的编码算法与方法，以及信道纠错编码的基本内容和分析方法。后还简要地介绍了信息论与热力学、光学、统计学、生物学和医学等其他学科交叉结合的应用内容。

目录

章 绪论
1.1 信息的概念
1.2 信息论研究的对象、目的和内容
1.3 信息论发展简史与信息科学

第2章 离散信源及其信息测度
2.1 信源的数学模型及分类
2.2 离散信源的信息熵
2.2.1 自信息
2.2.2 信息熵
2.3 信息熵的基本性质
2.4 信息熵的性定理
2.5 离散无记忆的扩展信源
2.6 离散平稳信源
2.6.1 离散平稳信源的数学定义
2.6.2 二维离散平稳信源及其信息熵
2.6.3 离散平稳信源的极限熵
2.7 马尔可夫信源
2.7.1 马尔可夫信源和m阶马尔可夫信源的定义
2.7.2 马尔可夫信源和m阶马尔可夫信源的信息熵
2.8 信源剩余度与自然语言的熵
2.9 意义信息和加权熵
小结
习题

第3章 离散信道及其信道容量
3.1 信道的数学模型及分类
3.1.1 信道的分类
3.1.2 离散信道的数学模型
3.1.3 单符号离散信道的数学模型
3.2 平均互信息及平均条件互信息
3.2.1 信道疑义度
3.2.2 平均互信息
3.2.3 平均条件互信息
3.3 平均互信息的特性
3.4 信道容量及其一般计算方法
3.4.1 离散无噪信道的信道容量
3.4.2 对称离散信道的信道容量
3.4.3 准对称信道的信道容量
3.4.4 一般离散信道的信道容量
3.5 信道容量的迭代算法
3.5.1 信道容量的迭代算法
3.5.2 信道容量迭代算法的收敛性
3.6 离散无记忆扩展信道及其信道容量
3.7 独立并联信道及其信道容量
3.8 串联信道的互信息和数据处理定理
3.9 信源与信道的匹配
小结
习题

第4章 波形信源和波形信道
4.1 波形信源的统计特性和离散化
4.2 连续信源和波形信源的信息测度
4.2.1 连续信源的差熵
4.2.2 连续平稳信源和波形信源的差熵
4.2.3 两种特殊连续信源的差熵
4.3 连续信源熵的性质及大差熵定理
4.3.1 差熵的性质
4.3.2 具有大差熵的连续信源
4.4 连续信源熵的变换
4.4.1 坐标变换后概率密度函数的变化
4.4.2 坐标变换后差熵的变化
4.5 熵功率
4.6 连续信道和波形信道的分类
4.6.1 按信道输入和输出的统计特性分类
4.6.2 按噪声的统计特性分类
4.6.3 按噪声对信号的作用功能分类
4.7 连续信道和波形信道的信息传输率
4.7.1 基本连续信道的平均互信息
4.7.2 多维连续信道的平均互信息
4.7.3 波形信道的信息传输率
4.7.4 连续信道平均互信息的特性
4.8 连续信道和波形信道的信道容量
4.8.1 单符号高斯加性信道
4.8.2 单符号非高斯加性信道
4.8.3 多维无记忆高斯加性连续信道
4.8.4 多维有记忆高斯加性连续信道
4.8.5 限带高斯白噪声加性波形信道
4.8.6 有色高斯加性波形信道
4.8.7 香农公式的重要实际指导意义
小结
习题

第5章 无失真信源编码定理
5.1 编码器
5.2 等长码
5.3 渐近等分割性和ε典型序列
5.4 等长信源编码定理
5.5 变长码
5.5.1 可译变长码与即时码
5.5.2 即时码的树图构造法
5.5.3 克拉夫特（Kraft）不等式
5.5.4 可译变长码的判断法
5.6 变长信源编码定理
小结
习题

第6章 有噪信道编码定理
6.1 错误概率和译码规则
6.2 错误概率与编码方法
6.2 联合ε典型序列
6.4 有噪信道编码定理
6.5 联合信源信道编码定理
小结
习题

第7章 保真度准则下的信源编码
7.1 失真度和平均失真度
7.1.1 失真度
7.1.2 平均失真度
7.2 信息率失真函数及其性质
7.2.1 信息率失真函数
7.2.2 信息率失真函数的性质
7.3 二元信源和离散对称信源的R（D）函数
7.3.1 二元对称信源的R（D）函数
7.3.2 离散对称信源的R（D）函数
7.4 信息率失真函数的参量表述及其计算
7.5 信息率失真函数的迭代算法
7.6 连续信源的信息率失真函数
7.6.1 连续信源的信息率失真函数
7.6.2 高斯信源的信息率失真函数
7.6.3 连续信源R（D）函数的参量表述及计算
7.7 保真度准则下的信源编码定理
7.7.1 失真ε典型序列
7.7.2 保真度准则下信源编码定理的证明
7.8 联合有失真信源信道编码定理
7.9 限失真信源编码定理的实用意义
小结
习题

第8章 无失真的信源编码
8.1 霍夫曼（Huffman）码
8.1.1 二元霍夫曼码
8.1.2 r元霍夫曼码
8.1.3 霍夫曼码的佳性
8.2 费诺（Fano）码
8.3 香农-费诺-埃利斯码
8.4 游程编码和MH编码
8.4.1 游程编码
8.4.2 MH编码
8.5 算术编码
8.6 字典码
8.6.1 LZ？77编码算法
8.6.2 LZ？78编码算法
8.6.3 LZW编码算法
8.6.4 LZ码复杂？和性能分析
小结
习题

第9章 信道的纠错编码
9.1 差错控制的基本形式
9.2 纠错码分类及基本概念
9.2.1 纠错码分类
9.2.2 纠错码的基本概念及其纠错能力
9.3 线性分组码
9.3.1 一致校验矩阵和生成矩阵
9.3.2 伴随式及标准阵列译码
9.3.3 汉明码
9.4 循环码
9.4.1 循环码结构及其多项式描述
9.4.2 循环码的生成多项式和生成矩阵
9.4.3 循环码的校验多项式和伴随式
9.4.4 循环码的编、译码器
9.5 卷积码
9.5.1 卷积码的解析表示
9.5.2 卷积码的图解表示
小结
习题

0章 网络信息论
10.1 通信网信道的分类
10.2 多个随机变量的联合典型序列
10.3 相关信源编码
10.4 多址接入信道
10.4.1 离散多址接入信道
10.4.2 多址接入高斯噪声信道
10.5 相关信源和多址接入信道
10.5.1 相关信源和多址接入信道的对偶性
10.5.2 相关信源的多址接入信道
10.6 广播信道
10.7 中继信道
10.8 具有边信息的信源编码
10.9 具有边信息的数据压缩
小结
习题

1章 保密系统的基本信息理论
11.1 保密学的基本概念
11.2 保密系统的数学模型
11.3 古典密码体制
11.3.1 单表密码
11.3.2 移位代换密码
11.3.3 乘数密码
11.3.4 固定周期d的位移置换
11.3.5 多表代换密码
11.4 完全保密性
11.5 理论保密性
11.6 实际保密性
小结
习题

2章 信息论与其他学科的关系和应用
12.1 信息熵与热力学熵
12.2 信息论与光学
12.2.1 光学信息量
12.2.2 光量子信道的信道容量
12.2.3 大熵光学图像恢复
12.3 大熵原理与谱估计
12.3.1 高斯随机过程的熵率
12.3.2 伯格的大熵定理
12.4 信息论与生命科学
12.4.1 DNA到蛋白质的通信系统
12.4.2 信息系数与信息分类
12.4.3 医学中的信息分析
小结

附录
附录A 凸函数和詹森不等式
附录B 马尔可夫链
B.1 马尔可夫链的定义
B.2 转移概率和转移矩阵
B.3 各态历经定理
附录C 熵函数的函数表
附录D 所用符号及编写说明
参考书目和文献

作者介绍

文摘

序言

信号的魔法：探索信息奥秘的旅程 你是否曾惊叹于信息传递的瞬息万变？从远古的烽火狼烟到如今的指尖世界，信息始终是人类文明进步的基石。而隐藏在这些神奇现象背后的，是一门深刻而迷人的学科——信息论。它如同一把钥匙，为我们解锁了信息的本质，揭示了信号传输的极限，并指引我们如何更高效、更可靠地处理海量数据。 本课程将带领你踏上一段令人兴奋的探索之旅，深入理解信息的内在规律，学习如何量化信息，如何衡量信息传输的效率与可靠性，并掌握各种强大的信息编码与解码技术。你将不再仅仅是信息的接收者，更能成为信息的设计者和优化者，在数字时代浪潮中游刃有余。 一、 信息的量化：给“无形”一个标尺 想象一下，你收到一条短信：“晚安”。与收到一条长篇小说相比，哪个信息量更大？信息论的首要任务，便是为“信息量”这一抽象概念赋予一个精确的度量。我们将从最基本的信息源出发，了解“比特”（bit）这一信息的基本单位，并学习如何计算离散信息源的熵（entropy）。熵，如同一个信息源的不确定性度量，它告诉我们，要消除这种不确定性，平均需要多少比特的信息。 你将了解到，那些越是出乎意料、越是新颖的信息，其信息量越大。比如，在一场足球比赛中，一记漂亮的“世界波”进球所包含的信息量，远大于对方球员一次无谓的失误。我们将通过具体的例子，比如硬币抛掷、骰子滚动等，直观理解熵的计算方法，并探讨不同概率分布下信息源熵的差异。 更进一步，我们将引入联合熵、条件熵和互信息等概念。联合熵描述了两个随机变量同时携带的信息量，条件熵则衡量了在一个随机变量已知的情况下，另一个随机变量的不确定性。而互信息，则是连接信息论与通信的桥梁，它量化了两个随机变量之间共享的信息量，这对于理解信号在噪声干扰下的信息损失至关重要。 二、 通信的极限：香农的卓越洞见 信息论最辉煌的成就之一，便是香农提出的通信原理。在信息传输过程中，我们常常面临着“噪声”的困扰，它如同信号传输中的“杂音”，试图抹去我们想要传递的信息。噪声的存在，似乎是信息传输的天然障碍。然而，香农以其惊人的智慧，证明了在存在噪声的情况下，信息依然可以被可靠地传输，只不过存在一个理论上的极限。 我们将深入探讨“信道容量”（channel capacity）这一核心概念。信道容量，如同一个通信链路所能承载的最大信息传输速率，它是由信道的带宽、信噪比等因素决定的。香农第二定理告诉我们，只要信息传输速率低于信道容量，我们就能够找到合适的编码和解码技术，实现任意低的错误率。这一定理的意义非凡，它为我们指明了信息传输的理论可能性，并为设计高效的通信系统提供了坚实的理论基础。 你将学习到，信道容量的计算不仅仅是理论上的探讨，它直接影响着我们实际通信系统的设计。比如，我们在手机通信、无线网络、卫星通信等领域，都需要考虑信道容量的限制，并在此基础上设计出能够最大化信息传输效率的方案。 三、 编码的艺术：让信息“瘦身”又“健壮” 信息量化和信道容量的理论，为我们提供了理解信息传输的框架。而编码技术，则是实现高效、可靠信息传输的具体手段。在信息传输过程中，我们常常需要对信息进行处理，以达到压缩冗余、抵抗噪声的目的。 a. 数据压缩：让信息“轻装上阵” 在数字世界中，数据量爆炸式增长。如何有效地存储和传输这些海量数据，是我们需要解决的重要问题。数据压缩技术应运而生，它通过去除信息中的冗余，使得信息可以用更少的比特来表示，从而节省存储空间和传输带宽。 你将学习到几种经典的数据压缩算法，例如： 熵编码（Entropy Coding）： 基于信息的概率分布，为出现频率高的符号分配短的码字，为出现频率低的符号分配长的码字。例如，霍夫曼编码（Huffman Coding）和算术编码（Arithmetic Coding）便是熵编码的代表。你将了解它们的编码原理和解码过程，并体会到它们在实际应用中的威力，如文本压缩、图像压缩等。 字典编码（Dictionary Coding）： 将重复出现的字符串或短语替换为字典中的索引。如，Lempel-Ziv (LZ) 系列算法，如 LZ77 和 LZ78，以及其更著名的后代 LZW 算法，广泛应用于 ZIP、GIF 等文件格式中。你将理解它们如何通过构建动态字典来实现高效压缩。 b. 信道编码：让信息“身披铠甲” 在充满噪声的信道中传输信息，就像在信息上加上了一层“杂音”。信道编码的目标，是在信息中加入一定的冗余，使得接收端能够检测甚至纠正传输过程中产生的错误，从而实现可靠的信息传输。 你将接触到以下几种重要的信道编码技术： 线性分组码（Linear Block Codes）： 它们是最基本也是最重要的信道编码类型。你将学习到循环码（Cyclic Codes），如CRC码（Cyclic Redundancy Check），它广泛应用于数据校验；以及海明码（Hamming Codes），它们能够在一定程度上检测和纠正单个比特错误。你将理解它们的编码矩阵、生成多项式以及译码过程。 卷积码（Convolutional Codes）： 与分组码不同，卷积码的编码输出不仅取决于当前输入，还取决于之前的输入。它们在纠错能力和编码复杂度之间取得了一个良好的平衡。你将了解卷积码的编码器结构，以及维特比译码算法（Viterbi Algorithm）——一种高效的解码方法，它能够找到最有可能的原始信息序列。 现代高性能码（Modern Powerful Codes）： 随着技术的发展，更复杂的信道编码技术应运而生，它们能够逼近香农极限。你将了解到Turbo码（Turbo Codes）和LDPC码（Low-Density Parity-Check Codes）的原理，它们在现代通信系统（如4G、5G通信）中发挥着至关重要的作用。你将体会到它们是如何通过迭代译码来达到惊人的纠错性能。 四、 信息理论在现实中的回响 信息论并非高高在上的理论，它的思想和技术已经渗透到我们生活的方方面面。 通信系统： 从我们手中的智能手机到远方的卫星通信，信息论是所有通信系统的基石。它指导着我们如何设计调制解调器、如何分配频谱、如何提高数据传输速率和可靠性。 数据存储： 硬盘、闪存等存储设备，都在运用信息论的思想来提高存储密度和数据的可靠性。纠错码的原理被广泛应用于这些存储介质中，以对抗存储过程中的物理损耗。 人工智能与机器学习： 在机器学习领域，信息论的概念，如熵、互信息，被用来度量特征的重要性、构建决策树、优化模型参数。例如，信息增益（Information Gain）是决策树算法中常用的划分属性的标准。 生物信息学： DNA序列的分析、基因组学的研究，也受益于信息论的工具。通过信息论的视角，我们可以分析基因序列的冗余度、识别重要的功能区域。 密码学： 信息论为密码学的安全性提供了理论基础。例如，香农的“安全信息论”探讨了密码系统的理论安全性。 踏入信息论的世界，你将开启一扇通往数字未来的大门。你将不再仅仅满足于使用信息，更能理解信息是如何被创造、被传递、被保护的。这门课程将为你提供一套强大的思维工具，让你能够更深入地理解这个信息爆炸的时代，并在各个领域发挥你的创造力。让我们一起，揭开信号的魔法，探索信息的无限可能！

评分☆☆☆☆☆

与其他国内教材相比，这本书在覆盖面上显得更为全面和国际化。它没有偏废任何一个信息论的重要分支，从早期的有噪信道编码到后来的网络信息论，再到源编码的最新进展，都有所涉及。阅读过程中，我能明显感觉到作者在努力平衡理论的纯粹性和工程的实用性之间的张力。书中引用的文献列表也相当丰富，很多都是该领域的经典之作，这为我进行更深层次的研究指明了阅读方向。这本书更像是一部“百科全书”式的参考书，而不是一本易读的入门读物。它适合那些已经有一定基础，希望系统性地梳理知识体系，并寻找未来研究方向的研究生和资深工程师。如果你想快速了解信息论的皮毛，这本书可能略显厚重；但如果你想扎根于此，深入挖掘其精髓，那么它提供的知识广度和深度是毋庸置疑的宝贵财富。它在我的书架上占据了一个非常重要的位置，是未来几年我需要反复研读的对象。

评分☆☆☆☆☆

说实话，这本书的排版和印刷质量只能算是中规中矩，纸张略显单薄，长时间阅读下来，眼睛会有些疲劳。但我更关注的是其内容的深度和广度。这本书的优势在于它对“信息”这个概念进行了极其深入和多维度的剖析。它不仅仅停留在通信系统的基本模型上，而是将信息论的触角延伸到了统计推断、机器学习的边界，甚至是更宏大的哲学思辨层面。我特别欣赏其中关于信道容量和纠错码那一章节的处理方式，作者并没有简单罗列各种编码方案，而是深入挖掘了它们背后的信息论极限。阅读这些章节时，我感觉自己像是一个工程师，在面对一个不可能完成的任务时，试图找到那个理论上最优的解决方案。每当遇到一个难以理解的推导时，我常常会合上书本，在草稿纸上重新演算一遍，那种与作者进行“思想对话”的感觉，是其他教材难以给予的。尽管有些地方的论述略显晦涩，需要反复揣摩，但这正说明了它内容的前沿性和深刻性，它不是一本让你轻松看完就束之高阁的书，而是需要你反复咀嚼、内化的工具书。

评分☆☆☆☆☆

我购买这本书是冲着“应用”二字来的，毕竟理论再完美，脱离实际也失去了光彩。这本书在理论框架搭建得非常坚实之后，确实开始展示其应用价值。比如在讲解网络信息论时，书中对多用户场景下的信息传输瓶颈进行了深入分析，这对于我目前从事的分布式系统优化工作非常有启发性。但美中不足的是，很多应用案例的展开略显单薄，更像是理论成果的引用而非深入的实践指导。举个例子，当提到深度学习中的信息瓶颈理论时，书中只是点到为止，没有提供足够多的代码示例或者具体的算法实现细节。这使得读者在试图将书中的知识迁移到实际工程问题时，总感觉隔着一层纱。我期待未来修订版能增加更多与现代计算和数据科学紧密结合的案例，例如信息度量在自然语言处理中的实际应用，或者如何利用信息论工具来分析大数据流的复杂性。这本书为我们指明了方向，但通往应用层面的“桥梁”还需要我们自己去搭建。

评分☆☆☆☆☆

这本书的叙事风格非常严谨，几乎没有冗余的文字，所有的表述都直指核心定义和定理的证明。对于习惯了轻松阅读的读者来说，这可能是一种挑战，因为它要求你必须保持高度的专注力。我记得有一次，我尝试在通勤的地铁上阅读，结果因为环境嘈杂和精神分散，一个关键的引理推导我反复看了三遍都没跟上作者的思路，最后不得不放弃，等到回到安静的办公室才能继续。这种对逻辑链条的苛刻要求，虽然保证了知识的精确性，但也使得学习过程充满“摩擦”。然而，正是这种高强度的思维训练，帮助我建立起了一套严密的逻辑框架。我发现，读完这本书后，看待其他工程问题时，都会不自觉地去寻找其背后的“信息量”和“传输效率”，这无疑是一种思维方式的根本性转变。它强迫你用数学的精准去衡量世界的模糊性。

评分☆☆☆☆☆

这本书拿到手上，首先映入眼帘的是那厚实的书脊和略带磨损的书页，一看就是经过了无数次翻阅的痕迹。我是一个刚接触信息论的小白，抱着忐忑的心情翻开了第一章。坦白说，最初的章节内容对我来说就像是天书，那些概率论和随机过程的基础知识像是砖头一样垒在那里，让人望而生畏。我花了很长时间才勉强理解了香农熵这个核心概念，那种醍醐灌顶的感觉，虽然短暂，却让我对信息这种抽象事物有了一丝丝具象的把握。书中的例题设计得非常巧妙，尤其是那些关于信源编码的实例，虽然一开始理解起来很吃力，但多推导几次，就能感受到信息论的严谨和美感。作者在阐述一些复杂定理时，往往会先用通俗的语言勾勒出脉络，然后再深入到数学推导，这种循序渐进的方式，极大地降低了初学者的学习门槛。不过，我还是希望更多的实际应用案例能穿插在基础理论讲解中，这样能让我更直观地理解这些抽象概念在工程实践中的价值。总体来说，这本书像是为那些有一定数学基础，但对信息论领域充满好奇的探索者准备的一张详尽的地图，只是有些路段需要你自己去努力攀登。