信息论基础 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

于秀兰 著

图书标签:

• 信息论
• 编码理论
• 通信原理
• 概率论
• 数学基础
• 机器学习
• 数据压缩
• 信号处理
• 人工智能
• 统计推断

出版社： 电子工业出版社

ISBN：9787121312892

版次：1

商品编码：12195426

包装：平装

开本：16开

出版时间：2017-04-01

用纸：胶版纸

页数：276

字数：441600

正文语种：中文

编辑推荐

适读人群 ：本书可作为高等院校电子信息工程、通信工程等相关专业的本科生教材，也可作为相关领域中教学与科研人员和工程技术人员的参考用书。

本书针对通信工程、电子信息工程和信息工程等专业的教学需要，重点讲授香农信息论的基本原理及其应用，强调在信息传输系统这一工程应用背景下建立信息论的数学分析方法。

内容简介

本书重点介绍了香农信息论的基本原理及其应用。在保持一定理论深度的基础上，尽可能简化繁杂的公式、定理的证明，采用较多的例题和图示来展示基本概念和原理的应用。叙述上力求概念清楚、重点突出、深入浅出、通俗易懂；内容上力求科学性、先进性、系统性与实用性的统一。 本书共8章，内容包括：绪论、离散信源及其信息度量、离散信道及其信道容量、连续信源和连续信道、无失真信源编码、有噪信道编码、限失真信源编码和网络信息论初步。

作者简介

于秀兰，重庆邮电大学通信学院副教授，主要从事通信原理和信息论的教学和科研工作；重庆市精品课程《信息论基础》和第二负责人（实际负责人）；重庆市精品课程《通信原理》第二负责人；编著有"信息论”和"通信原理”等多部教材。

目录

第1章 绪论 1
1．1 信息的概念 1
1．1．1 什么是信息 1
1．1．2 信息如何度量 2
1．2 信息传输系统 4
1．3 信息论的研究内容 7
1．3．1 基本信息论的研究内容 7
1．3．2 一般信息论的研究内容 8
1．3．3 广义信息论的研究内容 8
1．4 香农信息论的形成和发展 8
习题 10
第2章 离散信源及其信息度量 12
2．1 离散信源的分类 12
2．2 离散信源的统计特性 13
2．2．1 单符号离散信源的统计特性 13
2．2．2 多符号离散信源的统计特性 13
2．3 离散随机变量的信息度量 14
2．3．1 自信息和信息熵 14
2．3．2 联合自信息和联合熵 19
2．3．3 条件自信息和条件熵 21
2．3．4 各类熵之间的关系 24
2．4 离散信源的N次扩展信源 27
2．4．1 离散信源的N次扩展信源的熵 27
2．4．2 离散无记忆信源的N次扩展信源的熵 28
2．5 离散平稳信源 29
2．5．1 离散平稳信源的数学定义 29
2．5．2 有限维离散平稳信源的条件熵 31
2．5．3 二维离散平稳信源的平均符号熵 32
2．5．4 离散平稳信源的极限熵 33
2．5．5 计算极限熵的处理方法 36
2．6 马尔可夫信源 37
2．6．1 马尔可夫信源的描述 37
2．6．2 齐次遍历的马尔可夫信源 39
2．6．3 齐次遍历马尔可夫信源的极限熵 41
2．7 离散信源的相关性和剩余度 46
习题 48
第3章 离散信道及其信道容量 53
3．1 离散信道的分类 53
3．2 离散信道的数学模型 54
3．2．1 单符号离散信道的数学模型 54
3．2．2 多符号离散信道的数学模型 57
3．3 离散随机变量的互信息和平均互信息 59
3．3．1 互信息的定义 59
3．3．2 互信息的性质 60
3．3．3 平均互信息的定义 61
3．3．4 平均互信息的性质 62
3．3．5 平均互信息与各类熵之间的关系 65
3．3．6 平均联合互信息和平均条件互信息 66
3．4 信道容量的定义 68
3．4．1 信息传输率和信息传输速率 68
3．4．2 信道容量 69
3．5 单符号离散信道及其信道容量 71
3．5．1 典型信道的信道容量 71
3．5．2 串联信道及其信道容量 75
3．5．3 信息处理定理 76
3．5．4 一般离散信道的信道容量 77
3．6 多符号离散信道及其信道容量 85
3．6．1 多符号离散信道的平均互信息 85
3．6．2 离散无记忆信道的信道容量 86
3．6．3 独立并联信道及其信道容量 86
3．7 信源与信道的匹配 87
习题 88
第4章 连续信源和连续信道 93
4．1 连续信源的分类和统计特性 93
4．1．1 连续信源的分类 93
4．1．2 连续信源的统计特性 93
4．2 连续随机变量的信息度量 95
4．2．1 连续随机变量的熵 96
4．2．2 连续随机变量的平均互信息 98
4．3 连续信源的信息度量 99
4．3．1 单符号连续信源的熵 100
4．3．2 多符号连续信源的熵 100
4．3．3 波形信源的熵率 101
4．4 连续信源的最大熵 102
4．4．1 瞬时功率受限的连续信源 103
4．4．2 平均功率受限的连续信源 103
4．4．3 连续信源的熵功率 105
4．5 连续信源熵的变换 106
4．6 连续信道和波形信道的分类 108
4．6．1 连续信道的分类 108
4．6．2 波形信道的分类 109
4．7 连续信道的平均互信息 110
4．7．1 连续信道 110
4．7．2 加性信道 111
4．8 连续信道的信道容量 112
4．8．1 一维高斯加性信道 113
4．8．2 多维无记忆高斯加性信道 114
4．9 波形信道的信道容量 116
4．9．1 限带AWGN信道的容量 116
4．9．2 香农公式的讨论 117
习题 120
第5章 无失真信源编码 123
5．1 信源编码的基本概念 123
5．1．1 信源编码的数学模型 123
5．1．2 信源编码的分类 124
5．1．3 唯一可译码和即时码 125
5．1．4 编码效率 128
5．2 无失真信源编码定理 130
5．2．1 无失真定长信源编码定理 131
5．2．2 无失真变长信源编码定理 135
5．3 常见的无失真信源编码方法 137
5．3．1 香农（Shannon）码 138
5．3．2 霍夫曼（Huffman）码 139
5．3．3 费诺（Fano）码 147
5．3．4 香农-费诺-埃利斯码 148
5．3．5 算术码 149
5．3．6 LZ码 152
习题 154
第6章 有噪信道编码 158
6．1 错误概率 158
6．1．1 错误概率和译码规则 158
6．1．2 错误概率和编码方法 162
6．2 有噪信道编码定理 163
6．3 联合信源信道编码定理 166
6．4 信道编码的基本概念 167
6．4．1 信道编码的分类 168
6．4．2 线性分组码的检错和纠错能力 168
6．4．3 最小汉明距离译码 170
6．4．4 差错控制的三种方式 171
6．4．5 差错控制的途径 172
6．5 线性分组码 173
6．5．1 线性分组码的编码 173
6．5．2 线性分组码的译码 180
6．5．3 完备码和汉明码 185
6．6 循环码 186
6．6．1 循环码的码多项式 186
6．6．2 循环码的生成多项式和生成矩阵 187
6．6．3 循环码的伴随式 190
6．6．4 BCH码和RS码 192
6．7 卷积码 194
6．7．1 卷积码的解析表示 194
6．7．2 卷积码的图形描述 198
6．7．3 卷积码的译码方法 200
6．7．4 递归型系统卷积码 202
6．8 交织码 203
6．9 级联码 205
6．10 Turbo码 205
6．11 LDPC码 207
习题 208
第7章 限失真信源编码 212
7．1 失真测度 212
7．1．1 失真函数 213
7．1．2 平均失真 215
7．1．3 保真度准则 216
7．2 信息率失真函数 217
7．2．1 信息率失真函数的定义 217
7．2．2 R(D)函数的性质 217
7．3 常见信源的R(D)函数 220
7．3．1 R(D)函数的参量表示法 220
7．3．2 离散对称信源的R(D)函数 224
7．3．3 高斯信源的R(D)函数 229
7．4 限失真信源编码定理 231
7．5 联合限失真信源信道编码定理 232
习题 233
第8章 网络信息论初步 237
8．1 网络信源 237
8．2 网络信道 239
8．2．1 多址接入信道 239
8．2．2 广播信道 241
8．3 网络信源和网络信道的联合/分离 242
8．4 网络编码 243
8．4．1 网络编码原理 243
8．4．2 线性网络编码原理 244
8．4．3 网络编码的优势 245
8．5 协作通信 246
8．5．1 中继网络中协作策略及其容量 247
8．5．2 多中继高斯信道的容量 250
附录A 詹森不等式及其应用 253
附录B 信息度量的常用公式 260
参考文献 263

前言/序言

信息社会被广泛认为是继农业社会、工业社会之后的第三次伟大的科技革命与社会变革，信息论、控制论和系统论成为信息社会最基础的理论体系。信息论是20世纪40年代末期由美国数学家香农等人创立的，它是关于通信的数学理论，是一门高度概括的、应用广泛的综合性学科，经过几十年的发展，已经成为信息科学的重要基础理论。

香农信息论应用概率论、随机过程和数理统计等方法来研究信息的存储、传输和处理中的一般规律，揭示如何采用适当的编码提高信息系统的可靠性和有效性，为构造最佳通信系统提供了重要的理论依据。其主要内容包括三个基本概念（信源熵、信道容量和信息率失真函数）及其三个编码定理（无失真信源编码定理、有噪信道编码定理和限失真信源编码定理）。

本书针对通信工程、电子信息工程和信息工程等专业的教学需要，重点讲授香农信息论的基本原理及其应用，强调在信息传输系统这一工程应用背景下建立信息论的数学分析方法。全书共8章，主要内容如下。

第1章介绍香农信息论的概况，包括信息的概念、信息传输系统的组成、信息论的研究内容、形成和发展。

第2章介绍离散信源及其信息度量。首先介绍离散信源的分类和统计特性，然后讨论离散随机变量的信息度量，包括自信息和信息熵、联合自信息和联合熵、条件自信息和条件熵，进而讨论离散信源的Ｎ次扩展信源、离散平稳信源和马尔可夫信源的信息度量，最后介绍离散信源的相关性和剩余度。

第3章介绍离散信道及其信道容量。首先介绍离散信道的分类和数学模型，然后定量地研究信道传输的平均互信息及其重要性质，并重点讨论几种典型单符号离散信道的信道容量，进而研究一般单符号离散信道的信道容量的计算方法，而后讨论多符号离散信道的信道容量，最后讨论信源和信道的匹配问题。

第4章介绍连续信源和连续信道。首先介绍连续信源的分类及其统计特性，进而讨论其信息度量，而后介绍连续信道的分类及其信道容量，并重点讨论表征AWGN信道容量的香农公式。

第5章论述无失真信源编码定理，并给出几种常见的无失真信源编码方法。

第6章论述有噪信道编码定理，并讨论几种常见的信道编码和译码的方法。

第7章论述限失真信源编码定理，并讨论信息率失真函数的定义、性质及其计算。

第8章介绍网络信息论的一些基本理论和新成果。

本书在叙述上力求概念清楚、体系完整、重点突出、通俗易懂；在内容上力求科学性、先进性、系统性与实用性的统一。读者在学习时应结合实际通信系统来理解信息论和编码理论，注重对物理概念的理解，培养分析和解决通信系统中实际问题的能力。

本书由于秀兰、陈前斌、王永编著，其中第1章、第2章、第5章和第6章由于秀兰编写；第4章和第8章由陈前斌编写；第7章由王永编写；第3章由于秀兰和王永共同编写；最后由于秀兰统稿。

本书在编写过程中得到了重庆邮电大学雷维嘉教授、蒋青教授、陈善学教授和唐伦教授等多位同行的帮助，在出版过程中得到了电子工业出版社的鼎力支持，在此一并表示诚挚的谢意。

由于作者水平有限，书中错误难免，敬请读者批评指正。

作 者

2017年1月

《信息论基础》：理解信息之魅，洞悉通讯之秘 在浩瀚的知识海洋中，信息作为现代社会的基石，其重要性不言而喻。从微观的基因序列到宏观的宇宙信号，信息以各种形式存在，驱动着文明的进步，连接着世界的每一个角落。然而，信息并非总是清晰可见，也并非总是能够精准无误地传递。我们如何量化信息？信息传递的极限在哪里？如何有效地编码、压缩和传输信息，以对抗噪声的侵扰？《信息论基础》一书，正是为了解答这些 fundamental 的问题而生。它以严谨的数学语言和深刻的逻辑推理，为我们揭示了信息的本质，构建了一个理解和操作信息的理论框架。 本书并非一本简单的科普读物，它深入探讨了信息论的核心概念，为读者构建起一个系统性的知识体系。我们将从信息熵（Entropy）这个核心概念入手。熵，在这里并非是物理学中那个衡量混乱度的概念，而是信息论中衡量一个信息源不确定性或信息量的度量。一个信息源的不确定性越大，我们获得的信息量就越多。例如，抛掷一枚均匀的硬币，正面或反面的出现概率各占一半，其不确定性较高，因此获得一次抛掷结果的信息量就相对较高。而如果是一枚两面都是正面的硬币，那么无论抛掷多少次，结果都是确定的，其信息熵为零。我们将通过详细的数学推导，理解如何计算离散随机变量的熵，以及其在不同概率分布下的特性。 在此基础上，我们将进一步探讨联合熵（Joint Entropy）、条件熵（Conditional Entropy）和互信息（Mutual Information）等概念。联合熵衡量的是两个或多个随机变量同时取值的不确定性。条件熵则是在已知某个随机变量的情况下，另一个随机变量的不确定性。而互信息，则是信息论中最具革命性的概念之一，它量化了两个随机变量之间共享的信息量，即一个随机变量能告诉我们多少关于另一个随机变量的信息。理解互信息，对于我们分析信号的关联性、评估通信系统的有效性至关重要。例如，在一个通信系统中，输入信号的互信息与输出信号的互信息，就直接反映了信息在传输过程中能够保留多少。 本书还将深入讲解信息编码（Information Coding）的理论。编码是信息传递的关键环节。无损编码（Lossless Coding）的目标是在不损失任何信息的前提下，对信息进行压缩，以便更高效地存储和传输。我们将学习到两种经典的无损编码方法：香农-范诺编码（Shannon-Fano Coding）和哈夫曼编码（Huffman Coding）。香农-范诺编码是基于信息熵的概念，为出现概率高的符号分配短的编码，为出现概率低的符号分配长的编码。哈夫曼编码则在此基础上，通过一种贪心算法，能够构建出最优的平均码长编码。这些编码技术在日常生活中的应用无处不在，比如ZIP文件压缩、PNG图片格式等，都离不开这些基本的编码原理。 除了无损编码，我们还将探讨有损编码（Lossy Coding）。有损编码允许在一定程度上丢失信息，以换取更高的压缩率。这在图像、音频和视频压缩中尤为重要，因为人眼和人耳对某些信息的损失并不敏感。我们将接触到一些有损编码的基本思想，尽管本书不会深入到具体的编码算法（如JPEG、MP3），但会为理解这些复杂算法背后的基本原理打下坚实基础。 信息的传输离不开通信渠道。本书将重点阐述信道容量（Channel Capacity）的概念。信道容量是信息论中的一个核心定理——香农第二定理（Shannon’s Second Theorem）的核心内容。它定义了一个通信渠道能够可靠传输信息的最大速率。这个定理的意义在于，它为通信系统的设计设定了一个理论上的上限，即只要信息传输速率低于信道容量，就存在一种编码方案，使得信息的错误率可以任意小。反之，如果传输速率超过信道容量，那么信息的可靠传输是不可能的。我们将理解不同类型的信道，例如离散无记忆信道（Discrete Memoryless Channel）和高斯白噪声信道（Gaussian White Noise Channel），以及如何计算它们的信道容量。 为了实现低错误率的可靠传输，纠错编码（Error-Correcting Codes）应运而生。本书将介绍纠错编码的基本原理和一些重要的编码族。纠错编码通过在原始信息中添加冗余信息，使得接收端能够检测甚至纠正传输过程中出现的错误。我们将学习到线性分组码（Linear Block Codes）和卷积码（Convolutional Codes）等基本概念。例如，重复码（Repetition Codes）是最简单的纠错码，通过多次重复发送同一个信息位来提高可靠性。而更复杂的纠错码，如汉明码（Hamming Codes），则能够有效地检测和纠正一定数量的错误。这些编码技术在卫星通信、移动通信、数据存储等领域发挥着至关重要的作用，是现代数字通信的基石。 此外，本书还会触及一些更深层次的话题。例如，我们将探讨“最大熵原理”（Principle of Maximum Entropy），它提供了一种在信息不完全的情况下，选择最“无偏见”概率分布的方法。我们还将初步了解渐近均分性质（Asymptotic Equipartition Property, AEP），它揭示了大量独立同分布的随机变量序列的平均信息量趋于其熵的特性，是理解压缩和信道编码的理论基础。 《信息论基础》的语言力求清晰严谨，虽然涉及数学推导，但作者会尽可能地解释每个概念的物理意义和应用背景，避免枯燥的公式堆砌。通过学习本书，读者将能够： 深刻理解信息的本质： 掌握信息熵、条件熵、互信息等核心概念，理解信息量与不确定性的关系。 掌握信息编码的基本原理： 了解无损和有损编码的目标，学习香农-范诺编码和哈夫曼编码等经典方法。 理解通信系统的极限： 认识信道容量的概念，了解香农第二定理对通信速率的限制。 初步接触纠错编码： 了解纠错编码的作用，掌握其基本原理和一些基础编码的思路。 建立量化分析思维： 培养用数学工具来分析和解决信息相关问题的能力。 无论您是通信工程、计算机科学、统计学、信号处理等领域的学生，还是对信息科学抱有浓厚兴趣的从业者或爱好者，《信息论基础》都将为您打开一扇通往信息世界的大门。它不仅仅是一本理论教材，更是一种思考信息的方式。掌握了信息论的知识，您将能更深刻地理解数据压缩的奥秘，更清晰地洞察通信系统的效率，更具前瞻性地把握未来信息技术的走向。这是一段探索信息本质、解锁数据潜力、驾驭信息洪流的旅程，而《信息论基础》将是您最可靠的向导。

评分☆☆☆☆☆

拿到《信息论基础》这本书，我首先被它厚重的分量所吸引，这通常意味着内容会比较充实。作为一名在通信领域工作多年的工程师，我一直觉得信息论是我们的“内功心法”，掌握好了，才能在实际工作中游刃有余。这本书的目录非常详细，涵盖了从最基础的信源编码、信道编码，到更高级的率失真理论、网络信息论等内容。我迫不及待地翻到了我最感兴趣的章节，比如纠错码的部分。书中对各种纠错码的原理、结构和性能进行了非常详尽的介绍，包括那些经典的里德-所罗门码、卷积码，以及一些更现代的LDPC码和极化码。作者不仅给出了数学描述，还配有图示和实例，这对于我们理解这些复杂的编码算法非常有帮助。我特别喜欢它对不同编码方案的优劣势进行对比分析，这能够帮助我们在实际工程设计中做出更明智的选择。此外，书中还讨论了香农公式的推导和意义，这更是我们通信工程师的“圣经”。虽然一些推导过程需要一定的数学基础，但作者的讲解方式让我能够逐步理解，并且感受到香农理论的强大力量。这本书给我感觉非常“实用”，它不仅有理论深度，更有实践指导意义，是我案头必备的参考书。

评分☆☆☆☆☆

我拿到《信息论基础》这本书，纯粹是出于一种“好奇心”。我一直对那些能够解释自然界和人类社会普遍规律的理论感到着迷，而“信息”恰恰是构成我们认知世界的最基本要素之一。这本书从我拿到手的那一刻起，就展现出一种“学术的魅力”。它不像市面上很多“快餐式”的科普读物，而是以一种非常系统、非常扎实的方式，将信息论的理论体系呈现在读者面前。我尤其喜欢它在开篇就对“信息”这个概念进行的哲学层面的探讨，这让我觉得作者不仅仅是在教授一门技术，更是在引导读者去思考“是什么”。书中对“编码”的阐述也让我大开眼界，它不仅仅是简单的字符替换，而是涉及到如何高效、准确地传递信息，这背后蕴含着深刻的数学原理。我还在学习过程中，有些章节需要反复阅读和琢磨，尤其是那些涉及到概率和随机过程的内容，对我来说有些挑战。但即便如此，我依然能感受到这本书的“深邃”和“严谨”，它让我看到了一个全新的认识世界和沟通世界的视角。这本书对我来说，不仅仅是一本技术书籍，更像是一扇通往更广阔知识领域的窗户，让我看到了更多未知的可能。

评分☆☆☆☆☆

对于《信息论基础》这本书，我更多的是抱着一种“拓宽知识边界”的心态去阅读的。我本人并非数学或计算机科学的专业人士，但一直对那些能够解释世界运行规律的理论感到着迷。信息论，这个听起来就充满智慧的名字，自然引起了我的兴趣。这本书给我最直观的感受就是它的“严谨性”。作者在定义每一个概念时都力求精确，并且逻辑清晰，层层递进。虽然有些章节涉及数学推导，但我发现作者的讲解方式非常“有耐心”，他会一步步地引导读者理解，即使是对非专业人士来说，也并非完全不可理解。我最欣赏的是它对于“信息”本身定义的探讨。在信息爆炸的时代，我们每天都在接收海量的信息，但究竟什么是“信息”？如何度量信息？这本书提供了非常深刻的思考。它不仅仅是讲授技术，更是在引导读者去思考信息的存在方式、传播方式以及它所蕴含的意义。我还在慢慢消化书中的内容，尤其是那些涉及到概率论和统计学的章节，需要花点时间去回顾和理解。但总的来说，这本书让我对“信息”这个概念有了全新的认识，也让我对我们所处的这个信息时代有了更深刻的洞察。

评分☆☆☆☆☆

这次拿到《信息论基础》这本书，我真的有点“功利心”作祟，希望通过这本书能够解决我在实际工作中遇到的一些瓶颈。我主要从事的是数据分析相关的工作，经常需要处理海量的数据，并且从中提取有用的信息。我总觉得，如果能从信息论的角度去理解数据，也许能发现一些新的分析方法和优化思路。拿到书后，我最先关注的是它在实际应用方面的阐述。这本书并没有让我失望，它花了相当大的篇幅来讲解信息论的各个分支是如何在现实世界中发挥作用的。比如，它详细介绍了编码理论如何帮助我们实现高效的数据压缩和纠错，这对于我们存储和传输大量数据至关重要。我还对书中关于信道容量的讨论很感兴趣，这直接关系到我们在有限的带宽下能够传输多少信息，对于网络优化和通信系统的设计有着直接的指导意义。作者在讲解这些概念的时候，并没有回避数学公式，但同时又给出了非常详细的推导过程和物理意义的解释，让我能够理解公式背后的逻辑，而不是死记硬背。我特别喜欢书中引用的一些工程案例，比如通信卫星、硬盘存储等，这些案例让抽象的理论变得触手可及，也让我看到了信息论强大的生命力。我目前还在深入研究，但已经觉得这本书为我打开了一个新的视角，让我能够更系统、更深入地理解数据和信息。

评分☆☆☆☆☆

《信息论基础》这本书，我拿到的时候就充满了期待。我对信息论这个领域一直很好奇，总觉得它隐藏着很多关于我们如何理解世界、如何沟通交流的深层奥秘。这本书的封面设计就很简洁大气，没有花哨的图案，只有书名，这让我觉得作者一定是想把重心放在内容本身。拿到书后，迫不及待地翻开，里面的排版也很清晰，字体大小适中，阅读起来不会觉得吃力。我特别喜欢它对一些基本概念的引入方式，不是那种上来就抛出大量公式和专业术语，而是从一些生活中的例子入手，比如我们平时收发短信、听广播、看电视，这些日常行为背后都隐藏着信息论的原理。作者用非常生动形象的比喻，把抽象的概念变得通俗易懂，这对我这个初学者来说，简直是福音。我记得有一段讲到“信息熵”的概念，作者用了“不确定性”来类比，就像你手里握着一把扑克牌，不知道下一张是什么，这种未知就是熵。这个比喻一下子就点醒了我，让我对这个看似高深的理论有了初步的认识。而且，书中还穿插了一些历史发展的脉络，介绍了一些重要人物和他们的贡献，这让我感觉这不是一本死板的技术手册，而是一部有生命力的学科发展史，读起来很有味道。我还在学习中，但已经能感受到这本书的扎实功底和作者的良苦用心。