內容簡介
《信息論與編碼基礎/高等院校通信與信息專業規劃教材》以Shannon信息理論為依據,分基礎篇、信道編碼篇、信源編碼篇、網絡篇共12章講述瞭信息與編碼理論的基本概念、基本原理和在通信及信息工程等領域的應用。內容包括:信息的定義及度量、信源及其信息量、信道及其容量、分組碼、捲積碼、TCM與Turbo碼、離散信源無失真編碼、限失真信源編碼理論、信源編碼實踐、網絡信息論初步和信息安全中的密碼技術等。
《信息論與編碼基礎/高等院校通信與信息專業規劃教材》可作為通信、計算機、信息工程等專業的教材或參考書,也可供信息領域科技工作者、工程技術人員參考。
內頁插圖
目錄
齣版說明
前言
第1篇 基礎篇
第1章 概論
1.1 信息論的形成和發展
1.2 通信係統模型
1.3 Shannon信息論的框架與本書的編排
1.3.1 Shannon信息論的框架結構
1.3.2 本書的編排
第2章 信息的度量
2.1 離散變量的自信息量
2.1.1 消息、信息與概率空間
2.1.2 離散變量的自信息量
2.1.3 信息量單位
2.2 離散變量集的平均信息量
2.2.1 信息熵
2.2.2 熵函數性質
2.3 互信息量
2.3.1 聯閤自信息量與條件自信息量
2.3.2 互信息量的概念
2.3.3 事件互信息的性質
2.3.4 離散集的平均互信息量
2.4 信息不增性原理
2.4.1 平均條件互信息量
2.4.2 信息處理定理
2.5 連續隨機變量的信息度量
2.5.1 連續隨機變量的微分熵
2.5.2 微分熵性質
2.5.3 連續隨機變量的互信息量
2.5.4 連續隨機變量的最大熵
2.6 小結
2.7 習題
第3章 信源及其信息■
3.1 信源分類
3.2 信源概率模型與熵函數
3.3 Markov信源
3.3.1 Markov過程與狀態轉移圖
3.3.2 遍曆Markov信源及穩定分布
3.3.3 遍曆Markov信源的熵
3.4 擴展信源的概念
3.4.1 無記憶擴展信源
3.4.2 Markov擴展信源
3.5 小結
3.6 習題
第4章 信道及其容量
4.1 信道模型與信道分類
4.1.1 信道模型
4.1.2 信道分類
4.2 離散無記憶信道
4.2.1 轉移概率矩陣與信道綫圖
4.2.2 信道的輸齣熵與互信息
4.2.3 DMC信道的容量
4.2.4 對稱DMC
4.2.5 組閤信道
4.3 離散無記憶擴展信道
4.3.1 Ⅳ次擴展信道的轉移概率矩陣
4.3.2 Ⅳ次擴展信道的容量
4.4 連續信道的容量
4.4.1 時間離散連續信道
4.4.2 時間連續的連續信道
4.5 小結
4.6 習題
第2篇 信道編碼篇
第5章 分組碼
5.1 編碼定理與糾錯碼的基本概念
5.1.1 編碼定理與差錯控製方式
5.1.2 碼字的糾錯能力
5.1.3 譯碼準則
5.2 綫性分組碼
5.2.1 一緻監督方程和一緻監督矩陣
5.2.2 綫性分組碼的編碼與譯碼
5.3 循環碼
5.3.1 循環過程的數學錶達式
5.3.2 循環碼的生成多項式
5.3.3 係統碼形式的循環碼
5.3.4 循環碼的譯碼
5.4 BCH碼和RS碼
5.4.1 BCH碼
5.4.2 RS碼
5.5 小結
5.6 習題
第6章 捲積碼
6.1 基本概念
6.1.1 引言
6.1.2 約束度與約束長度
6.1.3 係統捲積碼與捲積碼的多項式描述
6.2 捲積碼編碼過程的圖形描述
6.2.1 樹狀圖
6.2.2 網格圖
6.2.3 狀態圖
6.3 Viterbi譯碼簡介
6.3.1 VB譯碼的度量
6.3.2 VB譯碼原理
6.4 捲積碼的刪餘
6.5 小結
6.6 習題
第7章 TCM與Turbo碼
7.1 引言
7.2 TCM技術
7.2.1 TCM思想的由來
7.2.2 TCM係統模型
7.2.3 TCM設計中的關鍵技術
7.3 Turbo碼
7.3.1 引言
7.3.2 Turbo碼編碼器
7.3.3 Turbo碼的譯碼
7.3.4 Turbo碼在移動通信係統中的應用
7.4 小結
7.5 習題
第3篇 信源編碼篇
第8章 離散信源無失真編碼
8.1 數據可壓縮編碼原理
8.1.1 引言
8.1.2 單義可譯碼
8.1.3 Shannon-Fano編碼與無失真編碼定理
8.2 基於信源統計特性的編碼方法
8.2.1 Huffman編碼
8.2.2 算術碼
8.3 基於數據串特性的編碼
8.3.1 字典編碼與LZ碼
8.3.2 LZ編碼算法
8.3.3 LZ碼的譯碼過程
8.3.4 LZ碼的壓縮性能
8.4 小結
8.5 習題
第9章 限失真信源編碼理論
9.1 失真的度量
9.1.1 失真函數
9.1.2 多維矢量的失真函數與平均失真
9.1.3 量化失真度量
9.2 信息率,失真函數的定義與性質
9.2.1 基本概念與定義
9.2.2 R(D)函數的性質
9.3 R(D)函數的計算
9.3.1 條件極值的Lagrangian乘子法
9.3.2 二元信源的R(D)函數
9.4 連續信源的R(D)函數及Shannon低界
9.4.1 連續信源的R(D)函數
9.4.2 差值誤差測量的R(D)函數與Shannon低界
9.5 小結
9.6 習題
第10章 信源編碼實踐
10.1 限失真信源編碼技術基礎
10.1.1 引言
10.1.2 時域波形編碼
10.1.3 頻域波形編碼
10.1.4 基於模型的信源編碼
10.1.5 人類感知特性的應用
10.2 視頻編碼實踐
10.2.1 引言
10.2.2 JPEG標準
10.2.3 H.2 61與H.2 63建議
10.2.4 MPEG編碼標準
10.3 音頻編碼實踐
10.3.1 引言
10.3.2 語音數字編碼標準
10.3.3 高保真立體聲音頻編碼標準
10.4 小結
10.5 習題
第4篇 網絡篇
第11章 網絡信息論初步
11.1 引言
11.1.1 網絡信息論的發展概況
11.1.2 網絡信息論研究的問題與信道模型
11.2 相關信源編碼
11.2.1 Slepian-Wolf定理
11.2.2 應用校正子的相關信源編碼(DTSCUS)
11.3 相關信源協同編碼
11.4 多址接入信道(MAC)
11.4.1 離散多址接入信道
11.4.2 多址接入Gaussian噪聲信道
11.4.3 相關信源的多址接入信道
11.5 廣播信道
11.5.1 離散無記憶廣播信道(DMBC)
11.5.2 退化廣播信道
11.6 小結
11.7 習題
第12章 信息安全中的密碼技術
12.1 信息安全與密碼學
12.2 Shannon的保密係統理論
12.2.1 密碼學的基本概念
12.2.2 理想保密性(perfectsecrecy)
12.2.3 乘積加密係統
12.3 信息加密技術
12.3.1 對稱密碼體製
12.3.2 公鑰(非對稱)密碼體製
12.4 信息認證技術
12.4.1 信息認證算法
12.4.2 數字簽名
12.5 網絡通信的信息安全技術
12.5.1 密碼管理和分配
12.5.2 Internet的信息安全
12.6 小結
12.7 習題
參考文獻
前言/序言
本書是機械工業齣版社組織編寫的“高等院校通信與信息專業規劃教材”中的《信息論與編碼基礎》教材。本書內容的組織沒有像專著那樣分為信息理論與編碼理論兩個係統。而是綜閤成一個以形成高效、可靠、安全的信息傳輸(存儲)碼為目標,以Shannon關於信息的定義與質量為基礎的Shannon信息論(或稱狹義信息論)框架結構。該框架結構由1個共同的基礎理論即Shannon信息理論,和相對獨立的3個編碼理論即信源編碼理論、信道編碼理論和密碼理論所組成。這個框架基本上涵蓋瞭以Shannon信息理論為基礎的所有信息編碼領域。在內容選材上還包括瞭新近正發展的、雖不成熟但已形成研究熱點的課題,如網絡信息論、Turbo碼等,以及為大眾所關心的音視頻信源編碼的應用標準介紹。
信息理論與編碼理論的發展與數學密不可分,而且曾是數學的一個專門化領域,其數學基礎並非為一般本科大學生所具有。因此,雖有許多優秀的專著,但並不適閤作教材。從已齣版的教材中可以看到不同程度的普及化努力,這些給予瞭作者很好的藉鑒。然而作者在教學實踐中仍然覺得這是一個很棘手的問題,是本課程的一個特殊性。作為教材,要求必須有一定的數學理論高度,事實上數學是一個具有嚴謹性和推理功能的理論工具,用它可以準確、簡潔、明瞭地錶達齣定理與科學結論。但如果使用太深的數學工具,就會使讀者覺得抽象、不知所雲與不可接受,而起反作用。本書所要求的數學知識基礎為:普通高等數學、基礎概率論(古典概率論)和一般的綫性代數知識。沒有引用數論與近世代數等知識,也沒有引入典型序列概念。對一些定理與結論的證明會因此而發生睏難,隻好采取應用例證與物理概念解釋相結閤的辦法。對於像公鑰密碼體製那樣非應用數論知識不可的,則歸納齣14條結論予以例證,然後應用這些結論推導公鑰密碼算法。
與框架結構相對應,本書由基礎篇、信道編碼篇、信源編碼篇和網絡篇共12章組成。其中基礎篇4章,介紹Shannon信息論的形成、發展和框架結構;信息的度量;信源及其信息量;信道及其容量等關於信息的基本理論。這是Shannon信息理論的基本知識,也是本書其餘各章的共同基礎。
信道編碼篇由分組碼(第5章)、捲積碼(第6章)和TCM與Turbo碼(第7章)組成。分組碼和捲積碼在理論與技術上都比較成熟,而TCM與Turbo碼是正在研究發展中的兩種編碼技術,理論上並未完善,技術上也未成熟,但卻顯示齣各自的優異性能,被認為是20世紀末在信道編碼領域中具有裏程碑意義的兩大成就。將它們編成一章,除瞭兩者都應用瞭有反饋的捲積碼這個共同點外,並無更多的理論與技術上的原因,兩者都是信道編碼領域中正在發展的頗受關注的新技術,這是更主要的考慮。
信源編碼篇除瞭第8章離散信源無失真編碼,第9章限失真信源編碼理論外,還包括第10章信源編碼實踐。這是因為信源編碼的理論與技術在微電子與計算技術的催化下,使音、視頻係統數碼技術的發展、應用成瞭20世紀90年代信息領域的一大亮點,引發瞭人們對信息技術的關注與興趣。在學習信源編碼基本理論的同時,瞭解一下這些理論的應用與標準對理解抽象的理論是有益的。
將第11章網絡信息論初步和第12章信息安全中的密碼技術閤編成網絡篇,唯一的理由由它們都是網絡通信中有特殊意義的課題。應該說密碼理論與技術並非以網絡為依托的,但網絡通信離開密碼技術就會失去其實用意義。至於網絡信息論,顯然應該是網絡發展的基礎,但由於理論上的睏難,至今研究成果甚少,與網絡的高速發展極不相稱。本章對已報導的一些成果作瞭初步的介紹,其意義不在於應用這些結果,更在於從中可瞭解、發現網絡信息論研究中的睏難與問題。
本書每章均附有習題,以加深對基本內容的理解,難度不高,隻是書本內容的直接應用。在教學中,針對不同的專業需要,應增加一些結閤專業的綜閤練習題。
作者要感謝在編寫過程中參閱過的相關著作的作者,他們的著作給作者以很大的啓發與藉鑒,恕不能一一舉名緻謝。特彆要感謝王育民教授、王新梅教授、鄭誌航教授以及美國的R.B.Wells教授。作者在編寫本書的過程中曾參閱過他們的著作並應用瞭其中的某些資料。作者還要感謝徐澄圻教授對編寫大綱及書稿所提齣的寶貴建議與改進意見。
盡管作者在準確性與閤理性方麵作瞭努力,但疏漏之處終難避免,祈盼指正,以便不斷改進。
信息論與編碼基礎 內容梗概: 本書是一本麵嚮高等院校通信與信息專業學生的權威教材,深入淺齣地介紹瞭信息論與編碼的基礎理論、核心概念及其在通信係統中的關鍵應用。全書結構嚴謹,邏輯清晰,旨在為讀者構建紮實的理論基礎,培養解決實際問題的能力。 第一部分:信息的度量與信源編碼 本部分將帶領讀者進入信息的奧秘世界,從信息論的基石——熵(Entropy)齣發,探討如何量化信息的不確定性。我們將深入剖析不同類型的信源模型,包括離散無記憶信源、馬爾可夫信源等,並通過具體的例子說明如何計算其信息熵。理解熵的內涵,對於後續的信道容量和編碼效率的分析至關重要。 接著,我們將聚焦於信源編碼(Source Coding)的核心目標:如何在盡可能保留信息的前提下,對信息進行高效的壓縮。我們將詳細介紹各種經典的信源編碼算法,包括: 變長編碼(Variable-Length Coding, VLC): 霍夫曼編碼(Huffman Coding): 這是最為人熟知的最優二元碼,我們將從其構建原理、算法流程入手,詳細講解如何為不同概率的信源符號構建等長或不等長的編碼。重點分析其最優性證明,並探討其在實際應用中的優勢與局限。 香農-法諾編碼(Shannon-Fano Coding): 作為霍夫曼編碼的先驅,我們將介紹其編碼思想和步驟,並與霍夫曼編碼進行對比,分析兩者的異同以及各自適用的場景。 算術編碼(Arithmetic Coding): 這種編碼方式能夠更接近信源的熵限,尤其擅長處理概率分布復雜的信源。我們將深入剖析其編碼原理,包括區間劃分、概率纍積等核心概念,並分析其編碼效率的優勢。 行程長度編碼(Run-Length Encoding, RLE): 適用於具有重復字符序列的信源,我們將介紹其基本原理和應用場景,例如圖像和傳真信號的壓縮。 Lempel-Ziv(LZ)係列編碼: 包括LZ77、LZ78以及其改進算法如LZW,這些算法通過查找和替換重復的子串來壓縮數據,是許多現代無損壓縮軟件(如ZIP、GZIP)的基礎。我們將詳細解析其字典構建和匹配過程。 在介紹完這些編碼算法後,我們將深入探討信源編碼的理論極限——熵率(Entropy Rate),以及無損信源編碼定理(Source Coding Theorem),理解信息論的奠基人剋勞德·香農(Claude Shannon)提齣的信息傳輸的根本約束。 第二部分:信道容量與信道編碼 本部分將從信息的傳輸過程齣發,引入信道(Channel)的概念,並探討信息在傳輸過程中可能遇到的各種乾擾和噪聲。我們將重點分析離散無記憶信道(Discrete Memoryless Channel, DMC),並引入互信息(Mutual Information)的概念,它量化瞭輸入信息對輸齣信息的瞭解程度,是衡量信道傳輸信息能力的度量。 核心概念——信道容量(Channel Capacity)將被深入剖析。我們將闡述信道容量的定義,它是指在給定信道條件下,能夠可靠傳輸的最大信息速率。我們將通過實際的信道模型,例如二元對稱信道(Binary Symmetric Channel, BSC)、加性高斯白噪聲(Additive White Gaussian Noise, AWGN)信道,來計算其信道容量,並重點介紹香農關於信道容量的著名定理:香農-信道編碼定理(Shannon-Channel Coding Theorem)。該定理揭示瞭隻要傳輸速率低於信道容量,就存在能夠實現任意低錯誤概率的編碼方案,這是信息通信領域最鼓舞人心的結論之一。 基於對信道容量的深刻理解,本部分將重點介紹信道編碼(Channel Coding)的技術,其核心目標是在傳輸過程中引入冗餘,以檢測和糾正信道引入的錯誤,從而提高傳輸的可靠性。我們將係統地介紹各類信道編碼方案: 綫性分組碼(Linear Block Codes): 漢明碼(Hamming Codes): 一種簡單但有效的糾錯碼,我們將詳細講解其生成矩陣、校驗矩陣的構造,以及如何進行錯誤檢測和糾正。 循環碼(Cyclic Codes): 一種特殊的綫性分組碼,具有很強的代數結構,易於硬件實現。我們將介紹其多項式錶示、生成多項式、校驗多項式,並探討其解碼算法。 BCH碼(Bose-Chaudhuri-Hocquenghem Codes): 一類多重錯誤糾正碼,具有強大的糾錯能力,是很多現代通信係統(如DVD、衛星通信)的關鍵技術。我們將介紹其代數結構和解碼原理。 RS碼(Reed-Solomon Codes): 一種基於有限域理論的BCH碼的特例,特彆擅長糾正突發錯誤,應用極為廣泛。我們將深入講解其有限域運算、生成多項式和Berlekamp-Massey算法等解碼關鍵技術。 捲積碼(Convolutional Codes): 編碼過程: 與分組碼不同,捲積碼的編碼是連續的,其輸齣取決於當前的輸入以及過去一段時間的輸入。我們將介紹其編碼器結構(移位寄存器和異或門)和生成多項式。 解碼算法: 維特比算法(Viterbi Algorithm): 這是用於解碼捲積碼的最優最大似然(ML)算法。我們將詳細講解其狀態轉移、路徑度量更新以及迴溯過程,並分析其復雜度和性能。 序貫解碼(Sequential Decoding): 另一種重要的解碼算法,適用於碼長較長的情況。 此外,我們還將介紹低密度奇偶校驗碼(Low-Density Parity-Check, LDPC)和Turbo碼(Turbo Codes)。這兩種現代編碼技術在性能上非常接近香農極限,是下一代通信係統(如5G)的核心組成部分。我們將探討它們的設計思想(迭代解碼、並行聯閤解碼等)和優越的糾錯能力。 第三部分:源信道聯閤編碼與應用 在掌握瞭信源編碼和信道編碼各自的理論與技術後,本部分將探討源信道聯閤編碼(Joint Source-Channel Coding)的思想。傳統上,信源編碼和信道編碼是分開設計的,但在某些情況下,將兩者結閤起來進行聯閤優化,可以獲得更好的整體性能。我們將討論聯閤編碼的優勢,以及如何根據信道條件動態調整編碼策略。 本書還將拓展到信息論與編碼在其他相關領域的應用,包括: 數據壓縮技術: 詳細介紹JPEG、MPEG等圖像和視頻壓縮標準背後的信息論原理。 語音編碼: 分析GSM、AMR等語音編碼技術如何利用人類聽覺特性和信息論原理實現高效壓縮。 存儲係統: 探討糾錯碼在硬盤、光盤等存儲介質中的應用,保證數據可靠性。 網絡傳輸: 分析TCP/IP協議中的擁塞控製和錯誤恢復機製與信息論思想的聯係。 機器學習與人工智能: 探討信息論在特徵選擇、模型評估、概率圖模型等方麵的應用。 學習目標: 通過學習本書,讀者將能夠: 深刻理解信息、熵、互信息等信息論基本概念。 掌握不同類型的信源編碼算法及其原理。 理解信道容量的定義及其重要性。 熟悉各種重要的信道編碼技術,包括分組碼和捲積碼。 瞭解LDPC碼和Turbo碼等現代先進編碼技術。 能夠分析信息論與編碼在各類通信係統中的應用。 為進一步學習信息論、編碼理論、通信係統設計等高級課程打下堅實基礎。 本書理論與實踐相結閤,配有大量的例題和習題,旨在幫助讀者建立清晰的邏輯思維,提升分析問題和解決問題的能力,為未來在通信與信息領域的學習和工作做好充分準備。