信息论与编码-(第二版)

内容简介

本书系统地论述信息论与纠错编码的基本理论。共有9章，内容包括：信息的定义和度量,离散信源和连续信源的信息熵，信道和信道容量，平均失真度和信息率失真函数，三个香农信息论的基本定理：无失真信源编码定理、限失真信源编码定理和信道编码定理，若干种常见实用的无失真信源压缩编码的方法，以及信道纠错编码的基本内容和分析方法。
　　本书深入浅出、概念清晰、系统性和可读性强。

目录

第1章   绪论
  1.1   信息的概念
  1.2   信息论研究的对象、目的和内容 
  1.3   信息论发展简史与信息科学
第2章   离散信源及其信息测度
  2.1   信源的数学模型及分类
  2.2   离散信源的信息熵    
     2.2.1   自信息    
     2.2.2   信息熵   
  2.3   信息熵的基本性质
  2.4    信息熵的性定理  
  2.5   离散无记忆的扩展信源    
  2.6   离散平稳信源    
     2.6.1   离散平稳信源的数学定义
     2.6.2   离散二维平稳信源及其信息熵
     2.6.3   离散平稳信源的极限熵    
  2.7   马尔可夫信源    
     2.7.1   马尔可夫信源和m阶马尔可夫信源的定义
     2.7.2   m阶马尔可夫信源的信息熵   
  2.8   信源冗余度与自然语言的熵    
  2．9   意义信息和加权熵  
  习题    
第3章   离散信道及其信道容量
  3.1   信道的数学模型及分类
     3.1.1   信道的分类   
     3.1.2   离散信道的数学模型
     3.1.3   单符号离散信道的数学模型
  ３．２   平均互信息及平均条件互信息    
     3.2.1   信道疑义度    
     3.2.2   平均互信息    
     3.2.3   平均条件互信息
  3.3   平均互信息的特性    
  3.4   信道容量及其一般计算方法
     3.4.1   离散无噪信道的信道容量
     3.4.2   对称离散信道的信道容量
     3.4.3   准对称信道的信道容量    
     3.4.4   一般离散信道的信道容量
  3.5  离散无记忆扩展信道及其信道容量
  3.6   独立并联信道及其信道容量    
  3.7   串联信道的互信息和数据处理定理
  3.8   信源与信道的匹配    
  习题    
第4章   波形信源和波形信道
  4.1   连续信源和波形信源的信息测度
     4.1.1   连续信源的差熵    
     4.1.2   连续平稳信源和波形信源的差熵 
     4.1.3   两种特殊连续信源的差熵    
  4.2   连续信源熵的性质及差熵定理 
     4.2.1   差熵的性质    
     4.2.2   具有差熵的连续信源
  4.3   熵功率    
  4.4   连续信道和波形信道的信息传输率
     4.4.1   连续信道和波形信道的分类  
     4.4.2   连续信道和波形信道的信息传输率
     4.4.3   连续信道平均互信息

摘要与插图

第二版前言
　　本书为“普通高等教育‘十一五’规划教材”。
　　信息论与编码是一门应用概率论、随机过程和数理统计等方法来研究信息的存储、传输、处理、控制和利用的一般规律的科学。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统化。自20世纪中叶香农信息论问世以来，信息理论本身得到不断发展和深化，尤其是在这个理论指导下，信息技术也得到飞快发展。这又使对信息的研究冲破了香农狭义信息论的范畴，几乎渗透到自然科学与社会科学的所有领域，从而形成了一门具有划时代意义的新兴学科——信息科学。所以信息论是信息科学发展的源泉，也是信息科学的基础理论。
　　当人类迈入21世纪——高度信息化时代以来，移动通信、互联网通信、多媒体技术、计算机技术、空间技术等信息技术出现了超出人们想象的、的发展速度。在这些领域中，只要涉及信息的存储、传输和处理的问题就要用到香农信息论的理论——无失真通信的传输速率极限（即香农极限）、无失真和限失真信源编码理论（即数据压缩原理）和信道编码理论（即纠错码理论）等。甚至日常生活娱乐中如数字激光影碟机、数字家庭音像系统等都普遍采用了纠错码技术和数据压缩技术。所以，现在人们对于信息论的基本理论已不再感到陌生、抽象和难以理解和掌握，也越来越感到学习和掌握信息理论的必要和重要。
　　在这种形势下，各高校的热门专业“信息工程技术专业”也得到快速发展，专业的知识结构也做了相应调整，都先后开设了“信息论与编码”的有关课程，作为本科生、研究生必修的专业基础课。与此同时，于1998年以来，全国几百所高校先后在理学院(或数学系)内新增设了“信息与计算科学专业”，报考这一专业的学生也与日俱增。根据2005年教育部下发的“信息与计算科学专业”的教学规范，“信息与计算科学专业”就是要培养具有良好的数学基础和数学思维能力，掌握信息或计算科学的基本理论、方法与技能，能解决信息科学技术和信息工程计算中实际问题的理论研究型人才和技术型人才。无可置疑，信息论与编码理论必然是此专业的必修基础课之一。
　　“信息论与编码”是一门既具有广泛的数学理论与知识，又有实际工程背景的课程，两者缺一不可。对信息工程技术类专业的学生来说，他们具有一定的通信、电子和计算机方面的实际工程知识，虽然已有一定的数学基础，但学生普遍对繁杂的数学公式感到困难而望而止步。对数学系信息与计算科学专业的学生来说，虽然他们具有较好的数学基础和数学思维能力，但更突出的是缺乏通信、电子等方面的实际工程知识。
　　针对上述情况，依据作者多年在信息论与编码方面的教学和科研经验及近年来对“信息与计算科学专业”的学生讲授“信息论与编码”课的教学实践总结，我们反复商讨，决定以《信息论——基础理论与应用》（第三版）［15］一书为蓝本，基本保留原有体系，删去一些对本科生来说较深的内容，以及在后续课程中将要讲述的内容，增加压缩编码和纠错码的内容，终而编写成本书，以期能适应不同专业的需求。
　　本书主要是系统地介绍香农（Shannon）信息论和编码理论。全书注重基本概念、基本定理和基本分析方法的论述，并列举许多例题，结合实例建立概念和数学模型，给出详细的、必要的数学推演过程和证明，力求物理概念清晰，逻辑性、系统性强，数学结构严谨完整又避免纯数学的枯燥乏味。在内容的编排上，力求由浅入深、循序渐进，合理而系统地安排章节。全书力求做到既有实际应用背景，又有清晰的数学概念和数学思想。
　　全书共分9章。第1、2、3、4章是全书的基础。先阐述信息的概念，引出香农信息