一．信源编码和信道编码的发展历程
 
信源编码：
 
    最原始的信院编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有：Huffman编码、算术编码、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。
 
相对地，信道编码是为了对抗信道中的噪音和衰减，通过增加冗余，如校验码等，来提高抗干扰能力以及纠错能力。
 
信道编码：
 
1948年Shannon极限理论
 
→1950年Hamming码
 
→1955年Elias卷积码
 
→1960年 BCH码、RS码、PGZ译码算法
 
→1962年Gallager LDPC（Low Density Parity Check，低密度奇偶校验）码
 
→1965年Ｂ－M译码算法
 
→1967年RRNS码、Viterbi算法
 
→1972年Chase氏译码算法
 
→1974年Bahl MAP算法
 
→1977年IMaiBCM分组编码调制
 
→1978年Wolf 格状分组码
 
→1986年Padovani恒包络相位／频率编码调制
 
→1987年Ungerboeck TCM格状编码调制、SiMonMTCM多重格状编码调制、WeiL.F.多维星座TCM
 
→1989年Hagenauer SOVA算法
 
→1990年Koch Max－Lg－MAP算法
 
→1993年Berrou Turbo码
 
→1994年Pyndiah 乘积码准最佳译码
 
→1995年 Robertson Log－MAP算法
 
→1996年 Hagenauer TurboBCH码
 
→1996MACKaｙ－Neal重新发掘出LDPC码
 
→1997年 Nick Turbo Hamming码
 
→1998年Tarokh 空－时卷格状码、AlaMouti空－时分组码
 
→1999年删除型Turbo码
 
     虽然经过这些创新努力，已很接近Shannon极限，例如1997年Nickle的TurboHamming码对高斯信道传输时已与Shannon极限仅有0.27dB相差，但人们依然不会满意，因为时延、装备复杂性与可行性都是实际应用的严峻要求，而如果不考虑时延因素及复杂性本来就没有意义，因为50多年前的Shannon理论本身就已预示以接近无限的时延总容易找到一些方法逼近Shannon极限。因此，信道编码和／或编码调制理论与技术在向Shannon极限逼近的创新过程中，其难点是要同时兼顾考虑好编码及交织等处理时延、比特误码率门限要求、系统带宽、码率、编码增益、有效吞吐量、信道特征、抗衰落色散及不同类别干扰能力以及装备复杂性等要求。从而，尽管人们普遍公认Turbo码确是快速逼近Shannon极限的一种有跃变性改进的码类，但其时延、复杂性依然为其最严峻的挑战因素，看来，沿AlaMouti的STB方式是一种看好的折衷方向。同样，实际性能可比Turbo码性能更优良的LDPC码，从1962年Gallager提出, 当时并未为人们充分理解与重视，至1996年为MACKay—Neal重新发现后掀起的另一股推进其研究、应用热潮, 此又为另一明显示例。LDPC码是一类可由非常稀疏的奇偶校验矩阵或二分图（Bi-PartiteGrapg）定义的线性分组前向纠错码，它具有更简单的结构描述与硬件复杂度，可实现完全并行操作，有利高速、大吞吐能力译码，且译码复杂度亦比Turbo码低，并具更优良的基底（Floor）残余误码性能，研究表明，最好的非正则（Irregular）LDPC码，其长度为106时可获得BER＝10-6时与Shannon极限仅相差0.13dB；当码长为107、码率为1/2，与Shannon极限仅差0.04dB；与Turbo码结构不同，这是由另一种途径向“Shannon极限条件”的更有效与更逼真的模拟，从而取得比Turbo码更好的性能。因此，“学习、思考、创新、发展”这一永恒主题中持续“创新”最为关键，MIMO-STC及Turbo／LDPC码的发展历程亦充分证实了这一发展哲理。
 
 
二．信源编码和信道编码远离的简要介绍
 
信源编码： 
 
一种以提高通信有效性为目的而对信源符号进行的变换；为了减少或消除信源剩余度而进行的信源符号变换。为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。
 
  数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。 
 
  提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了，不同的编码方式，其编码效率有所不同。 
 
    基于层次树的集分割(SPIHT)信源编码方法是基于EZW而改进的算法，它是有效利用了图像小波分解后的多分辨率特性,根据重要性生成比特流的一个渐进式编码。这种编码方法，编码器能够在任意位置终止编码,因此能够精确实现一定目标速率或目标失真度。同样,对于给定的比特流，解码器可以在任意位置停止解码,而仍然能够恢复由截断的比特流编码的图像。而实现这一优越性能并不需要事先的训练和预存表或码本,也不需要任何关于图像源的先验知识。
 
  数字电视中常用的纠错编码，通常采用两次附加纠错码的前向纠错（FEC）编码。RS编码属于第一个FEC，188字节后附加16字节RS码，构成（204，188）RS码，这也可以称为外编码。第二个附加纠错码的FEC一般采用卷积编码，又称为内编码。外编码和内编码结合一起，称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。  
 
  前向纠错码（FEC）的码字是具有一定纠错能力的码型，它在接收端解码后，不仅可以发现错误，而且能够判断错误码元所在的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈，实时性好。所以在广播系统（单向传输系统）都采用这种信道编码方式。以下是纠错码的各种类型:
 
 
    既然信源编码的基本目的是提高码字序列中码元的平均信息量，那么，一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理，都可以在这种意义下归入信源编码的范畴，例如过滤、预测、域变换和数据压缩等。当然，这些都是广义的信源编码。  
 
一般来说，减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个：①使序列中的各个符号尽可能地互相独立；②使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性，后者称为概率均匀化。 
 
第三代移动通信中的信源编码包括语音压缩编码、各类图像压缩编码及多媒体数据压缩编码。
 
 
信道编码：
 
    数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。 
 
提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。
 
码率兼容截短卷积（RCPC）信道编码，就是一类采用周期性删除比特的方法来获得高码率的卷积码，它具有以下几个特点:  
 
(1)截短卷积码也可以用生成矩阵表示，它是一种特殊的卷积码；
 
(2)截短卷积码的限制长度与原码相同，具有与原码同等级别的纠错能力；                                            （3）截短卷积码具有原码的隐含结构，译码复杂度降低；
 
   (4)改变比特删除模式，可以实现变码率的编码和译码。
 
 
三．信源编码和信道编码的区别
 
    信源编码信源编码的作用之一是设法减少码元数目和降低码元速率，即通常所说的数据压缩。码元速率将直接影响传输所占的带宽，而传输带宽又直接反映了通信的有效性。作用之二是，当信息源给出的是模拟语音信号时，信源编码器将其转换成数字信号，以实现模拟信号的数字化传输。模拟信号数字化传输的两种方式：脉冲编码调制(PCM)和增量调制(ΔM)。信源译码是信源编码的逆过程。1.脉冲编码调制(PCM)简称脉码调制:一种用一组二进制数字代码来代替连续信号的抽样值，从而实现通信的方式。由于这种通信方式抗干扰能力强，它在光纤通信、数字微波通信、卫星通信中均获得了极为广泛的应用。增量调制(ΔM):将差值编码传输，同样可传输模拟信号所含的信息。此差值又称“增量”，其值可正可负。这种用差值编码进行通信的方式，就称为“增量调制”，缩写为DM或ΔM，主要用于军方通信中。信源编码为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列.信道编码的目的：信道编码是为了保证信息传输的可靠性、提高传输质量而设计的一种编码。它是在信息码中增加一定数量的多余码元，使码字具有一定的抗干扰能力。信道编码的实质：信道编码的实质就是在信息码中增加一定数量的多余码元（称为监督码元），使它们满足一定的约束关系，这样由信息码元和监督码元共同组成一个由信道传输的码字。信源编码很好理解，比如你要发送一个图形，必须把这个图像转成0101的编码，这就是信源编码。
 
    信道编码数字信号在信道传输时，由于噪声、衰落以及人为干扰等，将会引起差错。为了减少差错，信道编码器对传输的信息码元按一定的规则加入保护成分（监督元），组成所谓“抗干扰编码”。接收端的信道译码器按一定规则进行解码，从解码过程中发现错误或纠正错误，从而提高通信系统抗干扰能力，实现可靠通信。信道编码是针对无线信道的干扰太多，把你要传送的数据加上些信息，来纠正信道的干扰。信道编码数字信号在信道传输时，由于噪声、衰落以及人为干扰等，将会引起差错。为了减少差错，信道编码器对传输的信息码元按一定的规则加入保护成分（监督元），组成所谓“抗干扰编码”。接收端的信道译码器按一定规则进行解码，从解码过程中发现错误或纠正错误，从而提高通信系统抗干扰能力，实现可靠通信。
 
信源编码信号：例如语音信号（频率范围300-3400Hz)、图象信号（频率范围0-6MHz)……基带信号（基带：信号的频率从零频附近开始）。在发送端把连续消息变换成原始电信号，这种变换由信源来完成。
 
信道编码信号：例如二进制信号、2PSK信号……已调信号（也叫带通信号、频带信号）。这种信号有两个基本特征：一是携带信息；二是适应在信道中传输，把基带信号变换成适合在信道中传输的信号完成这样的变换是调制器。
 
信源编码是对输入信息进行编码，优化信息和压缩信息并且打成符合标准的数据包。信道编码是在数据中加入验证码，并且把加入验证码的数据进行调制。两者的作用完全不一样的。信源编码是指信号来源的编码，主要是指从那个接口进来的。信道编码是说的信号通道的编码，一般是指机内的电路。总的来说吧：信源编码是对视频, 音频, 数据进行的编码，即对信息进行编码以便处理，而信道编码是指在信息传输的过程中对信息进行的处理。
 
 
四．信源编码和信道编码在现代社会的应用
 
1.在现代无线通信中的应用：
 
    通信的任务是由一整套技术设备和传输媒介所构成的总体——通信系统来完成的。电子通信根据信道上传输信号的种类可分为模拟通信和数字通信。最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成。实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。数字通信系统设备多种多样，综合各种数字通信系统，其构成如图所示：
 
 
 
    信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。 
 
信道，通俗地说是指以传输媒质为基础的信号通路。具体地说，信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号，它提供一段频带让信号通过，同时又给信号加以限制和损害。 
 
信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。在计算机科学领域，信道编码（channel code）被广泛用作表示编码错误监测和纠正的术语，有时候也可以在通信和存储领域用作表示数字调制方式。信道编码用来在数据传输的时候保护数据，还可以在出现错误的时候来恢复数据。
 
2.在超宽带信道中的应用 
 
超宽带(Ultra Wideband，以下简称UWB) [1][2]系统具有高传输速率、低功耗、低成本等独特优点,是下一代短距离无线通信系统的有力竞争者。它是指具有很高带宽比射频（带宽与中心频率之比）的无线电技术。近年来，超宽带无线通信在图像和视频传输中获得了越来越广泛的应用，它具有极高的传输速率以及很宽的传输频带，可以提供高达1Gbit/s的数据传输速率，可用在数字家庭网络或办公网络中，实现近距离、高速率数据传输。例如，利用UWB技术可以在家用电器设备之间提供高速的音频、视频业务传输，在数字办公环境中，应用UWB技术可以减少线缆布放的麻烦，提供无线高速互联。  
 
    联合信源信道编码(Joint Source Channel Coding,以下简称JSCC)[3][4]近几年来日益受到通信界的广泛重视，主要原因是多媒体无线通信变得更加重要。根据Shannon信息论原理，通信系统中信源编码和信道编码是分离的[5]，然而，该定理假设信源编码是最优的，可以去掉所有冗余，并且假设当比特率低于信道容量时可纠正所有误码。在不限制码长的复杂性和时延的前提下，可以得到这样的系统。而在实际系统中又必须限制码长的复杂性和时延，这必然会导致性能下降，这和香农编码定理的假设是相矛盾的。因此，在许多情况下，采用独立编码技术并不能获得满意的效果，例如有严重噪声的衰落信道和（移动通信信道），采用独立编码技术不能满足要求。因此需要将信源编码和信道编码联合考虑，在实际的信道条件中获得比信源和信道单独进行编码更好的效果。其中不等差错保护是联合信源信道编码的一种, 是相对于同等差错保护而言的。在网络资源有限的情况下,同等差错保护方案使得重要信息得不到足够的保护而使解码质量严重下降。而不等差错保护根据码流的不同部分对图像重建质量的重要性不同, 而采用不同的信道保护机制, 是信源信道联合编码的一个重要应用。 
 
不等差错保护（Unequal Error Protection，以下简称UEP）的信源编码主要采用嵌入式信源编码,如SPIHT(Set Partitioning In Hierarchical Trees) [6],EZW,JPEG2000等,信源输出码流具有渐进特性,信道编码采用RCPC[7],RCPT等码率可变的信道编码。文章[8]中研究了在AWGN信道下的不等差错保护的性能； 文章[9]中研究了有反馈的移动信道下的多分辨率联合信源信道编码；文章[10]研究了无线信道下的图像传输，信源编码采用SPIHT,信道编码采用多码率Turbo coder的不等差错保护方案；文章[11]中研究了DS-CDMA多径衰落信道下信源编码为分层视频图像编码，信道编码采用RCPC，解决了在信源编码，信道编码以及各个层之间的码率最优分配； 文章[12]研究了3G网络下MPEG-4视频流的传输，信道编码采用 Turbo编码，提出了用TCP传输非常重要的MPEG-4流，而用UDP传输MPEG-4 audio/video ES (Elementary Streams)，并且对UDP传输的码流进行UEP的方案；文章[13]研究在无线频率选择性衰落信道中将MIMO-OFDM和adaptive wavelet pretreatment（自适应小波预处理）结合在一起的联合信源信道编码图像传输。据我们的了解, 现在并无文章研究超宽带无线信道下不等差错保护方案,本文将不等差错保护联合信源信道编码应用于超宽带无线通信中, 信源部分采用基于小波SPIHT 的编码方法,而信道部分采用RCPC编码( Rate Compatible Punctured Convolutional codes) 对SPIHT输出码流按重要程度进行不等错误保护,并基于DS-UWB[14]方案提出双重不等差错保护方案, 研究了不等差错保护给图像在超宽带无线通信中的图像传输所带来性能增益。  
 
采用标准LENA256×256图像进行仿真实验, 信源编码采用SPIHT算法，SPIHT 编码速率为0.5bpp, 信道编码采用码率自适应截短卷积码RCPC, 对实验图像进行同等差错保护信道编码( EEP) 和不等差错保护信道编码(UEP), 对于EEP编码采用1/ 2 码率;对于UEP 编码,其重要信息(包括头部语法及图像重要数据) 采用1/ 3码率,对图像次重要数据采用1/ 2码率进行编码,对图像非重要数据不进行编码。信道编码输出码流经过一个(Ns,1)重复编码器，对重要信息Ns取30，次重要数据Ns取20，非重要数据Ns取为10，再用一个周期为Np=Ns的伪随机DS码序列对重复编码器输出序列进行编码，最后对编码输出进行PAM调制和脉冲成形从而形成DS-UWB发送信号波形，其中脉冲参数设置为平均发射功率为-30，抽样频率为50e9，平均脉冲重复时间为2e-9，冲激响应持续时间为0.5e-9，脉冲波形形成因子为0.25e-9。DS-UWB信号经过IEEE802.15.3a CM1信道模型，接收端采用Rake接收机对接收信号进行解调，解调后的码流经过RCPC信道译码和SPIHT信源译码恢复出原始图像。
 
 
           CMI信道模型下Double-UEP与UEP，EEP的性能比较
 
图中给出了IEEE802.15.3a CM1信道模型下双重不等差错保护(Double-UEP)与传统不等差错保护(UEP)与同等差错保护(EEP)的性能比较,其中横轴为超宽带信道中的信噪比Eb/N0,纵轴为重建图像的峰值信噪比PSNR(Peek Signal Noise Ratio)。 
 
  由图可见，在UWB信道中，不等差错保护的性能普遍好于同等差错保护的性能，尤其是在低信噪比的时候，采用不等差错保护能够获得更大的性能增益。在高信噪比时，由于此时信道质量较好，误码率较低，图像中的重要码流基本不会产生误码，此时不等差错保护和同等差错保护性能趋于一致；而在低信噪比时，由于不等差错保护方案对图像的重要信息加入了更多的冗余，从而在不增加传输速率的情况下使图像得以更可靠的传输，提升重建图像的质量。
 
 
五．信源编码与信道编码的发展前景
 
信息论理论的建立，提出了信息、信息熵的概念，接着人们提出了编码定理。编码方法有较大发展，各种界限也不断有人提出，使多用户信息论的理论日趋完整，前向纠错码（FEC）的码字也在不断完善。但现有信息理论中信息对象的层次区分对产生和构成信息存在的基本要素、对象及关系区分不清，适用于复杂信息系统的理论比较少，缺乏核心的“实有信息”概念，不能很好地解释信息的创生和语义歧义问题。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明，其他信道也有一些结果，但尚不完善。但近几年来，第三代移动通信系统（3G）的热衷探索，促进了各种数字信号处理技术发展，而且Turbo码与其他技术的结合也不断完善信道编码方案。
 
移动通信的发展日新月异，从1978年第一代模拟蜂窝通信系统诞生至今，不过20多年的时间，就已经过三代的演变，成为拥有10亿多用户的全球电信业最活跃、最具发展潜力的业务。尤其是近几年来，随着第三代移动通信系统（3G）的渐行渐近，以及各国政府、运营商和制造商等各方面为之而投入的大量人力物力，移动通信又一次地在电信业乃至全社会掀起了滚滚热潮。虽然目前由于全球电信业的低迷以及3G系统自身存在的一些问题尚未完全解决等因素，3G业务的全面推行并不象计划中的顺利，但新一代移动通信网的到来必是大势所趋。因此，人们对新的移动通信技术的研究的热情始终未减。
 
移动通信的强大魅力之所在就是它能为人们提供了固话所不及的灵活、机动、高效的通信方式，非常适合信息社会发展的需要。但同时，这也使移动通信系统的研究、开发和实现比有线通信系统更复杂、更困难。实际上，移动无线信道是通信中最恶劣、最难预测的通信信道之一。由于无线电波传输不仅会随着传播距离的增加而造成能量损耗，并且会因为多径效应、多普勒频移和阴影效应等的影响而使信号快速衰落，码间干扰和信号失真严重，从而极大地影响了通信质量。为了解决这些问题，人们不断地研究和寻找多种先进的通信技术以提高移动通信的性能。特别是数字移动通信系统出现后，促进了各种数字信号处理技术如多址技术、调制技术、纠错编码、分集技术、智能天线、软件无线电等的发展。
 
 
结论：
 
从文中我们可以清楚的认识到信源编码和信道编码的发展布满艰辛，今天的成就来之不易。随着今天移动通信技术的不断发展和创新，信源编码与信道编码的应用也越来越广泛，其逐步的应用于各个领域，在通信系统中扮演着非常重要的角色，起到了至关重要的作用。但是，现有信息理论也存在一定的缺陷，具体表现在以下几个方面：
 
1.现有信息理论体系中缺乏核心的 “实有信息”概念。
 
2.适用于复杂信息系统的理论比较少。目前的狭义与广义信息论大多是起源和立足于简单系统的信息理论，即用简单通讯信息系统的方法来类比复杂系统的信息现象，将复杂性当成了简单性来处理。而涉及生命现象和人的认识论层次的信息是很复杂的对象，其中信宿主体内信息的语义歧义和信息创生问题是难点，用现有信息理论难以解释。
 
3.对产生和构成信息存在的基本要素、对象及关系区分不清。如将对象的直接存在（对象的物质、能量、相互作用、功能等存在）当成信息存在；将信息的载体存在当成信息存在；将信息与载体的统一体当成信息存在；把信宿获得的“实得信息”当成唯一的信息存在，这是主观信息论。或者把信源和信道信息当成唯一的信息存在，称之为客观信息论。这二种极端的信息理论正是忽略了信息在关系中产生、在关系中存在的复杂本质。忽略了信息存在至少涉及三个以上对象及复杂关系。
 
4.现有信息理论不能很好地解释信息的创生和语义歧义问题。
 
5.现有信息理论对信宿实得信息的理解过于简单，没有将直接实得信息与间接实得信息区别开来。
 
6.信息对象的层次区分没有得到重视。不少研究者将本体论层次的信息与认识论层次的信息混为一谈，将普适性信息范畴与具体科学，特别是技术层次（如通信、控制、计算等）的信息概念混为一谈。抓住信息的某一层次或某一方面当成信息对象的总体。
 
    因此，在科学技术飞速发展的今天，我们应该加强对信源编码与信道编码的了解和认识，这能让在以后的生活和学习过程中不断完善和改进现有信息论存在的缺陷，更好的应用和了解我们的专业知识，更好更快的做好自己的工作，让自己能从各方面得到满意的结果。

一．信源编码和信道编码的发展历程
 
信源编码：
 
    最原始的信院编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有：Huffman编码、算术编码、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。
 
相对地，信道编码是为了对抗信道中的噪音和衰减，通过增加冗余，如校验码等，来提高抗干扰能力以及纠错能力。
 
信道编码：
 
1948年Shannon极限理论
 
→1950年Hamming码
 
→1955年Elias卷积码
 
→1960年 BCH码、RS码、PGZ译码算法
 
→1962年Gallager LDPC（Low Density Parity Check，低密度奇偶校验）码
 
→1965年Ｂ－M译码算法
 
→1967年RRNS码、Viterbi算法
 
→1972年Chase氏译码算法
 
→1974年Bahl MAP算法
 
→1977年IMaiBCM分组编码调制
 
→1978年Wolf 格状分组码
 
→1986年Padovani恒包络相位／频率编码调制
 
→1987年Ungerboeck TCM格状编码调制、SiMonMTCM多重格状编码调制、WeiL.F.多维星座TCM
 
→1989年Hagenauer SOVA算法
 
→1990年Koch Max－Lg－MAP算法
 
→1993年Berrou Turbo码
 
→1994年Pyndiah 乘积码准最佳译码
 
→1995年 Robertson Log－MAP算法
 
→1996年 Hagenauer TurboBCH码
 
→1996MACKaｙ－Neal重新发掘出LDPC码
 
→1997年 Nick Turbo Hamming码
 
→1998年Tarokh 空－时卷格状码、AlaMouti空－时分组码
 
→1999年删除型Turbo码
 
     虽然经过这些创新努力，已很接近Shannon极限，例如1997年Nickle的TurboHamming码对高斯信道传输时已与Shannon极限仅有0.27dB相差，但人们依然不会满意，因为时延、装备复杂性与可行性都是实际应用的严峻要求，而如果不考虑时延因素及复杂性本来就没有意义，因为50多年前的Shannon理论本身就已预示以接近无限的时延总容易找到一些方法逼近Shannon极限。因此，信道编码和／或编码调制理论与技术在向Shannon极限逼近的创新过程中，其难点是要同时兼顾考虑好编码及交织等处理时延、比特误码率门限要求、系统带宽、码率、编码增益、有效吞吐量、信道特征、抗衰落色散及不同类别干扰能力以及装备复杂性等要求。从而，尽管人们普遍公认Turbo码确是快速逼近Shannon极限的一种有跃变性改进的码类，但其时延、复杂性依然为其最严峻的挑战因素，看来，沿AlaMouti的STB方式是一种看好的折衷方向。同样，实际性能可比Turbo码性能更优良的LDPC码，从1962年Gallager提出, 当时并未为人们充分理解与重视，至1996年为MACKay—Neal重新发现后掀起的另一股推进其研究、应用热潮, 此又为另一明显示例。LDPC码是一类可由非常稀疏的奇偶校验矩阵或二分图（Bi-PartiteGrapg）定义的线性分组前向纠错码，它具有更简单的结构描述与硬件复杂度，可实现完全并行操作，有利高速、大吞吐能力译码，且译码复杂度亦比Turbo码低，并具更优良的基底（Floor）残余误码性能，研究表明，最好的非正则（Irregular）LDPC码，其长度为106时可获得BER＝10-6时与Shannon极限仅相差0.13dB；当码长为107、码率为1/2，与Shannon极限仅差0.04dB；与Turbo码结构不同，这是由另一种途径向“Shannon极限条件”的更有效与更逼真的模拟，从而取得比Turbo码更好的性能。因此，“学习、思考、创新、发展”这一永恒主题中持续“创新”最为关键，MIMO-STC及Turbo／LDPC码的发展历程亦充分证实了这一发展哲理。
 
 
 
二．信源编码和信道编码远离的简要介绍
 
信源编码：
 
一种以提高通信有效性为目的而对信源符号进行的变换；为了减少或消除信源剩余度而进行的信源符号变换。为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。
 
  数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。
 
  提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了，不同的编码方式，其编码效率有所不同。
 
    基于层次树的集分割(SPIHT)信源编码方法是基于EZW而改进的算法，它是有效利用了图像小波分解后的多分辨率特性,根据重要性生成比特流的一个渐进式编码。这种编码方法，编码器能够在任意位置终止编码,因此能够精确实现一定目标速率或目标失真度。同样,对于给定的比特流，解码器可以在任意位置停止解码,而仍然能够恢复由截断的比特流编码的图像。而实现这一优越性能并不需要事先的训练和预存表或码本,也不需要任何关于图像源的先验知识。
 
  数字电视中常用的纠错编码，通常采用两次附加纠错码的前向纠错（FEC）编码。RS编码属于第一个FEC，188字节后附加16字节RS码，构成（204，188）RS码，这也可以称为外编码。第二个附加纠错码的FEC一般采用卷积编码，又称为内编码。外编码和内编码结合一起，称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。  
 
  前向纠错码（FEC）的码字是具有一定纠错能力的码型，它在接收端解码后，不仅可以发现错误，而且能够判断错误码元所在的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈，实时性好。所以在广播系统（单向传输系统）都采用这种信道编码方式。以下是纠错码的各种类型:
 
 
 
    既然信源编码的基本目的是提高码字序列中码元的平均信息量，那么，一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理，都可以在这种意义下归入信源编码的范畴，例如过滤、预测、域变换和数据压缩等。当然，这些都是广义的信源编码。  
 
一般来说，减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个：①使序列中的各个符号尽可能地互相独立；②使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性，后者称为概率均匀化。
 
第三代移动通信中的信源编码包括语音压缩编码、各类图像压缩编码及多媒体数据压缩编码。
 
 
 
信道编码：
 
    数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。
 
提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。
 
码率兼容截短卷积（RCPC）信道编码，就是一类采用周期性删除比特的方法来获得高码率的卷积码，它具有以下几个特点:
 
(1)截短卷积码也可以用生成矩阵表示，它是一种特殊的卷积码；
 
(2)截短卷积码的限制长度与原码相同，具有与原码同等级别的纠错能力；                                            （3）截短卷积码具有原码的隐含结构，译码复杂度降低；
 
   (4)改变比特删除模式，可以实现变码率的编码和译码。
 
 
 
三．信源编码和信道编码的区别
 
    信源编码信源编码的作用之一是设法减少码元数目和降低码元速率，即通常所说的数据压缩。码元速率将直接影响传输所占的带宽，而传输带宽又直接反映了通信的有效性。作用之二是，当信息源给出的是模拟语音信号时，信源编码器将其转换成数字信号，以实现模拟信号的数字化传输。模拟信号数字化传输的两种方式：脉冲编码调制(PCM)和增量调制(ΔM)。信源译码是信源编码的逆过程。1.脉冲编码调制(PCM)简称脉码调制:一种用一组二进制数字代码来代替连续信号的抽样值，从而实现通信的方式。由于这种通信方式抗干扰能力强，它在光纤通信、数字微波通信、卫星通信中均获得了极为广泛的应用。增量调制(ΔM):将差值编码传输，同样可传输模拟信号所含的信息。此差值又称“增量”，其值可正可负。这种用差值编码进行通信的方式，就称为“增量调制”，缩写为DM或ΔM，主要用于军方通信中。信源编码为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列.信道编码的目的：信道编码是为了保证信息传输的可靠性、提高传输质量而设计的一种编码。它是在信息码中增加一定数量的多余码元，使码字具有一定的抗干扰能力。信道编码的实质：信道编码的实质就是在信息码中增加一定数量的多余码元（称为监督码元），使它们满足一定的约束关系，这样由信息码元和监督码元共同组成一个由信道传输的码字。信源编码很好理解，比如你要发送一个图形，必须把这个图像转成0101的编码，这就是信源编码。
 
    信道编码数字信号在信道传输时，由于噪声、衰落以及人为干扰等，将会引起差错。为了减少差错，信道编码器对传输的信息码元按一定的规则加入保护成分（监督元），组成所谓“抗干扰编码”。接收端的信道译码器按一定规则进行解码，从解码过程中发现错误或纠正错误，从而提高通信系统抗干扰能力，实现可靠通信。信道编码是针对无线信道的干扰太多，把你要传送的数据加上些信息，来纠正信道的干扰。信道编码数字信号在信道传输时，由于噪声、衰落以及人为干扰等，将会引起差错。为了减少差错，信道编码器对传输的信息码元按一定的规则加入保护成分（监督元），组成所谓“抗干扰编码”。接收端的信道译码器按一定规则进行解码，从解码过程中发现错误或纠正错误，从而提高通信系统抗干扰能力，实现可靠通信。
 
信源编码信号：例如语音信号（频率范围300-3400Hz)、图象信号（频率范围0-6MHz)……基带信号（基带：信号的频率从零频附近开始）。在发送端把连续消息变换成原始电信号，这种变换由信源来完成。
 
信道编码信号：例如二进制信号、2PSK信号……已调信号（也叫带通信号、频带信号）。这种信号有两个基本特征：一是携带信息；二是适应在信道中传输，把基带信号变换成适合在信道中传输的信号完成这样的变换是调制器。
 
信源编码是对输入信息进行编码，优化信息和压缩信息并且打成符合标准的数据包。信道编码是在数据中加入验证码，并且把加入验证码的数据进行调制。两者的作用完全不一样的。信源编码是指信号来源的编码，主要是指从那个接口进来的。信道编码是说的信号通道的编码，一般是指机内的电路。总的来说吧：信源编码是对视频, 音频, 数据进行的编码，即对信息进行编码以便处理，而信道编码是指在信息传输的过程中对信息进行的处理。
 
 
 
四．信源编码和信道编码在现代社会的应用
 
1.在现代无线通信中的应用：
 
    通信的任务是由一整套技术设备和传输媒介所构成的总体——通信系统来完成的。电子通信根据信道上传输信号的种类可分为模拟通信和数字通信。最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成。实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。数字通信系统设备多种多样，综合各种数字通信系统，其构成如图所示：
 
 
 
 
 
    信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。
 
信道，通俗地说是指以传输媒质为基础的信号通路。具体地说，信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号，它提供一段频带让信号通过，同时又给信号加以限制和损害。
 
信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。在计算机科学领域，信道编码（channel code）被广泛用作表示编码错误监测和纠正的术语，有时候也可以在通信和存储领域用作表示数字调制方式。信道编码用来在数据传输的时候保护数据，还可以在出现错误的时候来恢复数据。
 
2.在超宽带信道中的应用
 
超宽带(Ultra Wideband，以下简称UWB) [1][2]系统具有高传输速率、低功耗、低成本等独特优点,是下一代短距离无线通信系统的有力竞争者。它是指具有很高带宽比射频（带宽与中心频率之比）的无线电技术。近年来，超宽带无线通信在图像和视频传输中获得了越来越广泛的应用，它具有极高的传输速率以及很宽的传输频带，可以提供高达1Gbit/s的数据传输速率，可用在数字家庭网络或办公网络中，实现近距离、高速率数据传输。例如，利用UWB技术可以在家用电器设备之间提供高速的音频、视频业务传输，在数字办公环境中，应用UWB技术可以减少线缆布放的麻烦，提供无线高速互联。  
 
    联合信源信道编码(Joint Source Channel Coding,以下简称JSCC)[3][4]近几年来日益受到通信界的广泛重视，主要原因是多媒体无线通信变得更加重要。根据Shannon信息论原理，通信系统中信源编码和信道编码是分离的[5]，然而，该定理假设信源编码是最优的，可以去掉所有冗余，并且假设当比特率低于信道容量时可纠正所有误码。在不限制码长的复杂性和时延的前提下，可以得到这样的系统。而在实际系统中又必须限制码长的复杂性和时延，这必然会导致性能下降，这和香农编码定理的假设是相矛盾的。因此，在许多情况下，采用独立编码技术并不能获得满意的效果，例如有严重噪声的衰落信道和（移动通信信道），采用独立编码技术不能满足要求。因此需要将信源编码和信道编码联合考虑，在实际的信道条件中获得比信源和信道单独进行编码更好的效果。其中不等差错保护是联合信源信道编码的一种, 是相对于同等差错保护而言的。在网络资源有限的情况下,同等差错保护方案使得重要信息得不到足够的保护而使解码质量严重下降。而不等差错保护根据码流的不同部分对图像重建质量的重要性不同, 而采用不同的信道保护机制, 是信源信道联合编码的一个重要应用。
 
不等差错保护（Unequal Error Protection，以下简称UEP）的信源编码主要采用嵌入式信源编码,如SPIHT(Set Partitioning In Hierarchical Trees) [6],EZW,JPEG2000等,信源输出码流具有渐进特性,信道编码采用RCPC[7],RCPT等码率可变的信道编码。文章[8]中研究了在AWGN信道下的不等差错保护的性能； 文章[9]中研究了有反馈的移动信道下的多分辨率联合信源信道编码；文章[10]研究了无线信道下的图像传输，信源编码采用SPIHT,信道编码采用多码率Turbo coder的不等差错保护方案；文章[11]中研究了DS-CDMA多径衰落信道下信源编码为分层视频图像编码，信道编码采用RCPC，解决了在信源编码，信道编码以及各个层之间的码率最优分配； 文章[12]研究了3G网络下MPEG-4视频流的传输，信道编码采用 Turbo编码，提出了用TCP传输非常重要的MPEG-4流，而用UDP传输MPEG-4 audio/video ES (Elementary Streams)，并且对UDP传输的码流进行UEP的方案；文章[13]研究在无线频率选择性衰落信道中将MIMO-OFDM和adaptive wavelet pretreatment（自适应小波预处理）结合在一起的联合信源信道编码图像传输。据我们的了解, 现在并无文章研究超宽带无线信道下不等差错保护方案,本文将不等差错保护联合信源信道编码应用于超宽带无线通信中, 信源部分采用基于小波SPIHT 的编码方法,而信道部分采用RCPC编码( Rate Compatible Punctured Convolutional codes) 对SPIHT输出码流按重要程度进行不等错误保护,并基于DS-UWB[14]方案提出双重不等差错保护方案, 研究了不等差错保护给图像在超宽带无线通信中的图像传输所带来性能增益。  
 
采用标准LENA256×256图像进行仿真实验, 信源编码采用SPIHT算法，SPIHT 编码速率为0.5bpp, 信道编码采用码率自适应截短卷积码RCPC, 对实验图像进行同等差错保护信道编码( EEP) 和不等差错保护信道编码(UEP), 对于EEP编码采用1/ 2 码率;对于UEP 编码,其重要信息(包括头部语法及图像重要数据) 采用1/ 3码率,对图像次重要数据采用1/ 2码率进行编码,对图像非重要数据不进行编码。信道编码输出码流经过一个(Ns,1)重复编码器，对重要信息Ns取30，次重要数据Ns取20，非重要数据Ns取为10，再用一个周期为Np=Ns的伪随机DS码序列对重复编码器输出序列进行编码，最后对编码输出进行PAM调制和脉冲成形从而形成DS-UWB发送信号波形，其中脉冲参数设置为平均发射功率为-30，抽样频率为50e9，平均脉冲重复时间为2e-9，冲激响应持续时间为0.5e-9，脉冲波形形成因子为0.25e-9。DS-UWB信号经过IEEE802.15.3a CM1信道模型，接收端采用Rake接收机对接收信号进行解调，解调后的码流经过RCPC信道译码和SPIHT信源译码恢复出原始图像。
 
 
 
           CMI信道模型下Double-UEP与UEP，EEP的性能比较
 
图中给出了IEEE802.15.3a CM1信道模型下双重不等差错保护(Double-UEP)与传统不等差错保护(UEP)与同等差错保护(EEP)的性能比较,其中横轴为超宽带信道中的信噪比Eb/N0,纵轴为重建图像的峰值信噪比PSNR(Peek Signal Noise Ratio)。
 
  由图可见，在UWB信道中，不等差错保护的性能普遍好于同等差错保护的性能，尤其是在低信噪比的时候，采用不等差错保护能够获得更大的性能增益。在高信噪比时，由于此时信道质量较好，误码率较低，图像中的重要码流基本不会产生误码，此时不等差错保护和同等差错保护性能趋于一致；而在低信噪比时，由于不等差错保护方案对图像的重要信息加入了更多的冗余，从而在不增加传输速率的情况下使图像得以更可靠的传输，提升重建图像的质量。
 
 
 
五．信源编码与信道编码的发展前景
 
信息论理论的建立，提出了信息、信息熵的概念，接着人们提出了编码定理。编码方法有较大发展，各种界限也不断有人提出，使多用户信息论的理论日趋完整，前向纠错码（FEC）的码字也在不断完善。但现有信息理论中信息对象的层次区分对产生和构成信息存在的基本要素、对象及关系区分不清，适用于复杂信息系统的理论比较少，缺乏核心的“实有信息”概念，不能很好地解释信息的创生和语义歧义问题。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明，其他信道也有一些结果，但尚不完善。但近几年来，第三代移动通信系统（3G）的热衷探索，促进了各种数字信号处理技术发展，而且Turbo码与其他技术的结合也不断完善信道编码方案。
 
移动通信的发展日新月异，从1978年第一代模拟蜂窝通信系统诞生至今，不过20多年的时间，就已经过三代的演变，成为拥有10亿多用户的全球电信业最活跃、最具发展潜力的业务。尤其是近几年来，随着第三代移动通信系统（3G）的渐行渐近，以及各国政府、运营商和制造商等各方面为之而投入的大量人力物力，移动通信又一次地在电信业乃至全社会掀起了滚滚热潮。虽然目前由于全球电信业的低迷以及3G系统自身存在的一些问题尚未完全解决等因素，3G业务的全面推行并不象计划中的顺利，但新一代移动通信网的到来必是大势所趋。因此，人们对新的移动通信技术的研究的热情始终未减。
 
移动通信的强大魅力之所在就是它能为人们提供了固话所不及的灵活、机动、高效的通信方式，非常适合信息社会发展的需要。但同时，这也使移动通信系统的研究、开发和实现比有线通信系统更复杂、更困难。实际上，移动无线信道是通信中最恶劣、最难预测的通信信道之一。由于无线电波传输不仅会随着传播距离的增加而造成能量损耗，并且会因为多径效应、多普勒频移和阴影效应等的影响而使信号快速衰落，码间干扰和信号失真严重，从而极大地影响了通信质量。为了解决这些问题，人们不断地研究和寻找多种先进的通信技术以提高移动通信的性能。特别是数字移动通信系统出现后，促进了各种数字信号处理技术如多址技术、调制技术、纠错编码、分集技术、智能天线、软件无线电等的发展。
 
 
 
结论：
 
从文中我们可以清楚的认识到信源编码和信道编码的发展布满艰辛，今天的成就来之不易。随着今天移动通信技术的不断发展和创新，信源编码与信道编码的应用也越来越广泛，其逐步的应用于各个领域，在通信系统中扮演着非常重要的角色，起到了至关重要的作用。但是，现有信息理论也存在一定的缺陷，具体表现在以下几个方面：
 
1.现有信息理论体系中缺乏核心的 “实有信息”概念。
 
2.适用于复杂信息系统的理论比较少。目前的狭义与广义信息论大多是起源和立足于简单系统的信息理论，即用简单通讯信息系统的方法来类比复杂系统的信息现象，将复杂性当成了简单性来处理。而涉及生命现象和人的认识论层次的信息是很复杂的对象，其中信宿主体内信息的语义歧义和信息创生问题是难点，用现有信息理论难以解释。
 
3.对产生和构成信息存在的基本要素、对象及关系区分不清。如将对象的直接存在（对象的物质、能量、相互作用、功能等存在）当成信息存在；将信息的载体存在当成信息存在；将信息与载体的统一体当成信息存在；把信宿获得的“实得信息”当成唯一的信息存在，这是主观信息论。或者把信源和信道信息当成唯一的信息存在，称之为客观信息论。这二种极端的信息理论正是忽略了信息在关系中产生、在关系中存在的复杂本质。忽略了信息存在至少涉及三个以上对象及复杂关系。
 
4.现有信息理论不能很好地解释信息的创生和语义歧义问题。
 
5.现有信息理论对信宿实得信息的理解过于简单，没有将直接实得信息与间接实得信息区别开来。
 
6.信息对象的层次区分没有得到重视。不少研究者将本体论层次的信息与认识论层次的信息混为一谈，将普适性信息范畴与具体科学，特别是技术层次（如通信、控制、计算等）的信息概念混为一谈。抓住信息的某一层次或某一方面当成信息对象的总体。
 
    因此，在科学技术飞速发展的今天，我们应该加强对信源编码与信道编码的了解和认识，这能让在以后的生活和学习过程中不断完善和改进现有信息论存在的缺陷，更好的应用和了解我们的专业知识，更好更快的做好自己的工作，让自己能从各方面得到满意的结果。

研究对象：允许一定失真的离散信源编码和连续信源编码。
 实际信息处理过程，往往存在失真：
    ①连续信源编码必然存在失真（不可能从根本上去除量化误差）
    ②一定范围的失真可以大幅度提高编码效率。(降低信息率有利于传输和处理）
    ③无失真编码并不总是必须的。比如：视觉和听觉对信号变化的灵敏度有限。
 本章核心：在允许一定失真的条件下，能够把信源信息压缩到什么程度。(描述信源所需bit的下界)
 
一：失真测度
 
1)限失真信源编码通信模型
 
 
 
 
        因为这里只涉及信源编码问题，所以把信道的编码和译码视为信道的一部分，为了定量描述信息传输率和失真的关系，把信道视为一个广义无扰信道。（一根导线）
         由于编码存在失真，信道不是一一对应关系，用信道转移概率描述编码和译码的前后关系。
         这里--信源编码和信源译码这一部分视为一个虚拟信道，从而发送端与接收端的编码失真，就等效为：虚拟信道的噪声。
2）失真的定义

失真函数：

①单个符号的失真函数
 
 
 
②信源序列的失真函数
 
 
 要求：X和Y的每个元素必须是等长的
 
平均失真：（从总体上描述了整个系统的失真情况）
 
 
1：单符号平均失真
 
 
2：信源序列平均失真
 
 
3：连续信源平均失真

保真度准则
 
 
p(u)和d(u,v)给定后，选择不同的信道相当于选择不同的编码方法，所得的平均失真度不同，我们要选择那些满足保真度准则的那些实验信道--D失真许可的试验信道。
 
二：信息率失真函数 
 
 
率失真函数R(D): 
 
 
率失真函数：在满足保真度前提下，所有可能的信源编码的信息率下限值（必须传输的信息率）。
 
 
率失真编码解码器
 
 

 
 
区分：率失真函数和信道容量
 
 
信源编码两个目的：一个是保证送上信道的信息量不会大于信道容量；另一方面为了提高有效性，尽可能采取少的码长，选用少的符号去编码保证信息传输率低。而限失真信源编码就是在此基础上要满足：保真度要求。
 
率失真函数的性质
 
一：单调不减函数
 
 
二：定义域 
 
 
 

=0表示不允许任何失真；上面分析知要求只要控制p(y|x),在d取最小值时候让概率为0.
 
 
 
当D足够大，也就是哪怕所有信源符号都编译码成一个值（一个平面用一个点代替），也可以接受，这时候输入与输出独立，只需保证：信源的行与D的列乘积最小。
 

习题：
 
 

三：下凸函数
 
 
 
 

4.1、模／数转换
 
信源编码在通信系统模型中的位置
 信源编码在通信系统模型中的位置如下图所示。
 
 对于模拟信源来讲，信源编码的过程包括模／数转换和压缩编码。
模数转换的过程是什么？
 通过采样、量化和编码，将模拟信号转换成数字信号的过程，就是 模／数转换，如下图所示。
 
 
4.1.1、采样
 
关于采样原理的说明
 采样就是从时域看，利用冲激信号按照一定的时间间隔对模拟信号进行抽样；从频域看，以采样频率为间隔对模拟信号频谱进行周期性拓展，如下图所示。
 
 上图中x(t)表示模拟信号，p(t)表示用来采样的冲激信号，y(t)是对x(t)进行采样后的模拟信号。X(f)、P(f)和Y(f)分别是x(t)、p(t)和y(t)对应的频域下的函数。
关于重建原理的说明
 利用理想低通滤波器从输入采样信号中重建模拟信号：从时域看， 采样信号的每个冲激在滤波器输出端产生一个sinc脉冲，叠加起来就得到了原始模拟信号；从频域看，采样信号的频谱与理想低通滤波器的频率响应相乘，就得到了原始模拟信号的频谱，如下图所示。
 
 从上图中可以看出，时域下，根据任何函数与冲激函数的卷积相当于是函数做平移的原理，可以由多个冲激函数一起叠加来还原一开始的模拟信号。频域下，将采样信号通过低通滤波器，相当于就是保留采样信号在低通滤波器截断频率以内的部分。
关于奈奎斯特采样定理的说明
 为了确保可以从采样信号中恢复出原始的模拟信号，采样频率必须 满足一定条件：采样频率必须大于模拟信号最高频率的2倍：fs>2fmax。这就是奈奎斯特采样定理。
 奈奎斯特采样定理的举例：以电话线上传输的语音信号为例，其最高频率为3400Hz，要想通 过采样信号重建语音信号，采样频率必须大于3400×2=6800Hz。一般PCM编码的采样频率为8kHz，大于6800Hz，是满足采样定理的。
从时域看奈奎斯特采样定理
 下面利用时域波形来直观体会一下采样定理。为简单起见，选取频 率为f=5Hz的余弦波作为被采样的信号。
 如果用fs=8f=40Hz的采样频率去采样，各样点连起来的波形比 较贴近余弦波，根据这些采样数据应该可以恢复 出余弦信号。如下图所示。
 
 如果用fs=4f=20Hz的采样频率去采样，各样点连起来的波形是 个三角波，还算贴近余弦波，根据这些采样数据 应该可以恢复出余弦信号。如下图所示。
 
 如果用fs=2f=10Hz的采样频率去采样，各样点连起来的波形是个三角波，还算贴近余弦波，根据这些采样数据 应该可以恢复出余弦信号。如下图所示。
 
 不过要注意，如果按照采样频率fs=2f去采样，采样起始点碰巧在余弦信号的过零点就麻烦了，想根据这些样点数据恢复出余弦信号是不可能的。如下图所示。
 
 如果用fs=6Hz<2f的采样频率去采样，结果和对频率为f=1Hz的 余弦波进行采样的结果完全相同，如下图所示。
 
 换句话说，当使用fs=6Hz的采样频率对信号进行确认后，根据采样数据我们不 知道被采样的信号频率到底是5Hz还是1Hz。以小于2倍信号最高频率的采样频率对信号进行采样，会出现频率混淆，这种现象被称为频率混叠。
从频域看奈奎斯特采样定理
 在时域对信号进行采样，相当于在频域以采样频率为间隔对频谱进行周期性拓展。
 假设信号x(t)的频谱如下图所示。
 
 上图中X(f)的信号带宽为B，也就是信号的最高频率等于B。
 为了避免频率混叠，先用较高的采样频率对信号进行采样，得到的采样信号频谱如下图所示。
 
 按上述采样频率进行采样，周期拓展的频谱之间的间隔较大，进一 步减小采样频率、缩小频谱之间的间隔，也不会发生频率混叠，如下图所示。
 
 再进一步减小采样频率，直至周期拓展的频谱刚好挨上为止，如下图所示。
 
 很明显，如果再进一步减小采样频率，就会发生频率混叠了，为了避免频率混叠，要求采样频率一定要大于信号带宽的2倍。
什么是频率混叠现象？
 当采样频率低于信号带宽的2倍，也就是低于信号最高频率的2倍时，周期性拓展的信号频谱交叠在了一起，这就是频率混叠。如下图所示。
 
 频率混叠现象的举例：实际上，频率混叠在现实生活中也是很常见的。例如，我们在看电视或电影时，有时候会发现这种现象：随着汽车不断加速，汽车轮子的转速逐渐增加，但当加速到某个速度的时候轮子的转速会突然变慢甚至出现轮子反转的现象，这种现象就与频率混叠有关。一般电影的帧率只有24FPS（帧／秒），也就是摄像机每秒钟拍24 个镜头，放映机每秒钟显示24个画面。如果我们将电影的摄制看作是信 号采样的过程，那电影的放映就是重建信号的过程。24FPS实际上就对 应了24Hz的采样频率。
利用旋转向量模拟车轮旋转说明频率混叠现象
 下面我们用旋转向量的旋转来模拟车轮的旋转，对上述现象做一下分析。
 假定旋转向量转速为3圈／秒，即f=3Hz，采样频率fs=8Hz， 采样间隔时间内向量旋转了3/8圈，采样得到的旋转向量如下图所示。
 
 上图中的采样间隔时间内旋转向量旋转了【f/fs】圈。由于fs>2f，没有发生频率混叠：旋转向量的转速为3圈／秒，采样 得到的向量旋转速度也是3圈／秒。
 随着向量转速f的逐渐提高，某个时刻2f会超过fs，也就 是fs<2f，这时候就会出现频率混叠。
 例如：旋转向量转速为5圈／秒，即f=5Hz，采样频率fs=8Hz，采样 间隔时间内向量旋转了5/8圈，采样得到的旋转向量如下图所示。
 
 上图中由于采样的间隔时间内，旋转向量逆时针旋转超过半圈，跨度太大，人眼更加倾向于跨度小的旋转，即等效的顺时针旋转小半圈，所以给人的感觉是顺时针采样。由于fs<2f，发生了频率混叠：旋转向量的转速为5圈／秒（逆时针 旋转），但采样得到的向量旋转速度是3圈／秒（顺时针旋转）。
 随着向量转速f的进一步提高，采样频率fs仍小于2f，还是会出现频率混叠。例如：旋转向量转速为10圈／秒，即f=10Hz，采样频率fs=8Hz，采样间隔时间内向量旋转了10/8圈（等效于2/8圈），采样得到的旋转向量如下图所示。
 
 上图中由于fs<2f，发生了频率混叠：旋转向量的转速为10圈／秒（逆时 针旋转），但采样得到的向量旋转速度是2圈／秒（逆时针旋转）。
理想采样的过程和实际的采样过程有什么区别？
 上面讨论的都是理想采样。采样信号由一系列冲激信号组成，如下图所示。
 
 采样：利用采样脉冲信号与模拟信号相乘，得到一系列冲激信号。
 重建：输入理想低通滤波器的是一系列冲激信号。
 实际系统中的采样与理想采样不同，采样时并不需要产生采样脉冲 信号与模拟信号相乘，只需要获得模拟信号在采样时刻的电平值即可， 如下图所示。
 
 
4.1.2、量化
 
什么是量化？
 所谓量化，就是将采样信号的电平归一化到有限个量化电平上（类似于积分中的小矩形），实现采样信号幅度的离散化，如下图所示。
 
 下面是量化中常见的几个概念：
 量化级数：量化电平的个数称为量化级数。
 量化误差：信号电平的量化值和实际值之差称为量化误差，也称为量化噪声。量化噪声的幅度最大等于量化间隔的1/2。
 量化信噪比＝信号功率／量化噪声功率。
什么是均匀量化？均匀量化的性质有哪些？
 所谓的均匀量化，就是指量化电平取值等间隔。
 以某波形信号为例，均匀量化后的电平如下图所示。
 
 
 上两图都是均匀量化，很明显量化级数越多，量化间隔越小，量化噪声越小，第一幅图的量化误差相较于第二幅图的量化误差要高。
 均匀量化方法简单，但在信号电平比较低的情况下，量化信噪比比较低，如下图所示。
 
 从上图中可以看出信号电平低，信号功率就低，量化信噪比是是信号功率与噪声功率的比值，因此量化信噪比相应的也会低。
什么是非均匀量化？非均匀量化的性质有哪些？
 为什么要引出非均匀量化？
 电话通信要求线路的信噪比至少要大于28dB，而且统计发现通话过 程中出现小信号的概率大。在量化电平数不能取得太高的情况下，如果 采用均匀量化，很难满足信噪比要求，由此引出了非均匀量化。
 所谓的非均匀量化，就是指量化电平取值不等间隔，量化间隔随着 信号电平的增大而增大：小信号细量化，大信号粗量化。如下图所示。
 
 这种量化方法相对复杂，但可以保证信号电平比较小和信号电平比 较大场景下的量化信噪比差不多。
实际中如何实现非均匀量化？
 一般在发送端使用一个压缩器串接一个均匀量化器来实现非均匀量 化，相应地在接收端要有一个扩张器，如下图所示。
 
 压缩器和扩张器的输出—输入关系，如下图所示。
 
 PS：关于使用压缩器、均匀量化器和扩张器实现非均匀量化的原理说明。
 压缩的实质如下图所示。
 
 从上图中可以看出大信号经过压缩器之后，幅度和原来相比几乎没有改变，而小信号的幅度相比于之前得到了较大的放大。这使得大小信号的幅度差减小了，这样也就削弱了均匀量化小信号量化信噪比低的问题，因为小信号被放大了。具体压缩和放大的过程如下图。
 
 
4.1.3、编码
 
1、编码的定义。如何对量化后的信号进行编码？
 所谓的编码就是将量化后的信号电平值用二进制数字来表示。
 量化电平数为N的情况下，信号电平值需要log2N位二进制数字来表示。以量化电平数为16为例，需要4位二进制数字表示，如下图所示。
 
 
4.1.4、实现
 
通信系统中的模 / 数转换功能和数 / 模转换功能分别由哪些仪器来完成？
 通信系统中的模／数转换功能一般由ADC来完成，数／模转换由DAC 来完成。
模数转换器的工作原理的说明。
 ADC就是模／数转换器。
 一个3位并行比较型ADC的工作原理框图如下图所示。
 
 上图中的模数转换器主要由电阻 分压器、电压比较器、寄存器及编码器组成。图中的8个电阻将参考电压VREF分成8个等级，其中7个等级的电压分 别作为7个比较器C1~C7的参考电压，其数值分别为VREF/15，3VREF/15， …，11VREF/15，13VREF/15。
 输入电压为V1，它的大小决定各比较器的输出状态，例如：
 当0≤V1<VREF/15时，C1~C7的输出状态都为0；
 当3VREF/15≤V1<VREF/15时，比较器C6和C7的输出状态：C06=C07=1，其 余各比较器的输出状态均为0。
 比较器的输出状态由D触发器存储，经优先编码器编码，得到数字 量输出。
 设V1变化范围是0~VREF，输出3位数字量为D2D1D0，3位并行比较型A/D 转换器的输入、输出关系如下图所示。
 
 为了更好地理解ADC原理，将输入信号（V1）、时钟脉冲（CP）、 采样信号、量化电平信号画到一张图中，如下图所示。
 
数模转换器的工作原理。
 DAC就是数／模转换器。
 一个3位R-2R网络型DAC的工作原理框图如下图所示。
 
 上图中的数模转换器主要由电阻网 络、3个单刀双掷电子开关、基准电压VREF及运算放大器四部分组成。
 电阻R和2R构成T形电阻网络。S0~S2为3个电子开关，它们分别受输 入的数字信号3位二进制数D0~D3的控制：
 当Di=0时，电子开关Si拨向左边，接地；
 当Di=1时，电子开关Si拨向右边，与运算放大器的反相输入端相 接。
 运算放大器构成反相比例放大器，其输出Vo为模拟信号电压。
 VREF为基准电压。
 由于运算放大器的反相输入端为“虚地”，因此，无论电子开关Si 置于左边还是右边，从T形电阻网络节点A、B、C对“地”往左看的等效 电阻均为R，因此可以很方便地求得电路中有关电流的表示式如下图：
 
 而流经反馈电阻R的总电流I′与电子开关S0~S2所处状态有关，只有 Si拨向右边时，对应的Ii才会流向反馈电阻R，因此由下图中的式子。
 
 注：由于运算放大器的“虚断”特性，流入反相输入端的电流忽略 不计。
 运算放大器输出电压的计算式如下图所示。
 
 假定：VREF=-10V。
 输入数字信号对应的输出模拟电压如下图所示。
 
 很明显，输出模拟电压Vo与输入数字量成正比（如下图所示）， 数／模转换完成。