精华内容
下载资源
问答
  • 信源编码和信道编码

    千次阅读 2018-12-06 15:14:59
    信源编码和信道编码的发展历程 信源编码:  最原始的信院编码就是莫尔斯电码,另外还有ASCII码电报码都是信源编码。但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z编码,这三种都是无损...

    一.信源编码和信道编码的发展历程

    信源编码:

        最原始的信院编码就是莫尔斯电码,另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z编码,这三种都是无损编码,另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余,更加有效、经济地传输,最常见的应用形式就是压缩。

    相对地,信道编码是为了对抗信道中的噪音和衰减,通过增加冗余,如校验码等,来提高抗干扰能力以及纠错能力。

    信道编码:

    1948年Shannon极限理论

    →1950年Hamming码

    →1955年Elias卷积码

    →1960年 BCH码、RS码、PGZ译码算法

    →1962年Gallager LDPC(Low Density Parity Check,低密度奇偶校验)码

    →1965年B-M译码算法

    →1967年RRNS码、Viterbi算法

    →1972年Chase氏译码算法

    →1974年Bahl MAP算法

    →1977年IMaiBCM分组编码调制

    →1978年Wolf 格状分组码

    →1986年Padovani恒包络相位/频率编码调制

    →1987年Ungerboeck TCM格状编码调制、SiMonMTCM多重格状编码调制、WeiL.F.多维星座TCM

    →1989年Hagenauer SOVA算法

    →1990年Koch Max-Lg-MAP算法

    →1993年Berrou Turbo码

    →1994年Pyndiah 乘积码准最佳译码

    →1995年 Robertson Log-MAP算法

    →1996年 Hagenauer TurboBCH码

    →1996MACKay-Neal重新发掘出LDPC码

    →1997年 Nick Turbo Hamming码

    →1998年Tarokh 空-时卷格状码、AlaMouti空-时分组码

    →1999年删除型Turbo码

         虽然经过这些创新努力,已很接近Shannon极限,例如1997年Nickle的TurboHamming码对高斯信道传输时已与Shannon极限仅有0.27dB相差,但人们依然不会满意,因为时延、装备复杂性与可行性都是实际应用的严峻要求,而如果不考虑时延因素及复杂性本来就没有意义,因为50多年前的Shannon理论本身就已预示以接近无限的时延总容易找到一些方法逼近Shannon极限。因此,信道编码和/或编码调制理论与技术在向Shannon极限逼近的创新过程中,其难点是要同时兼顾考虑好编码及交织等处理时延、比特误码率门限要求、系统带宽、码率、编码增益、有效吞吐量、信道特征、抗衰落色散及不同类别干扰能力以及装备复杂性等要求。从而,尽管人们普遍公认Turbo码确是快速逼近Shannon极限的一种有跃变性改进的码类,但其时延、复杂性依然为其最严峻的挑战因素,看来,沿AlaMouti的STB方式是一种看好的折衷方向。同样,实际性能可比Turbo码性能更优良的LDPC码,从1962年Gallager提出, 当时并未为人们充分理解与重视,至1996年为MACKay—Neal重新发现后掀起的另一股推进其研究、应用热潮, 此又为另一明显示例。LDPC码是一类可由非常稀疏的奇偶校验矩阵或二分图(Bi-PartiteGrapg)定义的线性分组前向纠错码,它具有更简单的结构描述与硬件复杂度,可实现完全并行操作,有利高速、大吞吐能力译码,且译码复杂度亦比Turbo码低,并具更优良的基底(Floor)残余误码性能,研究表明,最好的非正则(Irregular)LDPC码,其长度为106时可获得BER=10-6时与Shannon极限仅相差0.13dB;当码长为107、码率为1/2,与Shannon极限仅差0.04dB;与Turbo码结构不同,这是由另一种途径向“Shannon极限条件”的更有效与更逼真的模拟,从而取得比Turbo码更好的性能。因此,“学习、思考、创新、发展”这一永恒主题中持续“创新”最为关键,MIMO-STC及Turbo/LDPC码的发展历程亦充分证实了这一发展哲理。

     

    二.信源编码和信道编码远离的简要介绍

    信源编码:

    一种以提高通信有效性为目的而对信源符号进行的变换;为了减少或消除信源剩余度而进行的信源符号变换。为了减少信源输出符号序列中的剩余度、提高符号的平均信息量,对信源输出的符号序列所施行的变换。具体说,就是针对信源输出符号序列的统计特性来寻找某种方法,把信源输出符号序列变换为最短的码字序列,使后者的各码元所载荷的平均信息量最大,同时又能保证无失真地恢复原来的符号序列。

      数字信号在传输中往往由于各种原因,使得在传送的数据流中产生误码,从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节,对数码流进行相应的处理,使系统具有一定的纠错能力和抗干扰能力,可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。

      提高数据传输效率,降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少,信道编码的过程是在源数据码流中加插一些码元,从而达到在接收端进行判错和纠错的目的,这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样,为了保证运送途中不出现打烂玻璃杯的情况,我们通常都用一些泡沫或海棉等物将玻璃杯包装起来,这种包装使玻璃杯所占的容积变大,原来一部车能装5000各玻璃杯的,包装后就只能装4000个了,显然包装的代价使运送玻璃杯的有效个数减少了。同样,在带宽固定的信道中,总的传送码率也是固定的,由于信道编码增加了数据量,其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了,不同的编码方式,其编码效率有所不同。

        基于层次树的集分割(SPIHT)信源编码方法是基于EZW而改进的算法,它是有效利用了图像小波分解后的多分辨率特性,根据重要性生成比特流的一个渐进式编码。这种编码方法,编码器能够在任意位置终止编码,因此能够精确实现一定目标速率或目标失真度。同样,对于给定的比特流,解码器可以在任意位置停止解码,而仍然能够恢复由截断的比特流编码的图像。而实现这一优越性能并不需要事先的训练和预存表或码本,也不需要任何关于图像源的先验知识。

      数字电视中常用的纠错编码,通常采用两次附加纠错码的前向纠错(FEC)编码。RS编码属于第一个FEC,188字节后附加16字节RS码,构成(204,188)RS码,这也可以称为外编码。第二个附加纠错码的FEC一般采用卷积编码,又称为内编码。外编码和内编码结合一起,称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。  

      前向纠错码(FEC)的码字是具有一定纠错能力的码型,它在接收端解码后,不仅可以发现错误,而且能够判断错误码元所在的位置,并自动纠错。这种纠错码信息不需要储存,不需要反馈,实时性好。所以在广播系统(单向传输系统)都采用这种信道编码方式。以下是纠错码的各种类型:

     

        既然信源编码的基本目的是提高码字序列中码元的平均信息量,那么,一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理,都可以在这种意义下归入信源编码的范畴,例如过滤、预测、域变换和数据压缩等。当然,这些都是广义的信源编码。  

    一般来说,减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个:①使序列中的各个符号尽可能地互相独立;②使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性,后者称为概率均匀化。

    第三代移动通信中的信源编码包括语音压缩编码、各类图像压缩编码及多媒体数据压缩编码。

     

    信道编码:

        数字信号在传输中往往由于各种原因,使得在传送的数据流中产生误码,从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节,对数码流进行相应的处理,使系统具有一定的纠错能力和抗干扰能力,可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。

    提高数据传输效率,降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少,信道编码的过程是在源数据码流中加插一些码元,从而达到在接收端进行判错和纠错的目的,这就是我们常常说的开销。

    码率兼容截短卷积(RCPC)信道编码,就是一类采用周期性删除比特的方法来获得高码率的卷积码,它具有以下几个特点:

    (1)截短卷积码也可以用生成矩阵表示,它是一种特殊的卷积码;

    (2)截短卷积码的限制长度与原码相同,具有与原码同等级别的纠错能力;                                            (3)截短卷积码具有原码的隐含结构,译码复杂度降低;

       (4)改变比特删除模式,可以实现变码率的编码和译码。

     

    三.信源编码和信道编码的区别

        信源编码信源编码的作用之一是设法减少码元数目和降低码元速率,即通常所说的数据压缩。码元速率将直接影响传输所占的带宽,而传输带宽又直接反映了通信的有效性。作用之二是,当信息源给出的是模拟语音信号时,信源编码器将其转换成数字信号,以实现模拟信号的数字化传输。模拟信号数字化传输的两种方式:脉冲编码调制(PCM)和增量调制(ΔM)。信源译码是信源编码的逆过程。1.脉冲编码调制(PCM)简称脉码调制:一种用一组二进制数字代码来代替连续信号的抽样值,从而实现通信的方式。由于这种通信方式抗干扰能力强,它在光纤通信、数字微波通信、卫星通信中均获得了极为广泛的应用。增量调制(ΔM):将差值编码传输,同样可传输模拟信号所含的信息。此差值又称“增量”,其值可正可负。这种用差值编码进行通信的方式,就称为“增量调制”,缩写为DM或ΔM,主要用于军方通信中。信源编码为了减少信源输出符号序列中的剩余度、提高符号的平均信息量,对信源输出的符号序列所施行的变换。具体说,就是针对信源输出符号序列的统计特性来寻找某种方法,把信源输出符号序列变换为最短的码字序列,使后者的各码元所载荷的平均信息量最大,同时又能保证无失真地恢复原来的符号序列.信道编码的目的:信道编码是为了保证信息传输的可靠性、提高传输质量而设计的一种编码。它是在信息码中增加一定数量的多余码元,使码字具有一定的抗干扰能力。信道编码的实质:信道编码的实质就是在信息码中增加一定数量的多余码元(称为监督码元),使它们满足一定的约束关系,这样由信息码元和监督码元共同组成一个由信道传输的码字。信源编码很好理解,比如你要发送一个图形,必须把这个图像转成0101的编码,这就是信源编码。

        信道编码数字信号在信道传输时,由于噪声、衰落以及人为干扰等,将会引起差错。为了减少差错,信道编码器对传输的信息码元按一定的规则加入保护成分(监督元),组成所谓“抗干扰编码”。接收端的信道译码器按一定规则进行解码,从解码过程中发现错误或纠正错误,从而提高通信系统抗干扰能力,实现可靠通信。信道编码是针对无线信道的干扰太多,把你要传送的数据加上些信息,来纠正信道的干扰。信道编码数字信号在信道传输时,由于噪声、衰落以及人为干扰等,将会引起差错。为了减少差错,信道编码器对传输的信息码元按一定的规则加入保护成分(监督元),组成所谓“抗干扰编码”。接收端的信道译码器按一定规则进行解码,从解码过程中发现错误或纠正错误,从而提高通信系统抗干扰能力,实现可靠通信。

    信源编码信号:例如语音信号(频率范围300-3400Hz)、图象信号(频率范围0-6MHz)……基带信号(基带:信号的频率从零频附近开始)。在发送端把连续消息变换成原始电信号,这种变换由信源来完成。

    信道编码信号:例如二进制信号、2PSK信号……已调信号(也叫带通信号、频带信号)。这种信号有两个基本特征:一是携带信息;二是适应在信道中传输,把基带信号变换成适合在信道中传输的信号完成这样的变换是调制器。

    信源编码是对输入信息进行编码,优化信息和压缩信息并且打成符合标准的数据包。信道编码是在数据中加入验证码,并且把加入验证码的数据进行调制。两者的作用完全不一样的。信源编码是指信号来源的编码,主要是指从那个接口进来的。信道编码是说的信号通道的编码,一般是指机内的电路。总的来说吧:信源编码是对视频, 音频, 数据进行的编码,即对信息进行编码以便处理,而信道编码是指在信息传输的过程中对信息进行的处理。

     

    四.信源编码和信道编码在现代社会的应用

    1.在现代无线通信中的应用:

        通信的任务是由一整套技术设备和传输媒介所构成的总体——通信系统来完成的。电子通信根据信道上传输信号的种类可分为模拟通信和数字通信。最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成。实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。数字通信系统设备多种多样,综合各种数字通信系统,其构成如图所示:

     

     

        信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。

    信道,通俗地说是指以传输媒质为基础的信号通路。具体地说,信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号,它提供一段频带让信号通过,同时又给信号加以限制和损害。

    信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。在计算机科学领域,信道编码(channel code)被广泛用作表示编码错误监测和纠正的术语,有时候也可以在通信和存储领域用作表示数字调制方式。信道编码用来在数据传输的时候保护数据,还可以在出现错误的时候来恢复数据。

    2.在超宽带信道中的应用

    超宽带(Ultra Wideband,以下简称UWB) [1][2]系统具有高传输速率、低功耗、低成本等独特优点,是下一代短距离无线通信系统的有力竞争者。它是指具有很高带宽比射频(带宽与中心频率之比)的无线电技术。近年来,超宽带无线通信在图像和视频传输中获得了越来越广泛的应用,它具有极高的传输速率以及很宽的传输频带,可以提供高达1Gbit/s的数据传输速率,可用在数字家庭网络或办公网络中,实现近距离、高速率数据传输。例如,利用UWB技术可以在家用电器设备之间提供高速的音频、视频业务传输,在数字办公环境中,应用UWB技术可以减少线缆布放的麻烦,提供无线高速互联。  

        联合信源信道编码(Joint Source Channel Coding,以下简称JSCC)[3][4]近几年来日益受到通信界的广泛重视,主要原因是多媒体无线通信变得更加重要。根据Shannon信息论原理,通信系统中信源编码和信道编码是分离的[5],然而,该定理假设信源编码是最优的,可以去掉所有冗余,并且假设当比特率低于信道容量时可纠正所有误码。在不限制码长的复杂性和时延的前提下,可以得到这样的系统。而在实际系统中又必须限制码长的复杂性和时延,这必然会导致性能下降,这和香农编码定理的假设是相矛盾的。因此,在许多情况下,采用独立编码技术并不能获得满意的效果,例如有严重噪声的衰落信道和(移动通信信道),采用独立编码技术不能满足要求。因此需要将信源编码和信道编码联合考虑,在实际的信道条件中获得比信源和信道单独进行编码更好的效果。其中不等差错保护是联合信源信道编码的一种, 是相对于同等差错保护而言的。在网络资源有限的情况下,同等差错保护方案使得重要信息得不到足够的保护而使解码质量严重下降。而不等差错保护根据码流的不同部分对图像重建质量的重要性不同, 而采用不同的信道保护机制, 是信源信道联合编码的一个重要应用。

    不等差错保护(Unequal Error Protection,以下简称UEP)的信源编码主要采用嵌入式信源编码,如SPIHT(Set Partitioning In Hierarchical Trees) [6],EZW,JPEG2000等,信源输出码流具有渐进特性,信道编码采用RCPC[7],RCPT等码率可变的信道编码。文章[8]中研究了在AWGN信道下的不等差错保护的性能; 文章[9]中研究了有反馈的移动信道下的多分辨率联合信源信道编码;文章[10]研究了无线信道下的图像传输,信源编码采用SPIHT,信道编码采用多码率Turbo coder的不等差错保护方案;文章[11]中研究了DS-CDMA多径衰落信道下信源编码为分层视频图像编码,信道编码采用RCPC,解决了在信源编码,信道编码以及各个层之间的码率最优分配; 文章[12]研究了3G网络下MPEG-4视频流的传输,信道编码采用 Turbo编码,提出了用TCP传输非常重要的MPEG-4流,而用UDP传输MPEG-4 audio/video ES (Elementary Streams),并且对UDP传输的码流进行UEP的方案;文章[13]研究在无线频率选择性衰落信道中将MIMO-OFDM和adaptive wavelet pretreatment(自适应小波预处理)结合在一起的联合信源信道编码图像传输。据我们的了解, 现在并无文章研究超宽带无线信道下不等差错保护方案,本文将不等差错保护联合信源信道编码应用于超宽带无线通信中, 信源部分采用基于小波SPIHT 的编码方法,而信道部分采用RCPC编码( Rate Compatible Punctured Convolutional codes) 对SPIHT输出码流按重要程度进行不等错误保护,并基于DS-UWB[14]方案提出双重不等差错保护方案, 研究了不等差错保护给图像在超宽带无线通信中的图像传输所带来性能增益。  

    采用标准LENA256×256图像进行仿真实验, 信源编码采用SPIHT算法,SPIHT 编码速率为0.5bpp, 信道编码采用码率自适应截短卷积码RCPC, 对实验图像进行同等差错保护信道编码( EEP) 和不等差错保护信道编码(UEP), 对于EEP编码采用1/ 2 码率;对于UEP 编码,其重要信息(包括头部语法及图像重要数据) 采用1/ 3码率,对图像次重要数据采用1/ 2码率进行编码,对图像非重要数据不进行编码。信道编码输出码流经过一个(Ns,1)重复编码器,对重要信息Ns取30,次重要数据Ns取20,非重要数据Ns取为10,再用一个周期为Np=Ns的伪随机DS码序列对重复编码器输出序列进行编码,最后对编码输出进行PAM调制和脉冲成形从而形成DS-UWB发送信号波形,其中脉冲参数设置为平均发射功率为-30,抽样频率为50e9,平均脉冲重复时间为2e-9,冲激响应持续时间为0.5e-9,脉冲波形形成因子为0.25e-9。DS-UWB信号经过IEEE802.15.3a CM1信道模型,接收端采用Rake接收机对接收信号进行解调,解调后的码流经过RCPC信道译码和SPIHT信源译码恢复出原始图像。

     

               CMI信道模型下Double-UEP与UEP,EEP的性能比较

    图中给出了IEEE802.15.3a CM1信道模型下双重不等差错保护(Double-UEP)与传统不等差错保护(UEP)与同等差错保护(EEP)的性能比较,其中横轴为超宽带信道中的信噪比Eb/N0,纵轴为重建图像的峰值信噪比PSNR(Peek Signal Noise Ratio)。

      由图可见,在UWB信道中,不等差错保护的性能普遍好于同等差错保护的性能,尤其是在低信噪比的时候,采用不等差错保护能够获得更大的性能增益。在高信噪比时,由于此时信道质量较好,误码率较低,图像中的重要码流基本不会产生误码,此时不等差错保护和同等差错保护性能趋于一致;而在低信噪比时,由于不等差错保护方案对图像的重要信息加入了更多的冗余,从而在不增加传输速率的情况下使图像得以更可靠的传输,提升重建图像的质量。

     

    五.信源编码与信道编码的发展前景

    信息论理论的建立,提出了信息、信息熵的概念,接着人们提出了编码定理。编码方法有较大发展,各种界限也不断有人提出,使多用户信息论的理论日趋完整,前向纠错码(FEC)的码字也在不断完善。但现有信息理论中信息对象的层次区分对产生和构成信息存在的基本要素、对象及关系区分不清,适用于复杂信息系统的理论比较少,缺乏核心的“实有信息”概念,不能很好地解释信息的创生和语义歧义问题。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明,其他信道也有一些结果,但尚不完善。但近几年来,第三代移动通信系统(3G)的热衷探索,促进了各种数字信号处理技术发展,而且Turbo码与其他技术的结合也不断完善信道编码方案。

    移动通信的发展日新月异,从1978年第一代模拟蜂窝通信系统诞生至今,不过20多年的时间,就已经过三代的演变,成为拥有10亿多用户的全球电信业最活跃、最具发展潜力的业务。尤其是近几年来,随着第三代移动通信系统(3G)的渐行渐近,以及各国政府、运营商和制造商等各方面为之而投入的大量人力物力,移动通信又一次地在电信业乃至全社会掀起了滚滚热潮。虽然目前由于全球电信业的低迷以及3G系统自身存在的一些问题尚未完全解决等因素,3G业务的全面推行并不象计划中的顺利,但新一代移动通信网的到来必是大势所趋。因此,人们对新的移动通信技术的研究的热情始终未减。

    移动通信的强大魅力之所在就是它能为人们提供了固话所不及的灵活、机动、高效的通信方式,非常适合信息社会发展的需要。但同时,这也使移动通信系统的研究、开发和实现比有线通信系统更复杂、更困难。实际上,移动无线信道是通信中最恶劣、最难预测的通信信道之一。由于无线电波传输不仅会随着传播距离的增加而造成能量损耗,并且会因为多径效应、多普勒频移和阴影效应等的影响而使信号快速衰落,码间干扰和信号失真严重,从而极大地影响了通信质量。为了解决这些问题,人们不断地研究和寻找多种先进的通信技术以提高移动通信的性能。特别是数字移动通信系统出现后,促进了各种数字信号处理技术如多址技术、调制技术、纠错编码、分集技术、智能天线、软件无线电等的发展。

     

    结论:

    从文中我们可以清楚的认识到信源编码和信道编码的发展布满艰辛,今天的成就来之不易。随着今天移动通信技术的不断发展和创新,信源编码与信道编码的应用也越来越广泛,其逐步的应用于各个领域,在通信系统中扮演着非常重要的角色,起到了至关重要的作用。但是,现有信息理论也存在一定的缺陷,具体表现在以下几个方面:

    1.现有信息理论体系中缺乏核心的 “实有信息”概念。

    2.适用于复杂信息系统的理论比较少。目前的狭义与广义信息论大多是起源和立足于简单系统的信息理论,即用简单通讯信息系统的方法来类比复杂系统的信息现象,将复杂性当成了简单性来处理。而涉及生命现象和人的认识论层次的信息是很复杂的对象,其中信宿主体内信息的语义歧义和信息创生问题是难点,用现有信息理论难以解释。

    3.对产生和构成信息存在的基本要素、对象及关系区分不清。如将对象的直接存在(对象的物质、能量、相互作用、功能等存在)当成信息存在;将信息的载体存在当成信息存在;将信息与载体的统一体当成信息存在;把信宿获得的“实得信息”当成唯一的信息存在,这是主观信息论。或者把信源和信道信息当成唯一的信息存在,称之为客观信息论。这二种极端的信息理论正是忽略了信息在关系中产生、在关系中存在的复杂本质。忽略了信息存在至少涉及三个以上对象及复杂关系。

    4.现有信息理论不能很好地解释信息的创生和语义歧义问题。

    5.现有信息理论对信宿实得信息的理解过于简单,没有将直接实得信息与间接实得信息区别开来。

    6.信息对象的层次区分没有得到重视。不少研究者将本体论层次的信息与认识论层次的信息混为一谈,将普适性信息范畴与具体科学,特别是技术层次(如通信、控制、计算等)的信息概念混为一谈。抓住信息的某一层次或某一方面当成信息对象的总体。

        因此,在科学技术飞速发展的今天,我们应该加强对信源编码与信道编码的了解和认识,这能让在以后的生活和学习过程中不断完善和改进现有信息论存在的缺陷,更好的应用和了解我们的专业知识,更好更快的做好自己的工作,让自己能从各方面得到满意的结果。

    展开全文
  • 信源编码信道编码

    千次阅读 2019-12-19 22:29:39
    信源编码信源编码是一种以提高通信有效性为目的而对信源符号进行的变换,或者说为了减少或消除信源冗余度而进行的信源符号变换(百度百科)。通俗理解压缩编码,假设信源发送的1111111100000000这个码字,如果不...

    信源编码:信源编码是一种以提高通信有效性为目的而对信源符号进行的变换,或者说为了减少或消除信源冗余度而进行的信源符号变换(百度百科)。通俗理解压缩编码,假设信源发送的11111111和00000000这个码字,如果不做压缩编码,发送端需要发送8个bit。现在以一个bit 1111 1111  = 1;0000 0000 = 0,这样发送端只需要发送一个bit,即可将源bit信息表示出来。这就是信源编码,用尽可能少的bit将信息表示出来。例如霍夫曼编码

    信道编码:通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。通俗理解,提高接收端解码正确率,这就和信源编码反过来了,需要给原比特添加冗余bit。冗余bit作用,增加信号纠错能力,在接收端解码时,差1-2个bit也没问题。举例,发送端只发送一个1个bit,0 or 1。接收端一不留神就可能解错,现在对信源编码后的bit信息进行信道编码,1 = 1111 1111 ;0 = 0000 0000 ,1/8编码,通常不会这么夸张,熟知的咬尾卷积码,turbo码都是1/3码率。假设源信息经信道传输至接收侧,经译码后结果为 1111 1100 ,这个结果我们认为发送端发的是1,0010 0000 这个结果我们认为是 0。这也就是纠错编码技术。

    有的同学可能会比较混乱,一会儿又让短一会儿又让长,这不麻烦吗?充分理解这两个概念的作用,就好记忆了。信源编码作用就是想利用有限长bit,传输最多的信息。信道编码是为了让bit传输到接收端,接收端能正确译码。

     

     

    展开全文
  • 信源编码和信道编码的发展历程 信源编码: 最原始的信院编码就是莫尔斯电码,另外还有ASCII码电报码都是信源编码。但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z编码,这三种都是无损编码...

    一.信源编码和信道编码的发展历程

    信源编码:

        最原始的信院编码就是莫尔斯电码,另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z编码,这三种都是无损编码,另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余,更加有效、经济地传输,最常见的应用形式就是压缩。

    相对地,信道编码是为了对抗信道中的噪音和衰减,通过增加冗余,如校验码等,来提高抗干扰能力以及纠错能力。

    信道编码:

    1948年Shannon极限理论

    →1950年Hamming码

    →1955年Elias卷积码

    →1960年 BCH码、RS码、PGZ译码算法

    →1962年Gallager LDPC(Low Density Parity Check,低密度奇偶校验)码

    →1965年B-M译码算法

    →1967年RRNS码、Viterbi算法

    →1972年Chase氏译码算法

    →1974年Bahl MAP算法

    →1977年IMaiBCM分组编码调制

    →1978年Wolf 格状分组码

    →1

    展开全文
  • 摘要:信源编码是一个数据压缩的过程,其目的是尽可能地将信源中的冗余度去掉;而信道编码则是一个增加冗余的过程,通过适当加入冗余度来达到抵抗信道噪声,保护传输数据的目的。

    本文分享自华为云社区《基于深度学习的信源信道联合编码》,原文作者:技术火炬手 。

    信源编码是一个数据压缩的过程,其目的是尽可能地将信源中的冗余度去掉;而信道编码则是一个增加冗余的过程,通过适当加入冗余度来达到抵抗信道噪声,保护传输数据的目的。

    经典端对端无线通信系统如下图所示:

    • 信源 xx 使用信源编码,去除冗余得到比特流 ss
    • 对 ss 进行信道编码(如 Turbo、LDPC 等)得到 yy,增加相应的校验位来抵抗信道噪声。
    • 对比特流 yy 进行调制(如 BPSK、16QAM 等)得到 zz,并经物理信道发送。
    • 接收端对经信道后的符号 \bar{z}zˉ 进行解调、解码操作得到 \bar{x}xˉ。

    根据定义信道方式不同,基于深度学习的信源信道联合编码(Deep JSCC)可以分为两类。

    第一类,受无编码传输的启发,将信源编码、信道编码和调制联合设计为编码器。

    系统模型如下图所示:

    第二类,将通信系统中的调制、噪声信道、解调模块抽象为离散的二进制信道。

    系统模型如下图所示:

    第一种模型称为基于物理信道的符号编码,第二种称为基于抽象信道的比特编码。

    另一方面,信源可根据其是否具有结构化特征划分为两类:

    • 结构化信源,如图像、视频。
    • 非结构化信源,如高斯信源。

    结构化信源是 Deep JSCC 的主要研究场景。由于神经网络对结构化数据具有强大的特征获取能力,并且有针对各种结构化数据设计的网络结构的出现。

    因此,Deep JSCC 相较于传统设计更具有优势。

    图像/视频等具有空间拓扑结构信源适合 CNN 网络结构,文本/语音等具有时间序列化结构信源适合 RNN 网络结构。

    对于非结构化信源,Deep JSCC 则稍显羸弱。因为非结构化信源内部相关性弱,难以去除冗余。

    基于物理信道的符号编码

    结构化信源

    Gunduz 团队1 提出了一个传输高分辨率图像的 Deep JSCC 框架。发送端和接收端都使用 CNN 网络,并在训练时加入了高斯白噪声和瑞利衰减噪声。

    提出的 Deep JSCC 框架如下图所示:

    实验表明,从 PSNR 和 SSIM 数据来看,提出的信源信道联合编码比信源信道分离方案更优,在低信噪比的信道环境下,优势尤其明显。

    Gunduz 团队2 在前一个方案的基础上,提出将噪声反馈模块融入传输系统,以增强编解码器对变换信噪比的鲁棒性。

    解码器将一部分经过噪声信道的接收到的符号 \bar{z}zˉ 反馈给编码器,编码器根据 \bar{z}zˉ 重新计算信噪比,并对编解码网络参数进行改进,以适应变换的信噪比环境。

    其通信方案如下图所示:

    Jankowski3 提出了一种使用 Deep JSCC 来进行图像检索的方案,先提取图像特征,然后使用 Deep JSCC 编码传输图像特征子,接收端接收解码特征子并基于特征对图像进行检索。

    系统架构如下图所示:

    非结构化信源

    Saidutta4 提出了一种应用双编码解码结构的 Deep JSCC 方案对高斯信源进行编码传输。
    训练时采用 MSE 优化器。

    系统架构如下图所示:

    在前面工作的基础上,Saidutta5 提出了基于变分自编码器对高斯信源编码的 Deep JSCC 方案,通过假设接收信号和重构信号的高斯统计特性,给出了正则化 MSE 损失的可变上限证明。

    Xuan6 提出了一种基于 RNN 对高斯信源编码的 Deep JSCC 方案。

    其不需要获取信源的先验信息,并在理论上证明了 Deep JSCC 的有效性,同时证明了基于深度学习的编码器与基于混沌动态系统(Chaotic Dynamical System)的编码函数之间的相似性。

    系统框架如下图所示:

    基于抽象信道的比特编码

    与传统符号流的 Deep JSCC 方案不同,二进制信道下传输离散比特流无法计算反向传播梯度。因此,离散信道的嵌入也比物理信道的嵌入更为复杂。

    近年来,神经网络离散化7和离散自编码器8的发展,为上述难点提供了解决思路。针对离散化神经网络的问题,一个简单的方法是使用得分函数估计器替代梯度9。由于该估计方差较高,一部分工作提出了不同的公式和控制变量来解决该问题10。

    另外,为了达到使离散随机变量连续化的目的,Jang 和 Maddisonet 分别提出了 Gumbel-Softmax 分布11和 Concrete 方案12。

    结构化信源

    Choi13 提出了一种使用离散自编码器对图像进行抽象信道的比特编码方案。为了保留编码的硬离散性,使用了多样本变分下界目标,用于获得低变差梯度。

    系统结构如下图所示:

    其使用图像及其二进制表示的互信息的变分下界来训练模型,以获得更好的鲁棒性。

    Song14 提出了新的正则化方法 IABF(Infomax Adversarial Bits Flip) ,以增强 NECST 的压缩和纠错能力,提升鲁棒性。并提出了新的损失函数,实现了网络对高维数据更有效的优化。

    Shao15 基于轻量级 CNN 网络提出了可部署到计算能力有限的移动设备中的低功耗 Deep JSCC。

    系统架构如下图所示:

    Farsad16 提出了基于 RNN 结构的 Deep JSCC 方案,以对文本信源进行编码传输。采用里德-所罗门(ReedSolomon)码对信道进行编码;结果表明,当编码比特较短时,该方案比传统方法具更低的单词错误率。

    系统架构如下图所示:

    非结构化信源

    Carpi17 提出了一种基于强化学习的 Deep JSCC 方案,采用了比特位翻转解码(bitflipping decoding)、残差信念传播(residual belief propagation)和锚解码(anchor decoding)三种算法,让解码器由数据驱动去学习最佳的解码策略。

    1. [2019 TCCN]
      Deep Joint Source-Channel Coding for Wireless Image Transmission
    2. [2020 JSAIT]
      DeepJSCC-f: Deep Joint Source-Channel Coding of Images with Feedback
    3. [2019 ICASSP]
      Deep Joint Source-Channel Coding for Wireless Image Retrieval
    4. [2019 DCC]
      M to 1 Joint Source-Channel Coding of Gaussian Sources via Dichotomy of the Input Space Based on Deep Learning
    5. [2019 ISIT]
      Joint Source-Channel Coding for Gaussian Sources over AWGN Channels using Variational Autoencoders
    6. [2020 SPCOM]
      Analog Joint Source-Channel Coding for Gaussian Sources over AWGN Channels with Deep Learning
    7. [2019 TPMI]
      Learning Deep Binary Descriptor with Multi-Quantization
    8. [2018 NIPS]
      DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors
    9. [1992 ML]
      Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning
    10. [2017 NIPS]
      REBAR: Low-variance, unbiased gradient estimates for discrete latent variable models
    11. [2016 ML]
      Categorical Reparameterization with Gumbel-Softmax
    12. [2016 ML]
      The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables
    13. [2018 ML]
      Neural Joint Source-Channel Coding
    14. [2020 AAAI]
      Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip
    15. [2020]
      BottleNet++: An End-to-End Approach for Feature Compression in Device-Edge Co-Inference Systems
    16. [2018 ICASSP]
      Deep Learning for Joint Source-Channel Coding of Text
    17. [2019 AACCCC]
      Reinforcement Learning for Channel Coding: Learned Bit-Flipping Decoding
    18. [2020 电信科学]
      基于深度学习的信源信道联合编码方法综述

     

    点击关注,第一时间了解华为云新鲜技术~

    展开全文
  • 文章目录帮助理解信道和信源求解匹配信源分布特性相应信道容量对称信道连续信源 无记忆信道信道输出的每个符号只与当前输入的符号有关,而于过去未来的符号无关。 帮助理解信道和信源 离散信道模型可简单地...
  • 四、《信息与编码》考试复习笔记3----第三章无失真离散信源编码(重要) 五、《信息与编码》考试复习笔记3----第三章无失真离散信源编码补充例题 六、《信息与编码》考试复习笔记4----第四章离散信道容量 七、《信息...
  • 前向纠错和信道编码

    千次阅读 2020-01-15 10:42:42
            在远程通信、信息论、编码理论中,前向纠错码(FEC)和信道编码是在不可靠或强噪声干扰的信道中传输数据时用来控制错...
  • 信道编码

    2020-06-20 17:17:10
    一般可以将信道编码方法分为两大类:分组码卷积码。在分组编码中,将长度为k的二进制信道输出序列映射为长度为n的二进制信道输入序列,因此所得到的码率就是每次传输k/n比特。这样的一种码称为(n,k)分组码,并由...
  • 信息论与信道编码(含MATLAB仿真)

    千次阅读 2020-06-12 04:06:29
    信道编码属于通信原理的范畴,它主要是通过对原始信号的设计,来提高接受方所收到信号的准确性。这是因为在传播的过程中,信号往往会受到来自空气的干扰(噪音),导致原信号发生畸形,如果没有一种强识别的方式,...
  • print('本信源数据率为8bit/s(1bytes/s),需要传输', t, '秒') return t def transmission2(sourceBit): t = len(sourceBit) / 8 print('本信源数据率为8bit/s(1bytes/s),需要传输', t, '秒') return t #...
  • 信道容量及信道编码原理学习

    千次阅读 2019-10-02 16:55:29
    1. 引言 0x1:什么是通信 当我们说“A与B通信”时,我们本质意思是在说A的物理行为使B产生一种需要的物理状态。信息的传输是一个物理...在数据压缩数据传输之间存在对偶性: 在数据压缩过程中,去除数据中所...
  • 5G新空口关键技术之--信道编码

    千次阅读 2020-06-16 11:00:00
    信道编码 概念   信道编码过程包括添加循环冗余校验码(CRC,Cyclic Redundancy Check)、码块分割(Code Block Segmentation)、纠错编码Forward Error CorrectingCoding)、速率适配(Rate Matching)、码块...
  • 限失真信源编码1

    2021-07-08 10:15:28
    研究对象:允许一定失真的离散信源编码和连续信源编码。 实际信息处理过程,往往存在失真: ①连续信源编码必然存在失真(不可能从根本上去除量化误差) ... 因为这里只涉及信源编码问题,所以把信道的...
  • 信源编码的功能 压缩编码 模数转换 为什么要数字化? 数字通信的优越性;现实的模拟量 A/D转换(数字化编码)的技术:波形编码参量编码 波形编码:抽样(时间离散化)、量化(幅度离散化)、编码(二进制) ...
  • 【中国,深圳,2016年10月8日】华为近日宣布继今年4月份率先完成中国IMT-2020(5G)推进组第一阶段的5G空口关键技术验证测试后,在5G信道编码领域的极化码(Polar Code)技术上再次取得最新突破。静止移动场景、短包...
  • 一、特殊N维连续信源的熵 1、均匀分布的连续信源: 1.1一维: 1.2N维 若N维随机变量X=(X1,X2....XN)中各分量彼此统计独立,且分别在[a1,b1]、[a2,b2].....[aN,bN]的区域内均匀分布,则信源熵为: 因此只要...
  • 信源即信息发出的源头,在后续的信道模型中,信源发出的信息即视为信道输入的信息。 根据信源发出信息的取值,可将信源分为离散信源和连续信源。 顾名思义,离散信源即发出的信息取值为离散型的信源;连续信源即发出...
  • 无失真信源编码2

    2021-07-10 20:38:58
    信源无失真编码实质:熵总量是不变的,一个信源的分布也是不能改变的,我们能做的只是通过分组的手段,定义信道能传输的符号并且它和信源原始进行一一映射,使得编码后每一个符号尽可能携带更多的信息量,把平均码长...
  • UA MATH636 信息论5 信道编码简介 通讯的过程可以用下面这个流程图表示。信源发送一个随机信号WWW给信源编码器,编码器将信号WWW编码为XXX后发送到噪声信道进行传输,传输到接收端的解码器,解码器接受到的码记为YYY...
  • 实验目的1. 实现压缩编码算法——Huffman编码 2. 实现压缩编码算法——Shannon Fano编码 3. 实现压缩编码算法——LZ编码 4. 实现压缩编码算法——算数编码 ...[信源编码源代码](https://github.com/PiggyGa
  • 信道编码译码(ECC)学习笔记

    千次阅读 2020-09-24 00:12:37
    如果学过编码相关课程就不用看了。 codeword概念 (此处只讲系统码) 一个完整的码字(codeword)包括两部分:信息位(massage)校验位(parity)。 例如:给出一个汉明码:1010101, 根据汉明码的相关定义(校验...
  • 无失真信源编码

    千次阅读 2018-12-27 22:07:26
    (1)信源编码:质量一定,如何提高信息传输速度(编码效率,压缩比) (2)信道编码:信道传输速度一定,如何提高信息传输质量(抗干扰能力) 信源编码:以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现,...
  • UA MATH636 信息论5 信道编码定理信道编码问题信道容量的正式定义信道编码定理Joint Typical SetJoint AEP 上一篇简介里面介绍了通讯的过程,并用下面的流程图来表示了这个过程,并且引入了一些基本概念。这一讲先对...
  • UA MATH636 信息论5 信道编码定理的证明Random Coding Scheme平均错误率最大错误率逆命题的证明 信道编码定理说的是所有小于CCC的传输率是可实现的。这里的CCC就是我们之前定义的 C=max⁡p(X)I(X;Y)C = \max_{p(X)} ...
  • 第五章信源编码(一)

    千次阅读 2016-10-20 22:42:56
     无失真信源编码定理  无失真编码  香农码、费诺码哈夫曼码  限失真信源编码定理 ... 信道编码定理(包括离散连续信道)称为第二极限定理  本书第6章内容  限失真信源编码

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,238
精华内容 895
关键字:

信道编码和信源编码定义