精华内容
下载资源
问答
  • 信道编码论文

    2016-04-28 10:43:04
    信道编码的毕业论文,包含turbo ldpc polar等
  • 三种信道编码的性能分析和比较,谭维斌,,本文介绍了通信系统仿真的相关内容,包括通信系统仿真的一般步骤、MATLAB中的一种可视化仿真工具Simulink、 M文件编辑器以及子系统封��
  • 题目基于 MATLAB 的通信系统仿真 信道编码对通信系统性能的影响 专业 通信工程 姓名崔校通 学号 201300484316 日 期 : 2016.12.22 信道编码结课论文 目录 1 信道编码结课论文 基于 MATLAB 的通信系统仿真 信道编码对...
  • 信源编码和信道编码

    千次阅读 2018-12-06 15:14:59
    信源编码和信道编码的发展历程 信源编码:  最原始的信院编码就是莫尔斯电码,另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z编码,这三种都是无损...

    一.信源编码和信道编码的发展历程

    信源编码:

        最原始的信院编码就是莫尔斯电码,另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z编码,这三种都是无损编码,另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余,更加有效、经济地传输,最常见的应用形式就是压缩。

    相对地,信道编码是为了对抗信道中的噪音和衰减,通过增加冗余,如校验码等,来提高抗干扰能力以及纠错能力。

    信道编码:

    1948年Shannon极限理论

    →1950年Hamming码

    →1955年Elias卷积码

    →1960年 BCH码、RS码、PGZ译码算法

    →1962年Gallager LDPC(Low Density Parity Check,低密度奇偶校验)码

    →1965年B-M译码算法

    →1967年RRNS码、Viterbi算法

    →1972年Chase氏译码算法

    →1974年Bahl MAP算法

    →1977年IMaiBCM分组编码调制

    →1978年Wolf 格状分组码

    →1986年Padovani恒包络相位/频率编码调制

    →1987年Ungerboeck TCM格状编码调制、SiMonMTCM多重格状编码调制、WeiL.F.多维星座TCM

    →1989年Hagenauer SOVA算法

    →1990年Koch Max-Lg-MAP算法

    →1993年Berrou Turbo码

    →1994年Pyndiah 乘积码准最佳译码

    →1995年 Robertson Log-MAP算法

    →1996年 Hagenauer TurboBCH码

    →1996MACKay-Neal重新发掘出LDPC码

    →1997年 Nick Turbo Hamming码

    →1998年Tarokh 空-时卷格状码、AlaMouti空-时分组码

    →1999年删除型Turbo码

         虽然经过这些创新努力,已很接近Shannon极限,例如1997年Nickle的TurboHamming码对高斯信道传输时已与Shannon极限仅有0.27dB相差,但人们依然不会满意,因为时延、装备复杂性与可行性都是实际应用的严峻要求,而如果不考虑时延因素及复杂性本来就没有意义,因为50多年前的Shannon理论本身就已预示以接近无限的时延总容易找到一些方法逼近Shannon极限。因此,信道编码和/或编码调制理论与技术在向Shannon极限逼近的创新过程中,其难点是要同时兼顾考虑好编码及交织等处理时延、比特误码率门限要求、系统带宽、码率、编码增益、有效吞吐量、信道特征、抗衰落色散及不同类别干扰能力以及装备复杂性等要求。从而,尽管人们普遍公认Turbo码确是快速逼近Shannon极限的一种有跃变性改进的码类,但其时延、复杂性依然为其最严峻的挑战因素,看来,沿AlaMouti的STB方式是一种看好的折衷方向。同样,实际性能可比Turbo码性能更优良的LDPC码,从1962年Gallager提出, 当时并未为人们充分理解与重视,至1996年为MACKay—Neal重新发现后掀起的另一股推进其研究、应用热潮, 此又为另一明显示例。LDPC码是一类可由非常稀疏的奇偶校验矩阵或二分图(Bi-PartiteGrapg)定义的线性分组前向纠错码,它具有更简单的结构描述与硬件复杂度,可实现完全并行操作,有利高速、大吞吐能力译码,且译码复杂度亦比Turbo码低,并具更优良的基底(Floor)残余误码性能,研究表明,最好的非正则(Irregular)LDPC码,其长度为106时可获得BER=10-6时与Shannon极限仅相差0.13dB;当码长为107、码率为1/2,与Shannon极限仅差0.04dB;与Turbo码结构不同,这是由另一种途径向“Shannon极限条件”的更有效与更逼真的模拟,从而取得比Turbo码更好的性能。因此,“学习、思考、创新、发展”这一永恒主题中持续“创新”最为关键,MIMO-STC及Turbo/LDPC码的发展历程亦充分证实了这一发展哲理。

     

    二.信源编码和信道编码远离的简要介绍

    信源编码:

    一种以提高通信有效性为目的而对信源符号进行的变换;为了减少或消除信源剩余度而进行的信源符号变换。为了减少信源输出符号序列中的剩余度、提高符号的平均信息量,对信源输出的符号序列所施行的变换。具体说,就是针对信源输出符号序列的统计特性来寻找某种方法,把信源输出符号序列变换为最短的码字序列,使后者的各码元所载荷的平均信息量最大,同时又能保证无失真地恢复原来的符号序列。

      数字信号在传输中往往由于各种原因,使得在传送的数据流中产生误码,从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节,对数码流进行相应的处理,使系统具有一定的纠错能力和抗干扰能力,可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。

      提高数据传输效率,降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少,信道编码的过程是在源数据码流中加插一些码元,从而达到在接收端进行判错和纠错的目的,这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样,为了保证运送途中不出现打烂玻璃杯的情况,我们通常都用一些泡沫或海棉等物将玻璃杯包装起来,这种包装使玻璃杯所占的容积变大,原来一部车能装5000各玻璃杯的,包装后就只能装4000个了,显然包装的代价使运送玻璃杯的有效个数减少了。同样,在带宽固定的信道中,总的传送码率也是固定的,由于信道编码增加了数据量,其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了,不同的编码方式,其编码效率有所不同。

        基于层次树的集分割(SPIHT)信源编码方法是基于EZW而改进的算法,它是有效利用了图像小波分解后的多分辨率特性,根据重要性生成比特流的一个渐进式编码。这种编码方法,编码器能够在任意位置终止编码,因此能够精确实现一定目标速率或目标失真度。同样,对于给定的比特流,解码器可以在任意位置停止解码,而仍然能够恢复由截断的比特流编码的图像。而实现这一优越性能并不需要事先的训练和预存表或码本,也不需要任何关于图像源的先验知识。

      数字电视中常用的纠错编码,通常采用两次附加纠错码的前向纠错(FEC)编码。RS编码属于第一个FEC,188字节后附加16字节RS码,构成(204,188)RS码,这也可以称为外编码。第二个附加纠错码的FEC一般采用卷积编码,又称为内编码。外编码和内编码结合一起,称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。  

      前向纠错码(FEC)的码字是具有一定纠错能力的码型,它在接收端解码后,不仅可以发现错误,而且能够判断错误码元所在的位置,并自动纠错。这种纠错码信息不需要储存,不需要反馈,实时性好。所以在广播系统(单向传输系统)都采用这种信道编码方式。以下是纠错码的各种类型:

     

        既然信源编码的基本目的是提高码字序列中码元的平均信息量,那么,一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理,都可以在这种意义下归入信源编码的范畴,例如过滤、预测、域变换和数据压缩等。当然,这些都是广义的信源编码。  

    一般来说,减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个:①使序列中的各个符号尽可能地互相独立;②使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性,后者称为概率均匀化。

    第三代移动通信中的信源编码包括语音压缩编码、各类图像压缩编码及多媒体数据压缩编码。

     

    信道编码:

        数字信号在传输中往往由于各种原因,使得在传送的数据流中产生误码,从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节,对数码流进行相应的处理,使系统具有一定的纠错能力和抗干扰能力,可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。

    提高数据传输效率,降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少,信道编码的过程是在源数据码流中加插一些码元,从而达到在接收端进行判错和纠错的目的,这就是我们常常说的开销。

    码率兼容截短卷积(RCPC)信道编码,就是一类采用周期性删除比特的方法来获得高码率的卷积码,它具有以下几个特点:

    (1)截短卷积码也可以用生成矩阵表示,它是一种特殊的卷积码;

    (2)截短卷积码的限制长度与原码相同,具有与原码同等级别的纠错能力;                                            (3)截短卷积码具有原码的隐含结构,译码复杂度降低;

       (4)改变比特删除模式,可以实现变码率的编码和译码。

     

    三.信源编码和信道编码的区别

        信源编码信源编码的作用之一是设法减少码元数目和降低码元速率,即通常所说的数据压缩。码元速率将直接影响传输所占的带宽,而传输带宽又直接反映了通信的有效性。作用之二是,当信息源给出的是模拟语音信号时,信源编码器将其转换成数字信号,以实现模拟信号的数字化传输。模拟信号数字化传输的两种方式:脉冲编码调制(PCM)和增量调制(ΔM)。信源译码是信源编码的逆过程。1.脉冲编码调制(PCM)简称脉码调制:一种用一组二进制数字代码来代替连续信号的抽样值,从而实现通信的方式。由于这种通信方式抗干扰能力强,它在光纤通信、数字微波通信、卫星通信中均获得了极为广泛的应用。增量调制(ΔM):将差值编码传输,同样可传输模拟信号所含的信息。此差值又称“增量”,其值可正可负。这种用差值编码进行通信的方式,就称为“增量调制”,缩写为DM或ΔM,主要用于军方通信中。信源编码为了减少信源输出符号序列中的剩余度、提高符号的平均信息量,对信源输出的符号序列所施行的变换。具体说,就是针对信源输出符号序列的统计特性来寻找某种方法,把信源输出符号序列变换为最短的码字序列,使后者的各码元所载荷的平均信息量最大,同时又能保证无失真地恢复原来的符号序列.信道编码的目的:信道编码是为了保证信息传输的可靠性、提高传输质量而设计的一种编码。它是在信息码中增加一定数量的多余码元,使码字具有一定的抗干扰能力。信道编码的实质:信道编码的实质就是在信息码中增加一定数量的多余码元(称为监督码元),使它们满足一定的约束关系,这样由信息码元和监督码元共同组成一个由信道传输的码字。信源编码很好理解,比如你要发送一个图形,必须把这个图像转成0101的编码,这就是信源编码。

        信道编码数字信号在信道传输时,由于噪声、衰落以及人为干扰等,将会引起差错。为了减少差错,信道编码器对传输的信息码元按一定的规则加入保护成分(监督元),组成所谓“抗干扰编码”。接收端的信道译码器按一定规则进行解码,从解码过程中发现错误或纠正错误,从而提高通信系统抗干扰能力,实现可靠通信。信道编码是针对无线信道的干扰太多,把你要传送的数据加上些信息,来纠正信道的干扰。信道编码数字信号在信道传输时,由于噪声、衰落以及人为干扰等,将会引起差错。为了减少差错,信道编码器对传输的信息码元按一定的规则加入保护成分(监督元),组成所谓“抗干扰编码”。接收端的信道译码器按一定规则进行解码,从解码过程中发现错误或纠正错误,从而提高通信系统抗干扰能力,实现可靠通信。

    信源编码信号:例如语音信号(频率范围300-3400Hz)、图象信号(频率范围0-6MHz)……基带信号(基带:信号的频率从零频附近开始)。在发送端把连续消息变换成原始电信号,这种变换由信源来完成。

    信道编码信号:例如二进制信号、2PSK信号……已调信号(也叫带通信号、频带信号)。这种信号有两个基本特征:一是携带信息;二是适应在信道中传输,把基带信号变换成适合在信道中传输的信号完成这样的变换是调制器。

    信源编码是对输入信息进行编码,优化信息和压缩信息并且打成符合标准的数据包。信道编码是在数据中加入验证码,并且把加入验证码的数据进行调制。两者的作用完全不一样的。信源编码是指信号来源的编码,主要是指从那个接口进来的。信道编码是说的信号通道的编码,一般是指机内的电路。总的来说吧:信源编码是对视频, 音频, 数据进行的编码,即对信息进行编码以便处理,而信道编码是指在信息传输的过程中对信息进行的处理。

     

    四.信源编码和信道编码在现代社会的应用

    1.在现代无线通信中的应用:

        通信的任务是由一整套技术设备和传输媒介所构成的总体——通信系统来完成的。电子通信根据信道上传输信号的种类可分为模拟通信和数字通信。最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成。实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。数字通信系统设备多种多样,综合各种数字通信系统,其构成如图所示:

     

     

        信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。

    信道,通俗地说是指以传输媒质为基础的信号通路。具体地说,信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号,它提供一段频带让信号通过,同时又给信号加以限制和损害。

    信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。在计算机科学领域,信道编码(channel code)被广泛用作表示编码错误监测和纠正的术语,有时候也可以在通信和存储领域用作表示数字调制方式。信道编码用来在数据传输的时候保护数据,还可以在出现错误的时候来恢复数据。

    2.在超宽带信道中的应用

    超宽带(Ultra Wideband,以下简称UWB) [1][2]系统具有高传输速率、低功耗、低成本等独特优点,是下一代短距离无线通信系统的有力竞争者。它是指具有很高带宽比射频(带宽与中心频率之比)的无线电技术。近年来,超宽带无线通信在图像和视频传输中获得了越来越广泛的应用,它具有极高的传输速率以及很宽的传输频带,可以提供高达1Gbit/s的数据传输速率,可用在数字家庭网络或办公网络中,实现近距离、高速率数据传输。例如,利用UWB技术可以在家用电器设备之间提供高速的音频、视频业务传输,在数字办公环境中,应用UWB技术可以减少线缆布放的麻烦,提供无线高速互联。  

        联合信源信道编码(Joint Source Channel Coding,以下简称JSCC)[3][4]近几年来日益受到通信界的广泛重视,主要原因是多媒体无线通信变得更加重要。根据Shannon信息论原理,通信系统中信源编码和信道编码是分离的[5],然而,该定理假设信源编码是最优的,可以去掉所有冗余,并且假设当比特率低于信道容量时可纠正所有误码。在不限制码长的复杂性和时延的前提下,可以得到这样的系统。而在实际系统中又必须限制码长的复杂性和时延,这必然会导致性能下降,这和香农编码定理的假设是相矛盾的。因此,在许多情况下,采用独立编码技术并不能获得满意的效果,例如有严重噪声的衰落信道和(移动通信信道),采用独立编码技术不能满足要求。因此需要将信源编码和信道编码联合考虑,在实际的信道条件中获得比信源和信道单独进行编码更好的效果。其中不等差错保护是联合信源信道编码的一种, 是相对于同等差错保护而言的。在网络资源有限的情况下,同等差错保护方案使得重要信息得不到足够的保护而使解码质量严重下降。而不等差错保护根据码流的不同部分对图像重建质量的重要性不同, 而采用不同的信道保护机制, 是信源信道联合编码的一个重要应用。

    不等差错保护(Unequal Error Protection,以下简称UEP)的信源编码主要采用嵌入式信源编码,如SPIHT(Set Partitioning In Hierarchical Trees) [6],EZW,JPEG2000等,信源输出码流具有渐进特性,信道编码采用RCPC[7],RCPT等码率可变的信道编码。文章[8]中研究了在AWGN信道下的不等差错保护的性能; 文章[9]中研究了有反馈的移动信道下的多分辨率联合信源信道编码;文章[10]研究了无线信道下的图像传输,信源编码采用SPIHT,信道编码采用多码率Turbo coder的不等差错保护方案;文章[11]中研究了DS-CDMA多径衰落信道下信源编码为分层视频图像编码,信道编码采用RCPC,解决了在信源编码,信道编码以及各个层之间的码率最优分配; 文章[12]研究了3G网络下MPEG-4视频流的传输,信道编码采用 Turbo编码,提出了用TCP传输非常重要的MPEG-4流,而用UDP传输MPEG-4 audio/video ES (Elementary Streams),并且对UDP传输的码流进行UEP的方案;文章[13]研究在无线频率选择性衰落信道中将MIMO-OFDM和adaptive wavelet pretreatment(自适应小波预处理)结合在一起的联合信源信道编码图像传输。据我们的了解, 现在并无文章研究超宽带无线信道下不等差错保护方案,本文将不等差错保护联合信源信道编码应用于超宽带无线通信中, 信源部分采用基于小波SPIHT 的编码方法,而信道部分采用RCPC编码( Rate Compatible Punctured Convolutional codes) 对SPIHT输出码流按重要程度进行不等错误保护,并基于DS-UWB[14]方案提出双重不等差错保护方案, 研究了不等差错保护给图像在超宽带无线通信中的图像传输所带来性能增益。  

    采用标准LENA256×256图像进行仿真实验, 信源编码采用SPIHT算法,SPIHT 编码速率为0.5bpp, 信道编码采用码率自适应截短卷积码RCPC, 对实验图像进行同等差错保护信道编码( EEP) 和不等差错保护信道编码(UEP), 对于EEP编码采用1/ 2 码率;对于UEP 编码,其重要信息(包括头部语法及图像重要数据) 采用1/ 3码率,对图像次重要数据采用1/ 2码率进行编码,对图像非重要数据不进行编码。信道编码输出码流经过一个(Ns,1)重复编码器,对重要信息Ns取30,次重要数据Ns取20,非重要数据Ns取为10,再用一个周期为Np=Ns的伪随机DS码序列对重复编码器输出序列进行编码,最后对编码输出进行PAM调制和脉冲成形从而形成DS-UWB发送信号波形,其中脉冲参数设置为平均发射功率为-30,抽样频率为50e9,平均脉冲重复时间为2e-9,冲激响应持续时间为0.5e-9,脉冲波形形成因子为0.25e-9。DS-UWB信号经过IEEE802.15.3a CM1信道模型,接收端采用Rake接收机对接收信号进行解调,解调后的码流经过RCPC信道译码和SPIHT信源译码恢复出原始图像。

     

               CMI信道模型下Double-UEP与UEP,EEP的性能比较

    图中给出了IEEE802.15.3a CM1信道模型下双重不等差错保护(Double-UEP)与传统不等差错保护(UEP)与同等差错保护(EEP)的性能比较,其中横轴为超宽带信道中的信噪比Eb/N0,纵轴为重建图像的峰值信噪比PSNR(Peek Signal Noise Ratio)。

      由图可见,在UWB信道中,不等差错保护的性能普遍好于同等差错保护的性能,尤其是在低信噪比的时候,采用不等差错保护能够获得更大的性能增益。在高信噪比时,由于此时信道质量较好,误码率较低,图像中的重要码流基本不会产生误码,此时不等差错保护和同等差错保护性能趋于一致;而在低信噪比时,由于不等差错保护方案对图像的重要信息加入了更多的冗余,从而在不增加传输速率的情况下使图像得以更可靠的传输,提升重建图像的质量。

     

    五.信源编码与信道编码的发展前景

    信息论理论的建立,提出了信息、信息熵的概念,接着人们提出了编码定理。编码方法有较大发展,各种界限也不断有人提出,使多用户信息论的理论日趋完整,前向纠错码(FEC)的码字也在不断完善。但现有信息理论中信息对象的层次区分对产生和构成信息存在的基本要素、对象及关系区分不清,适用于复杂信息系统的理论比较少,缺乏核心的“实有信息”概念,不能很好地解释信息的创生和语义歧义问题。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明,其他信道也有一些结果,但尚不完善。但近几年来,第三代移动通信系统(3G)的热衷探索,促进了各种数字信号处理技术发展,而且Turbo码与其他技术的结合也不断完善信道编码方案。

    移动通信的发展日新月异,从1978年第一代模拟蜂窝通信系统诞生至今,不过20多年的时间,就已经过三代的演变,成为拥有10亿多用户的全球电信业最活跃、最具发展潜力的业务。尤其是近几年来,随着第三代移动通信系统(3G)的渐行渐近,以及各国政府、运营商和制造商等各方面为之而投入的大量人力物力,移动通信又一次地在电信业乃至全社会掀起了滚滚热潮。虽然目前由于全球电信业的低迷以及3G系统自身存在的一些问题尚未完全解决等因素,3G业务的全面推行并不象计划中的顺利,但新一代移动通信网的到来必是大势所趋。因此,人们对新的移动通信技术的研究的热情始终未减。

    移动通信的强大魅力之所在就是它能为人们提供了固话所不及的灵活、机动、高效的通信方式,非常适合信息社会发展的需要。但同时,这也使移动通信系统的研究、开发和实现比有线通信系统更复杂、更困难。实际上,移动无线信道是通信中最恶劣、最难预测的通信信道之一。由于无线电波传输不仅会随着传播距离的增加而造成能量损耗,并且会因为多径效应、多普勒频移和阴影效应等的影响而使信号快速衰落,码间干扰和信号失真严重,从而极大地影响了通信质量。为了解决这些问题,人们不断地研究和寻找多种先进的通信技术以提高移动通信的性能。特别是数字移动通信系统出现后,促进了各种数字信号处理技术如多址技术、调制技术、纠错编码、分集技术、智能天线、软件无线电等的发展。

     

    结论:

    从文中我们可以清楚的认识到信源编码和信道编码的发展布满艰辛,今天的成就来之不易。随着今天移动通信技术的不断发展和创新,信源编码与信道编码的应用也越来越广泛,其逐步的应用于各个领域,在通信系统中扮演着非常重要的角色,起到了至关重要的作用。但是,现有信息理论也存在一定的缺陷,具体表现在以下几个方面:

    1.现有信息理论体系中缺乏核心的 “实有信息”概念。

    2.适用于复杂信息系统的理论比较少。目前的狭义与广义信息论大多是起源和立足于简单系统的信息理论,即用简单通讯信息系统的方法来类比复杂系统的信息现象,将复杂性当成了简单性来处理。而涉及生命现象和人的认识论层次的信息是很复杂的对象,其中信宿主体内信息的语义歧义和信息创生问题是难点,用现有信息理论难以解释。

    3.对产生和构成信息存在的基本要素、对象及关系区分不清。如将对象的直接存在(对象的物质、能量、相互作用、功能等存在)当成信息存在;将信息的载体存在当成信息存在;将信息与载体的统一体当成信息存在;把信宿获得的“实得信息”当成唯一的信息存在,这是主观信息论。或者把信源和信道信息当成唯一的信息存在,称之为客观信息论。这二种极端的信息理论正是忽略了信息在关系中产生、在关系中存在的复杂本质。忽略了信息存在至少涉及三个以上对象及复杂关系。

    4.现有信息理论不能很好地解释信息的创生和语义歧义问题。

    5.现有信息理论对信宿实得信息的理解过于简单,没有将直接实得信息与间接实得信息区别开来。

    6.信息对象的层次区分没有得到重视。不少研究者将本体论层次的信息与认识论层次的信息混为一谈,将普适性信息范畴与具体科学,特别是技术层次(如通信、控制、计算等)的信息概念混为一谈。抓住信息的某一层次或某一方面当成信息对象的总体。

        因此,在科学技术飞速发展的今天,我们应该加强对信源编码与信道编码的了解和认识,这能让在以后的生活和学习过程中不断完善和改进现有信息论存在的缺陷,更好的应用和了解我们的专业知识,更好更快的做好自己的工作,让自己能从各方面得到满意的结果。

    展开全文
  • 信道编码技术论文信息通迅系统中信道编码的研究.doc
  • 深空通信信道编码方式研究,魏宇星,李绍胜,现代深空通信的快速发展对深空通信可靠传输技术的要求越来越迫切,选择一种有强纠错能力的信道编码成为必须。本文用AWGN 信道对深�
  • 802.16e系统中信道编码的设计,马驰,,基于IEEE 802.16-2004空中接口标准的WiMAX技术,从提出之日起,很快的在固定无线城域网中占据了重要的位置。802.16系统所规定的无线接入系
  • 具有信道编码的压缩感知传输方案研究,柴华,徐文波,压缩感知理论是近年来广受关注的对稀疏信号进行采集、编解码的新理论。虽然压缩感知理论能够提供信道差错保护能力,但是当信道环
  • 符合ccsds标准的遥测同步和信道编码系统及FPGA实现
  • 加权概率模型信道编码(杰林码纠错算法核心论文).pdf
  • 信源编码与信道编码

    千次阅读 2019-12-19 22:29:39
    信源编码:信源编码是一种以提高通信有效性为目的而对信源符号进行的变换,或者说为了减少或消除信源冗余度而进行的信源符号变换(百度百科)。通俗理解压缩编码,假设信源发送的11111111和00000000这个码字,如果不...

    信源编码:信源编码是一种以提高通信有效性为目的而对信源符号进行的变换,或者说为了减少或消除信源冗余度而进行的信源符号变换(百度百科)。通俗理解压缩编码,假设信源发送的11111111和00000000这个码字,如果不做压缩编码,发送端需要发送8个bit。现在以一个bit 1111 1111  = 1;0000 0000 = 0,这样发送端只需要发送一个bit,即可将源bit信息表示出来。这就是信源编码,用尽可能少的bit将信息表示出来。例如霍夫曼编码

    信道编码:通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。通俗理解,提高接收端解码正确率,这就和信源编码反过来了,需要给原比特添加冗余bit。冗余bit作用,增加信号纠错能力,在接收端解码时,差1-2个bit也没问题。举例,发送端只发送一个1个bit,0 or 1。接收端一不留神就可能解错,现在对信源编码后的bit信息进行信道编码,1 = 1111 1111 ;0 = 0000 0000 ,1/8编码,通常不会这么夸张,熟知的咬尾卷积码,turbo码都是1/3码率。假设源信息经信道传输至接收侧,经译码后结果为 1111 1100 ,这个结果我们认为发送端发的是1,0010 0000 这个结果我们认为是 0。这也就是纠错编码技术。

    有的同学可能会比较混乱,一会儿又让短一会儿又让长,这不麻烦吗?充分理解这两个概念的作用,就好记忆了。信源编码作用就是想利用有限长bit,传输最多的信息。信道编码是为了让bit传输到接收端,接收端能正确译码。

     

     

    展开全文
  • 关于信道编码的三篇论文,用MATLAB仿真的,介绍了相关内容。其他地方下载要钱的哦!
  • 基于MATLAB的有关信道编码论文,其他地方下载要收费哦!!
  • 基于MATLAB的信道编码仿真与分析.pdf
  • 针对JPEG2000码流的渐进传输特性,提出了一种多参数优化的联合信源信道编码方法,即MPO-JSCC。在码率分配的基础上,动态地选择Turbo码交织长度、迭代译码次数,通过优化编码器多个参数更好地执行不等差错保护策略,...
  • 在中继节点上,采用网络-信道编码联合设计方案能进一步提高系统的误码性能。基于Razaghi等人研究的两种双层LDPC码(Bilayer LDPC,分为删余型和延长型),设计了一种在中继节点上联合设计的网络双层LDPC延长码...
  • 信道编码matlab代码deepChannelLearning4RIS 通过深度学习MATLAB代码对可重配置智能曲面进行通道估计: AM Elbir,Papazafeiropoulos,P.Kourtessis和S.Chatzinotas,“大型智能表面的深度通道学习辅助毫米波大规模...
  • 联合信源信道编码在超宽带信道中的应用,杨晏鸷,蒋挺,本文将联合信源信道编码应用于超宽带(UWB)信道中,信源编码采用基于层次树的集分割算法(SPIHT)嵌入式码流编码,信道编码采用码率兼容
  • 信道编码与译码及其FPGA实现,李曙俏,,差错控制编码技术,特别是纠错编码技术,是提高数字通信可靠性的一个主要手段,在实际应用方面,差错控制编码技术在移动通信、卫
  • 论文的主要内容是介绍了信道编码中的BCH码(BCH码的定义、编码、译码、解码)。BCH码是一类重要的循环码,能纠正多个错误,通过调用已建立的BPSK+信道编码(取BCH码)在加性高斯白噪声信道下的仿真模型,利用MATLAB...
  • 前向纠错和信道编码

    千次阅读 2018-11-22 21:25:38
    在远程通信、信息论、编码理论中,前向纠错码(FEC)和信道编码是在不可靠或强噪声干扰的信道中传输数据时用来控制错误的一项技术,前向纠错编码技术(FEC)具有引入级联信道编码等增益编码技术的特点,可以自动纠正...

            在远程通信、信息论、编码理论中,前向纠错码(FEC)和信道编码是在不可靠或强噪声干扰的信道中传输数据时用来控制错误的一项技术,前向纠错编码技术(FEC)具有引入级联信道编码等增益编码技术的特点,可以自动纠正传输误码的优点。它的核心思想是发送方通过使用纠错码(ECC)对信息进行冗余编码。美国数学家理查德·卫斯理·汉明在20世纪40年代在这一领域进行了开创性的工作,并且发明了第一种纠错码:汉明码

            

    编码介绍

            FEC编码的冗余部分允许接收方检测可能出现在信息任何地方的有限个差错,并且通常可以纠正这些差错而不用重传。FEC使接收方有能力纠正错误而不需要反向请求数据重传,不过这是以一个固定的更高转发的带宽为代价的。因此FEC被应用在重传开销巨大或者不可能重传的情况下,比如单向通信链接的时候以及以多路广播的形式传送数据给多个接收方时。FEC信息通常被添加到大量存储设备中,以保障受损数据的恢复。FEC也被广泛应用在调制解调中。

            接收方利用FEC处理一个数字比特流或对一个数字调制载波进行解调。在后一种情况下,FEC是接收方模拟信号与数字信号转换的一个必要部分。Viterbi解码器完成了一个软判决算法从受噪声干扰的模拟信号中解调数字数据(FEC的译码方式分为硬判决译码和软判决译码两种。硬判决FEC译码器输入为0,1电平,由于其复杂度低,理论成熟,已经广泛应用于多种场景;软判决FEC译码器输入为多级量化电平。由于硬判决译码损失了接收信号中所含的有关信道差错统计特性的信息,软判决译码通常性能要优于硬判决译码 [1]  )。许多FEC编码器还能生成一个误比特率(BER)信号,这个信号能用作一个反馈,以此调整模拟信号接收设备。

            噪声干扰信道的编码理论建立了在给定噪声水平下信道数据传输率的理论最大值限界。有些高级FEC系统已经非常接近理论最大值。

            可被纠正的差错数量和丢失比特的最大值是由FEC的编码方式决定的,因此不同的前向纠错码适合不同的应用场景。在一个码组集合中,任意两个码字之间对应位上码元取值不同的位的数目定义为这两个码字之间的汉明距离。任意两个编码之间汉明距离的最小值称为这个码组的最小汉明距离。最小汉明距离是码的一个重要参数,它是衡量码检错、纠错能力的依据。最小汉明距离越大,码组越具有抗干扰能力。假设d表示汉明距离,当满足d>=e+1时,可检测e个位的错误;当满足d>=2t+1时,可纠正t个位的错误;当满足d>=e+t+1时,可纠正t个错,检测e个错。

    工作方式

    https://gss2.bdstatic.com/9fo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D220/sign=cdf919eb7ec6a7efbd26af24cdfbafe9/94cad1c8a786c91755d6ee0dc13d70cf3bc75728.jpg

            FEC是基于一种算法给传输的信息添加冗余部分来实现的。一个冗余位的值或许是原始信息中许多信息位的一个复杂函数。编码之后,原始信息或许按原样存在,或许不再按原样存在。如果原始信息原样包含在输出的编码中,这样的编码就是系统的,否则就是非系统的。 一个最简单的FEC的例子就是每个数据位发三次,也就是所谓的(3,1)重复码。经过一个存在噪声的信道传输后,接收者或许会看见8个版本的输出,如右图所示。

    这种方法允许三位中的任意一位发生错误,发生错误时通过“多数投票”来纠错。这种FEC的纠错能力局限于:每组最多一位出错,或者丢失。

            尽管这种方式简单且应用广泛,但是这种3倍冗余的编码是非常低效的。更好的前向纠错码典型地根据最后接收到的几百个比特来决定如何对当前的一小组比特(通常2到8比特一组)进行译码。

    平均噪声

            FEC可以说是靠“平均噪声”工作的;由于每一个数据位影响多个传输标志位,即使一些标志位因噪声受损,我们依旧可以利用其它依赖于相同用户数据的未受损标志位得到原始的用户数据。

    • 由于这种风险共担的效应,当信噪比高于某个最小值时,使用FEC的数据通信系统往往表现良好。
    • 这种孤注一掷的倾向——悬崖效应,就像很多更健壮的编码器使用的那样,越来越接近于理论上的香农限界。
    • 当信道差错往往是突发产生的时候,交叉FEC编码可以减轻传输FEC编码的孤注一掷的倾向。但是这种方法有局限性:它最好用于窄频带数据。

            大多数数据通信系统使用一种固定的信道编码,这种信道编码设计可以处理预期的最坏误比特率,但是当误比特率更糟糕时就会完全失效。一些系统可以自适应给定的信道错误率水平,其中有一些把FEC和ARQ方式结合起来,称为混合纠错方式。ARQ方式在发送端采用某种能发现一定程度传输差错的简单编码方法,对所传信息进行编码,加入少量监督码元,接收端则根据编码规则,对收到的编码信号进行检查,一量检测出有错误时,即向发送端发出询问的信号,要求重发。发送端收到询问信号时,立即重发已发生差错的那部分信息,直到接收端正确收到为止。在混合纠错方式中,只要FEC可以处理当前错误率,就使用一种固定的FEC方法,当错误率太高时,就切换成ARQ方式。另外的自适应调制和编码方式使用了各种各样的FEC率,当信道中的错误率上升时就给每个包加上更多的纠错位,当不需要它们的时候就拿下来。 

    编码类型

    主要有两种FEC码——分组码卷积码

    • 将信源的信息序列分成独立的块进行处理和编码,称为分组码。编码时将每k个信息位分为一组进行独立处理,变换成长度为n(n>k)的二进制码组。分组码用于固定大小的比特块(包)或预知大小的符号。分组码的解码时间和组的长度呈多项式关系,它将信源的信息序列分成独立的块进行处理和编码。
    • 若以(n,k,m)来描述卷积码,其中k为每次输入到卷积编码器的bit数,n为每个k元组码字对应的卷积码输出n元组码字,m为编码存储度,也就是卷积编码器的k元组的级数,称m+1= K为编码约束度m称为约束长度。卷积码将k元组输入码元编成n元组输出码元。卷积码用于任意长度的比特流或符号流。尽管有时也用其他算法,但是最常用的软判决算法是Viterbi算法。随着卷积码约束长度的增加,Viterbi解码可以达到近似最佳的译码效率,但是这是以成倍增加的编码复杂度为代价的。卷积码和分组码的根本区别在于,它不是把信息序列分组后再进行单独编码,而是由连续输入的信息序列得到连续输出的已编码序列。进行分组编码时,其本组中的n-k个校验元仅与本组的 k 个信息元有关,而与其它各组信息无关;但在卷积码中,其编码器将k个信息码元编为n个码元时, 这n个码元不仅与当前段的k个信息有关,而且与前面的(m-1)段信息有关。

            有许多种分组码,在经典的分组码中,最著名的是Reed-Solomon码,因为它被广泛使用在激光唱片、DVD和硬盘驱动器中。其他类型的经典分组码包括格雷码、BCH码、多维奇偶校验码和汉明码。

            汉明码被广泛用于闪存的纠错。它提供了一位纠错和两位检错。汉明码只适用于更可靠的单层式存储闪存。更密集的多层闪存要求更强大的多位纠错码,例如BCH码和Reed-Solomon码。NOR快闪则典型地不使用任何纠错。

            经典的分组码通常使用硬判决算法译码,这意味着对于每一个输入输出信号,硬判决取决于它对应的是1还是0 。与此形成对比的是,卷积码使用Viterbi、MAP或BCJR等软判决算法译码,这些算法离散地处理模拟信号,比硬判决算法的纠错效果更好。几乎所有经典分组码都适用于有限域的代数性质。因此,经典分组码通常被称为代数码。

            和经常说明检错或纠错能力的经典分组码相比,许多现代分组码(如LDPC码)缺乏这样的保证。另外,现代分组码靠误比特率进行评估。

            大多数的前向纠错都只纠正位翻转,而不是位插入或位删除。在这种背景下,汉明距离是衡量误比特率的合适方法(把两个码组中对应位上数字不同的位数称为码组的距离,简称码距。码距又称汉明距离)。有一些前向纠错码是专门用来纠正位插入或位删除的,比如Marker Codes 和 Watermark Codes。当使用这一类的编码时,编辑距离是一种更为合适的用来衡量误比特率的方式(编辑距离(Edit Distance),又称Levenshtein距离,是指两个字串之间,由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符)。

    级联码

            对于有进行多次编码的系统,对各级编码,看成一个整体编码,称为级联码。经典的(代数的)分组码和卷积码通常会在级联码中合并使用。其中,有限长度的卷积码负责大部分的工作,组长度更大的分组码抹去任何卷积译码器造成的错误。使用这一类纠错码的单通道解码可以获得很低的错误率,但是在远距离传输(比如外太空)的条件下更推荐迭代译码

    自从旅行者2号探测器在1986年飞向天王星的时候首次使用级联码以来,级联码已经成为卫星和外太空通信的标准编码。

    Turbo

            从香农信道编码定理可知,要达到或接近信道容量极限,应该采用无限长的随机码,而译码应该采用最大似然译码。但是,采用随机编码,使码长趋于无穷大并且采用最大似然译码将会使系统的复杂度和延时变得太大,无法在实际中使用。因此,必须研究新的编码方案。目前能够逼近香农容量极限的是被称为Turbo-like的一类码,包括Turbo、LDPC码、RA码等。这类码的特点在于部分地引入了随机编码的思想,并且它们的码长都较长,译码均采用了接近最大后验概率译码的迭代译码算法。

            Turbo码是一种迭代软判决方案,它也是一种级联码。它把几种简单的卷积码和交叉器组合起来产生一种分组码。它的性能可以部分达到香农极限。在实际运用方面,Turbo码先于LDPC,它们现在提供相似的性能。Turbo码最早的商业用途是高通公司的数字移动电话技术CDMA2000 1x,后来应用LTE技术中。

            Turbo码的性能远远超过了其他的编码方式,得到了广泛的关注和发展,并对当今的编码理论和研究方法产生了深远的影响,信道编码学也随之进入了一个新的阶段。目前Turbo码的研究尚缺少理论基础支持,但是在各种恶劣条件下(即低SNR情况下),提供接近香农极限的通信能力已经通过模拟证明。

    LDPC

            低密度奇偶校验码(LDPC)是由许多奇偶校验码组成的线性分组码,它是一种级联码。人们最近重新发现了它的高性能。它使用一种迭代的软判决译码手段,能提供接近于理论最大值的信道容量,时间复杂度与组的长度呈线性关系。它的实际实现严重依赖于组成它的奇偶校验码的并行译码。

            LDPC最先是由Robert G. Gallager在他1960年的博士论文中提出。但是由于编码器和译码器的计算成就和里德·所罗门码的问世,它被人们长期忽视,直到最近才被重视,被用于许多高速通信标准中,比如DVB-S2 (数字电视广播)、WiMAX (IEEE 802.16e微波通信标准)、 高速无线局域网(IEEE 802.11n)

    局部译码

            有时我们只需要对信息中的几位进行译码,或者只是查看一个给定的信号是否是编码字而不用查看整个信号。在数据流的背景下就是这样,编码字太大了,无法快速译码,而信息中只有几位是有用的。这样的编码已经成为计算复杂性理论中的重要工具,例如概率可验证明。

            对于可以局部译码的编码来说,即使编码字的一部分已经被损坏了,仍然可以通过查看编码字的一小部分就恢复几位信息。对于可以局部检测的编码来说,可以通过查看信号的一小部分判断该信号是否接近一个编码字。

    交叉编码

            交叉编码技术被广泛应用在数字通信和存储系统,用于改进前向纠错码的性能。许多信道不是无记忆的:错误通常是突发的而不是独立的。如果码字中的错误数量超过了纠错码的能力,那就无法恢复数据了。

            交叉编码技术通过让信号分布在多个码字内来改善这个问题,因此就导致了错误的平均分布。所以交叉被广泛用于突发纠错。对于涡轮码来说,交叉器是必备的部件,它的适当设计对于提高性能非常重要。当代表译码器的因子图中没有短的环路时,迭代译码算法性能最优;交叉器可以用来避免出现短的环路。在多载波器通信系统中,载波器间的交叉用于提供频率隔离以及减轻频率选择性衰减、窄频带干扰。

     

    交叉技术的不足

            使用交叉技术增加了总体时延。这是因为必须收到整个交叉块后才能对数据包解码。另外,交叉器隐藏了错误的结构。与交叉器和简单的译码器配合使用相比,更先进的译码算法可以利用错误的结构实现更可靠的通信。

    删除码

            在使用先进删除码的情况下,数据和前向错误纠正信息被编码到每个数据块内。要恢复数据,系统必须先获取编码系统所要求的最小数量以上的数据块,然后将这些数据块解码以恢复数据。一个CleverSafe系统的要求是,每存储16个数据块,起码需要有10个块才能进行解码并满足读取请求。

            使用先进删除码的系统对数据块有最小数据量要求,然后再将数据块予以解码。这样做会大幅增加系统的计算负荷。这里需要指出的是它会增加小型写入的开销,因为还没有被覆盖的数据需要被解码,然后结合完新数据后再重新编码。

            因此,我们已经讨论过的所有使用高水平删除码的系统都采用向外扩展架构。给每4到18个磁盘驱动器配置一个Xeon处理器可以让这些使用复杂ECC方式的系统有足够的能力处理数据的编码和解码。传统中端阵列中每800多个磁盘驱动器才有4个Xeon处理器,很难应付这样的计算开销。

    FEC列表

    距离

    编码

    2(检测单位错)

    奇偶校验码

    3(纠正单位错)

    三重模块冗余码

    3(纠正单位错)

    (7,4)汉明码

    4(单错校正双错检测)

    扩展汉明码

    5(双错纠正)

     

    6(双错纠正/三错检测)

     

    7(三错纠正)

    二进制戈莱码

     

    展开全文
  • 信道容量及信道编码原理学习

    千次阅读 2019-10-08 11:03:23
    4. 信道编码定理 0x1:信道容量的直观理解 前面的章节中我们已经讨论了离散无记忆信道的信息容量定义,即容量可以视为能够在该信道中可靠传输的比特数。我们这小节将尝试给出一个直观思路,解释为什么能通过信道...

    1. 引言

    0x1:什么是通信

    当我们说“A与B通信”时,我们本质意思是在说A的物理行为使B产生一种需要的物理状态。信息的传输是一个物理过程,因此,必然受到无法控制的周边噪声以及信号处理本身缺陷的影响。如果接受者B与传输者A就所传输的内容是一致的,那么说这次通信是成功的。

    1. 数据压缩与数据传输的对偶性

    在数据压缩和数据传输之间存在对偶性:

    • 在数据压缩过程中,去除数据中所有的冗余以使其得到最大程度的压缩
    • 在数据传输过程中,以一种受控的方式加入冗余以抵抗信道传输中可能发生的错误

    这么看起来,数据压缩和数据传输的目标是彼此对抗的,无法同时达到最优。一般地,通信系统可以分为两部分,而且数据压缩与数据传输问题可以分开单独考虑和设计,通信系统设计的目标就是让这两个目标整体达到最优。

    0x2:什么是信道容量

    假设A与B在通过某种物理渠道(或抽象物理结构)进行通信,在n次使用信道下,我们可以计算出可区分的信号的最大数目。该数与n成指数增长关系,这个指数就是所说的信道容量。信道容量(可区分的信号数目的对数值)被特征化为最大互信息,是信息论中一个关键问题

    下图给出了一个物理发送信号系统的数学模拟。

    • 来自某个有限字母表的信源字符被编码器映射成一系列信道字符串,通过信道向译码器传输信道的输出序列。
    • 从概率与数理统计的角度来说,输出序列虽然是随机的(符合某种随机变量),但它的分布由输入序列决定,每个可能的输入序列将导出一个关于输出序列的概率分布,即p(y|x)。但是由于两个不同的输入序列可以产生相同的输出序列,于是根据输出序列不一定能100%反向确定输入序列具体是什么(贝叶斯概率公式),译码器的任务就是凭借这些输出序列来恢复出信源传输的信息。

    信道容量理论研究的问题,并不是讨论一个物理通道最大能传输的极限信息,而是在保证非常低误差的情况下,能达到的理论传输率。有明确的理论可以支撑证明,我们能够以很高的概率从输入序列中挑选出一个“不会混淆”的子集,使得对于每一个特定的输出序列,只存在唯一的一个输入最有可能导致该输出。于是,在可忽略的误差概率情况下,可以在输出端重构输入序列。

    将信源映射到适合于输入信道的“足够分散的”输入序列集合,我们能够以非常低的误差概率传输一条消息,并且在信道的输出端重构出这个信源消息。可实现的最大的码率称作该信道的容量。

    0x3:信道容量的几个例子

    这个小节,我们通过几个典型例子,来从不同角度看一下信道容量的决定因素。

    1. 无噪声二元信道

    如下图所示,它的二元输入在输出端能精确地重现:

    无噪声二元信道,C=1比特

    在这种情况下,任何一个传输的比特都能被无误差地接收到。因此,每次使用该信道,都可以毫无误差地传输一个比特,信道容量就是1比特。

    另一方面,也可以计算得到信息容量C=maxI(X;Y)=1比特,且在p(x)=(1/2,1/2)时达到。  

    2. 无重叠输出的有噪声信道

    这种信道对于两个输入中的每一个,均有两个可能的输出,如下图所示:

    无重叠输出的有噪声信道,C=1比特

    这种信道虽然有噪声,但是依然可以根据输出精确确定输入,只是需要更多的信息。

    因此,该信道的容量仍然是1比特/传输,也可以计算出该信道的信息容量C=maxI(X;Y)=1比特,且在p(x)=(1/2,1/2)时达到。

    3. 有噪声的打字机信道

    在这种信道中,信道输入以概率1/2在输出端精确接收,或以1/2概率转变为下一个字母,如下图所示:

    有噪声信道

    从上图可以看到,从输出端存在彼此交叠重合,无法从输出端精确地还原出输入端。为了解决这个问题,可以参考上一节的例子,将输出端以间隔的方式进行编码映射,以此得到独立同分布的无噪声输出端概率分布。

    若输入端有26个字符,并以间隔的方式使用输入字符,如下图所示,

    那么在每次传输过程中,可以毫无误差地传输其中的13个字符。因此,该信道的容量为log13比特/传输,也可以计算得到信道的容量:

    C=maxI(X;Y) = max[H(Y) - H(Y|X)] = max(H(Y)) - 1 = log26 - 1 = log13比特,且当p(x)为整个输入字母表上的均匀分布时达到该最大容量

    4. 二元对称信道

    考虑下图所示的二元对称信道(binary symmetric channel,BSC),这个二元信道的输入字符以概率p互补,这是一个有误差信道的最简单典型模型。

    在出现错误时,0作为1收到,或者正好相反。从接收到的比特中我们并不能看出哪里发生了错误。从某种意义上说,所有接收到的比特都不可靠。但是信道噪声定理告诉我们,我们仍然可以使用这样的通信信道以非0的传输码率发送信息,并且误差概率任意小。

    这里给出互信息的一个界,

    最后一个不等式成立是因为Y是一个二元随机变量,当输入分布是均匀分布时等号成立。因此,参数为p的二元对称信道的信息容量是:C = 1 - H(p)比特

    从公式中可以看到,信道输出端的概率分布越均匀,则信道容量越小。

    5. 二元檫除信道

    有一种信道类似于二元对称信道,会直接损失一些比特(丢失信息),这种信道称作二元檫除信道(binary erasure channel)。在二元檫除信道中,比例为a的比特被檫除掉,并且接受者知道哪些比特已经被檫除掉了,如下图所示:

    二元檫除信道,两个输入,三个输出

    计算二元檫除信道的容量如下:

    从公式上咋一看,似乎H(Y)的的最大值是log3,但无论选择什么输入分布p(x),都无法达到这个值。设E代表事件{Y=e},并使用表达式:

    设Pr(X=1)=π,我们有,

    因此,

    ,其中,当π=1/2时,达到该信道容量 

    这个信道容量的表达式有很强的直观意义:由于比例为α的比特在信道中损失,因而我们至多能够恢复比例为1-α的比特输入信息。因此,信道容量最多为1-α。

    从上面的几个例子讨论可以得到一个概括性的结论,信道容量由两部分组成:

    • 信道结构:输入源和输出源之间的映射关系(输入输出概率分布)
    • 信道噪声:信噪比(本质也是输入输出之间的映射结构)

    笔者思考

    从信道容量这个视角来看机器学习模型的训练和拟合过程,我们可以将一个训练集抽象理解为一个通信信道,训练集信道的目的是通过抽样方法,得到一个目标函数的典型集,典型集中包含了目标函数的信源信息。对于训练集自身来说,我们的目的总是希望训练集中包含的有用信息尽量多,也就说,我们的目标是”让训练集信道的信道容量尽量大“,那如何让信道容量尽量大呢?由前面的结论我们可以得到几点启发:

    • 优化信道结构:训练样本中,不同类别的样本分布要尽量保持均匀,这样可以让训练集中的信息熵最大。
    • 减小信道噪声:在信号输出侧减小不同信号码之间的交叠,尽量保证不同的信号码之间是彼此独立的。简单来说就是,不要让同一类样本出现label交叠的情况,在实际工程中这是一个常见问题误区,常常是因为打标系统的漏报导致。

    Relevant Link: 

    《信息论基础》阮吉寿著 - 第七章

     

    2. 离散信道(discret channel)

    离散信道是数字通信中,最常用的抽象模型,我们本文的讨论对象也是针对离散信道。

    0x1:离散信道形式化定义

    离散信道是由:

    • 输入字母表X
    • 输出字母表Y
    • 概率转移矩阵p(y|x)

    三部分构成的系统,如下图所示,

    取自下标集的消息W,产生信号,这个信号以随机序列的方式被接受者收到。然后,接受者使用适当的译码规则猜测消息W。如果与所传输的消息W不同,则表明接受者出错。下面我们用数学符号严格定义这些概念,

    表示的离散信道由两个有限集X和Y以及一簇概率密度函数p(y|x)构成,其中对任意的x与y,有p(y|x)>=0,以及对任意的x,有,而X和Y分别看做信道的输入与输出。

    值得注意的是,如果输出的概率分布仅依赖于它所对应的输入,而与先前通信的输入或者输出条件独立,就称这个信道是无记忆的(memoryless),值得注意的是,马尔科夫过程也是一种无记忆过程。本文在讨论离散无记忆信道时,如无特别说明,一般都是指不带反馈的离散无记忆信道。

    0x2:离散无记忆信道的信道容量

    离散无记忆信道的“信息”信道容量(channel capacity)定义为:

    ,这里最大值取所有可能的输入分布p(x)

    从随机过程熵率的角度来看,信道容量定义为信道的最高码率(比特/信道使用),在此码率下,信息能够以任意小的误差概率被传输。香农第二定理表明,信道容量等于这个可操作的信道容量。 

    0x3:离散无记忆信道(DMC)的n次扩展

    离散无记忆信道(DMC)的n次扩展是指信道,其中,即进行n次通信的通信过程。

    因为是无记忆的,离散无记忆信道的n次扩展的信道转移函数可以简化为,

    信道的(M,n)码由以下部分构成:

    • 下标集
    • 编码函数,生成码字。所有码字的集合称作码簿(codebook)
    • 译码函数,它是一个确定性规则,为每个收到的字符向量指定一个源码猜测

    0x4:离散信道容量的性质 

    这个小节,我们来讨论下信道容量的几个典型性质,

    • 由于 I(X;Y) >= 0,所以 C>=0
    • 由于 C=max I(X;Y) <= maxH(X) <= log |X|,C <= log |X|
    • C <= log |Y|
    • I(X;Y)是关于p(x)的一个连续函数
    • I(X;Y)是关于p(x)的凹函数。由于I(X;Y)是闭凸集上的凹函数,因而局部最大值也是全局最大值,所以最大值是有界的,也即信道容量是有界的

    0x5:离散信道的误差

    1. 条件误差概率

    设,

    为已知下标 i 被发送的条件下,接受者译码错误的条件概率(conditional probability of error),其中 I(.) 为示性函数。

    2. 最大误差概率

    (M,n)码的最大误差概率λ(n)(maximum probability of error)定义为,

     

    3. 平均误差概率

    (M,n)码的(算术)平均误差概率Pe(n)(average probability of error)定义为,

    显然有, 

    0x6:离散信道的码率

    (M,n)码的码率R(rate)为,

    进一步的,如果存在一个码序列,满足当时,最大误差概率,则称码率R是可达的(achievable)。

    信道的容量定义为:所有可达码率的上确界

    于是,对于充分大的分组长度,小于信道容量的码率对应的误差概率可以任意小。

    Relevant Link: 

    《信息论基础》阮吉寿著 - 第七章

     

    3. 联合典型序列

    所谓联合典型序列,简单地说,就是如果码字与接收到的信号是”联合典型“的话,就将信道输出译为第 i 个下标

    0x1:联合典型序列定义

    服从分布p(x,y)的联合典型序列所构成的集合是指其经验熵与真实熵ε接近的n长序列构成的集合,即:

     

    其中,

    0x2:联合AEP

    设(Xn,Yn)为服从的i.i.d.的n长序列,那么,

    • 当n->∞时,
    • 如果,即是独立的且与p(xn,yn)有相同的边际分布,那么,而且对于充分大的n,有,由此,n长序列的联合典型集的上界和下界都是可以确定的

    下图是关于联合典型集的示意图,

    大约有2nH(X)个典型的X序列和大约2nH(Y)个典型的Y序列。但是,联合典型序列只有2nH(X,Y)个,所以并不是所有典型的Xn与典型的Yn构成的序列对都是联合典型的。

    随机选取的序列对是联合典型的概率大约为2-nI(X;Y)。因此,我们可能需要考虑约2nI(X;Y)这样的序列对,才可能遇到一个联合典型对,这表明存在大约2nI(X;Y)个可区分的信号Xn

    着眼于上述问题的另一种方式是考虑固定输出序列Yn下的联合典型序列集,这里假定该输出序列来自真实的输入信号Xn。对于序列Yn,大约存在2nH(X|Y)个条件典型的输入信号。某个随机选取的(其他)输入信号Xn与Yn为联合典型的概率大约等于

    这再次表明,我们可能选取出大约2nI(X;Y)个码字Xn(W),才能使其中的一个码字与产生输出Yn的对应码字混淆起来。

    Relevant Link: 

    《信息论基础》阮吉寿著 - 第七章

     

    4. 信道编码定理

    0x1:信道容量的直观理解

    前面的章节中我们已经讨论了离散无记忆信道的信息容量定义,即容量可以视为能够在该信道中可靠传输的比特数。我们这小节将尝试给出一个直观思路,解释为什么能通过信道来传输C比特的信息。

    基本的思路是,对于大的分组长度,每个信道可以看作是有噪声打字机信道(前面章节提到),由此每个信道都有一个输入子集,使得在输出端接收到的序列基本互不相交。

    对于输入的每个n长序列,会有大约2nH(Y|X)个可能的Y序列与之对应,并且所有这些序列是等可能的(AEP定理),如下图所示,

    我们希望确保没有两个X序列能够产生相同的Y输出序列,否则,将无法判断到底传输的是哪个X序列。

    所有可能的Y序列的总数约等于2nH(Y),对应于不同的输入X序列,这个集合分割成大小为2nH(Y|X)的小集合。所以不相交集的总数小于等于。因此,我们至多可以传输个可区分的n长序列,这就是所谓的信道容量。

    0x2:香农证明信道编码定理的主要思路

    信道编码定理最初的证明由香农在1948年的开创性论文中给出。该结果与直观感觉正好相反,如果在信道传输过程中存在误差,那么如何纠正所有误差?任何纠错过程本身也受到误差的影响,这样将无穷无尽地进行下去。

    香农证明,只要码率小于信道容量,信息就可以通过该信道可靠地传输,香农在证明中使用了很多精妙的思考,包括:

    • 允许任意小的非0误差概率存在
    • 连续使用信道多次,以保证可以使用大数定律
    • 在随机选择的码簿上计算平均误差概率,这样可以使概率对称,而且可以用来证明至少存在一个好的编码

    香农的概述性证明基于典型序列、随机码选择的思想(计算随机选择的码字的平均误差概率)等等。

    即寻找一个与收到的序列是联合典型的码字,如果找到唯一满足该性质的码字,我们则认为这就是被发送的码字。

    依据前面所讨论的联合典型性的性质,由于发送的码字与接收到序列是概率相关的,所以他们以很高的概率成为联合典型。并且,任意其他码字与接收到的序列是联合典型的概率是2-nl,因此,如果码字个数小于2nI,那么可以以很高的概率断定不会有其他的码字能够与被传输的码字相混淆,并且误差概率很小。

    虽然联合典型译码是次优的,但是它便于分析而且可以达到小于信道容量的任何码率。

    0x3:信道编码定理形式化定义

    对于离散无记忆信道,小于信道容量C的所有码率都是可达的。具体来说,对任意码率R<C,存在一个(2nR,n)码序列,它的最大误差概率为。反之,任何满足的(2nR,n)码必定有R<=C。

    值得注意的是,虽然这个定理说明了对于大的分组长度,存在误差概率任意小的好码,但它并没有提供一种构造最佳码的方法。如果使用定理证明中的方法,根据适当的分布随机地生成一个码,那么对于充分大的分组长度,这样构造出来的编码可能是最好的。

    然而,由于该编码中缺乏某个结构,译码将是非常困难的,因此,这个定理并不能提供一个实际的编码方案,而仅仅只是一个方法论,我们后面会具体讨论具体的易于编和译的构造性编码,例如汉明(Hamming)码,它在每个比特分组中纠正一个错误。

    0x4:零误差码

    在允许完全无误差的情况下,我们来重新论证一次信道编码定理。首先证明蕴含结论R<=C。

    假定有一个零误差概率的(2nR,n)码,也就是说,译码器输出的g(Yn)以概率1等于输入的下标W。那么,输入下标W完全由输出序列决定,即

    为了获得更强的界,随意假定W服从上的均匀分布,于是,H(W) = nR。从而,我们有如下不等式推导过程, 

    其中,

    • (a)由数据处理不等式推出,由于形成马尔柯夫链
    • (b)由离散无记忆假设证明推出
    • (c)直接由信息容量的定义推出

    因此,对任何零误差的(2nR,n)码及所有的n,有:

    0x5:费诺不等式与编码定理的逆定理

    下面将零误差码的证明过程推广到具有非常小误差概率的编码,证明需要用到的新工具就是费诺不等式,它依据条件熵给出误差概率的下界。

    这里先给出费诺不等式的定义,下标W服从集合上的均匀分布,序列Yn与W是概率相关的。通过Yn来估计被发送的下标W。设为其估计,那么,W->Xn(W)->Yn->W‘行程马尔柯夫链,注意到误差概率为:

    我们给出下面的引理, 

    【费诺不等式】设离散无记忆信道的码簿为C,且输入消息W服从2nR上的均匀分布,则有,

    【信道容量不变定理】设Yn为Xn经过容量C离散无记忆信道传输所得到的输出信号,则,

    ,对于任意的p(xn)

    上式说明多次使用信道并不增加每次传输的信心容量比特。

    笔者总结

    本质上讲,当R<C时,可以以任意低的误差概率传输信息;而当R>C时,误差概率将远离0。最佳的码率就是信道容量

    Relevant Link: 

    《信息论基础》阮吉寿著 - 第七章

      

    5. 汉明码

    信道编码定理使用分组码的方案,如果分组长度足够大的话,当码率小于信道容量时,可以用分组码以任意低的误差概率传输信息。香农在其开创性论文中提出了得到这种码的一种概述性方法,此后人们一直在寻找这样的码。除了要达到低的误差概率之外,还需要具备简单的特性,以保证可以大规模进行有效编码和译码。我们本章介绍由汉明开发的一种最简单的方案,它可以说明大多数码所共有的一些基本思想。

    0x1:从简单编码方案说起

    编码的目的是通过增加冗余使得在一些信息损失或者损坏的情况下,扔可能由接受者恢复出原始的消息。

    一种最显而易见的编码方案是重复信息,例如,为了发送一个1,我们发送11111,为了发送一个0,我们发送00000。这一方案使用5个字符来传输1比特,因此码率为1/5比特/字符。如果在二元对称信道中使用这样的码,最优的译码方案就是将接收到的每个5比特分组译为其中占多数的比特。显然,当且仅当超过3/5的比特发生错误时,才会导致译码错误。通过使用更长的重复码,可以达到任意小的误差概率。但是,随着分组长度的增加,码率也趋于0,因此,一个”最简单的“编码,不一定是一个非常实用的编码。

    替代这种简单的重复比特方法,可以用某种巧妙的方式将比特联合起来,使得每一个额外的比特都可以用来检验某个信息比特子集中是否发生错误。

    一个简单的例子就是奇偶校验码,从n-1个信息比特的分组出发,选取第n个比特,使得整个分组的奇偶校验数为0。这样,如果在传输过程中发生了奇数次错误,那么接受者能够注意到奇偶性的变化,并察觉到错误,这就是检错码(error-detecting code)最简单的例子。但是要注意的是,该编码既不能察觉到出现偶数次错误,也不能提供任何有关纠正这些错误的信息。

    我们可以推广奇偶校验的思想,允许存在多个奇偶校验位,也可以允许奇偶校验依赖于各种各样的信息比特子集。

    接下来要讨论的汉明码就是奇偶校验码的一个例子,我们会利用线性代数中的一些简单思想来描述它。

    0x2:汉明码基本思想

    为了说明汉明码的基本思想,考虑分组长度为7,单个码字长度为3的非0二元向量的集合,以它们为列向量构成一个矩阵:

    考虑H的零空间(与H相乘得到000的向量)中长度为7的向量的集合。由线性空间理论,因为H的秩为3,故期望H的零空间的维数为4,这24个码字如下:

    由于这个码字集是矩阵的零空间,所以从任意两个码字的和扔是一个码字的意义上看,这是一个线性空间。因此,码字集形成7维向量空间中的一个4维线性子空间。

    观察这些码字,不难注意到除了全是0的码字外,任何码字中1的最小数目为3,该最小数称为码的最小重量(minimum weight)。可以看出,由于H的所有列互不相同,没有两列的和可以为000,因此码的最小重量至少为3。

    基于任意两列的和必然为该矩阵中某一列的事实,我们可以推出最小距离恰好为3。由于该码是线性的,任意两个码字的差仍是一个码字,因此,任意两个码字之间至少在3个位置上有所不同。

    两个码字不同的最小位置数称为该码的最小距离(minimum distance)。码的最小距离是用来表示码字之间相隔多远的一个度量,并且可以决定在信道的输出端码字之间差异的程度。对线性码来说,最小距离等于最小重量,我们的目的是设计出最小距离尽可能大的码(信道编码定理)。

    上述码的最小距离是3,因此,如果码字c仅占一个位置损坏,那么产生新字符串将与其他任何码字之间至少存在两个位置上是不用的,它与c更加接近。根据香农给出的联合典型码思想,依然可以根据似然译码得到码字c。但是,是否可以通过穷举搜索就发现哪一个是距离最近的码字呢?

    回答是肯定的!可以利用矩阵H的结构译码!

    矩阵H称作奇偶校验矩阵(parity check matrix),具有如下性质:

    对任意码字c均有Hc = 0,设ei是第 i 个位置为1其余位置为0的向量。如果码字的第 i 个位置损坏,则接收到的向量为 r=e+ei,如果将矩阵H与接收到的向量相乘,则得到,

    这正好是H的第 i 列向量。因此,通过计算Hr,就可以发现接收向量的哪一个位置损坏的,还原该位置上的值就得到一个码字。这样就有了一个简单的程序用来纠正接收序列中的一个错误。

    我们已经构造出分组长度为7的16个码字组成的码簿,它能纠正至多一个错误,这个码就是汉明码(Hamming code)

    至此,我们还没有给出明确的编码程序,我们继续明确定理汉明码,

    • 所有码字的前4位,构成了24种组合,将这4个比特看做是要发送消息的4个比特
    • 而另外3个比特由编码决定

    一般地,让码字的前k个比特代表消息,而后面n-k个比特留作奇偶校验位,这样得到的编码称作系统码(systematic code)。该码往往由它的分组长度n,信息比特数k,以及最小距离d三个参数来决定。例如,上述编码称作(7,4,3)汉明码。

    可以用简单的文氏图表示来解释汉明码的工作原理,为了发送信息序列1101,将序列中的4个信息比特分别放在图中4个相交的区域中,然后在剩余的区域中各放置一个校验位使得每个圈中的校验结果为偶数(即每个圆中有偶数个1),如下图,

     

    现在不妨假设其中的一个比特被改变了,如下图中,有一个信息比特从1变成了0,

    此时,有两个圆违背了原先的校验约束(图中加黑部分)。因而,当我们知道了这两个约束违背,不难看出,导致产生约束违背的这个单一的比特错误只可能在两圆的相交部分发生。

    类似地,通过分析其他情形,可以看出,这种码可以检测并纠正发生在接收码字中的任何单个比特错误 

    很容易推广这一程度来构造更大的矩阵H。一般来说,如果使用矩阵H中的 l 行,那么所得编码的分组长度为 n=2l-1,k=2l-l-1,以及最小距离为3。所有这些码都称作汉明码,并可以纠正一个错误。

    汉明码是所有线性奇偶校验码中最简单的例子,通过汉明码说明了构造其他线性码的基本原则,即分组码(block code)---- 将一组信息比特映射成一个信道码字,且不依赖于过去的信息比特。

    Relevant Link: 

    《信息论基础》阮吉寿著 - 第七章

     

    6. 信源和信道分离定理

    这章我们来讨论一个问题,为了节省传输进行了数据压缩(R>H)和用户信道传输的信道编码(R<C)是彼此独立的还是互相依赖的呢?

    例如,考虑通过离散无记忆信道传输数字语音或音乐,设计一个码,将语言样本序列直接映射成信道的输入信号,或者先将语音压缩成最有效的格式,然后使用适当的信道编码从该信道将他发送出去。由于数据压缩不依赖于信道,而信道编码又不依赖于信源分布。

    在这章中,我们将证明:在有噪声信道中,数据压缩和信道编码这两个步骤是彼此独立的。这意味着,可以将通信系统的设计转化成信源编码与通信编码两个部分的组合。这种组合的方法与将两个问题一起考虑所能设计出的任何方法一样有效。

    数据的通常表示是二元字母表,最现代的通信系统是数字化通信系统,并且为了能在通常的信道上传输,数据简化为二进制表示。这使复杂度大大减小,像ATM和因特网这样的网络系统允许语音、视频和数字数据共用相同的通信信道。

    现在对上述讨论问题做一个严格的定义,假设有一个信源V,从字母表V中生成字符。对于由V生成的随机过程,除了要求其取值于有限字母表且满足AEP之外,不做任何假设。这种过程的例子包括独立同分布的随机变量序列和平稳不可约马尔柯夫链的状态序列。任何平稳遍历信源均满足AEP。

    现在想通过信道发送字符序列,并且保证接受者可以重构序列。为了达到这个目的,将序列映射成码字,通过信道发送这个码字。接受者观察接收到的序列Yn后,给出发送序列Vn的估计。如果,则接受者犯了错误,我们定义误差概率为:

    其中 I 为示性函数,为译码函数,这个系统如下图所示,

    0x1:联合信源信道编码定理

    如果V1,V2,....,Vn为有限字母表上满足AEP和H(v)<C的随机过程,则存在一个信源信道编码使得误差概率。反之,对任意平稳随机过程,如果H(v)>C,那么误差概率远离0,从而不可能以任意低的误差概率通过信道发送这个过程。

    证明:可达性。

    证明前半部分的重点就是此前描述的两步骤编码,由于已经假定随机过程满足AEP,所以必然存在一个元素个数<=2n(H(v)+ε)的典型集Aε(n),它拥有概率的绝大部分。仅对属于这个典型集的信源序列进行编码,其余所有序列将产生一个错误,它对误差概率的贡献不会超过ε。

    给Aε(n)中的所有序列加上下标,由于至多有2n(Hv+ε)个这样的序列,n(H+ε)比特足以给出它们的下标了,如果

     

    我们能以小于ε的误差概率将需要的下标发送给接收者,接收者可以通过穷举典型集Aε(n),选择与被估计下标相应的序列,从而重构出Vn。这个序列将以很高的概率与传输序列相一致。具体来说,对充分大的n,我们有,

     

    因此,如果

    那么对于充分大的n,我们能够以低的误差概率重构出序列。

    联合信源信道分离定理促使我们将信源编码问题从信道编码问题中独立出来考虑,

    • 信源编码起试图找到信源的最有效表示
    • 信道编码器需要让编码消息,具备能够对抗信道中产生的噪声和错误的能力

    分离定理表明,分离编码器与联合编码器能够达到相同的码率,我们可以独立地涉及信源码和信道码,然后结合两者达到最优的效果,

    总结一下,

    • 数据压缩定理来源于AEP,表明全部信源序列存在一个拥有了绝大部分概率的”小型“的子集(大约为2nH),根据这个子集使用H比特/字符并以很小的误差概率来表示这个信源
    • 数据传输定理基于联合的AEP,它依据的事实是,对于大的分组长度,信道的输出序列非常有可能与输入码字是联合典型的,而任何其他码字是联合典型的概率约为2-nI。因而,我们可以使用大约2nI个码字而保持可忽略的误差概率。

    Relevant Link: 

    《信息论基础》阮吉寿著 - 第七章

     

    7. Turbo码本质和贝叶斯网络的置信度传播的关系

    TODO

     

    转载于:https://www.cnblogs.com/LittleHann/p/11377250.html

    展开全文
  • 信道编码之编码理论依据

    千次阅读 2018-06-22 16:56:22
    1、信道编码如何编,才能检错或者纠错?信道编码与运送玻璃杯的过程类似,运送玻璃杯时,为了保证运送途中不出现打烂玻璃杯的情况,通常会用一些泡沫或者海绵等将玻璃杯包装起来。信道编码中,由发送端的信道编码器...
  • 信道编码matlab代码使用条件GAN的一比特多用户大规模MIMO的信道估计 1.说明 该存储库是本文的实现:董玉迪,王华霞和姚玉东,“使用条件GAN进行一比特多用户大规模MIMO的信道估计”。 ArXiv:2006.11435 [Eess],...
  • 提出一种基于伴随式(Syndrome)的具有抗差错性能的分布式联合信源信道编码方案。在不增加编码端复杂度的前提下,设计一种新的基于伴随式的编码器,使其同时具有压缩和抗差错的性能;其次,设计相应的译码器,并改进...
  • 介绍了在香农理论推动下的信道编码技术的发展,以及编码技术最终可能和调制技术融合的趋势,着重阐述了无线信道下信道编码的问题,以及编码技术的发展方向。
  • 信道编码绪论

    千次阅读 2018-05-15 07:49:29
    1.研究背景 信息化是当今社会最鲜明的特点,...图1给出了通信系统的一般模型,在图中发送端的信息源就是把日常生活中的各种消息转换成电信号的一种设备,发送设备是把信息源产生的电信号通过调制或者是编码等手段使...
  • 针对分布式视频编码系统的关键帧在无线信道中传输受到噪声污染的情况, 提出一种基于无线噪声信道编码端码率控制算法。首先对解码端边信息携带的无线信道噪声进行了理论和实验分析, 建立了边信息中无线信道噪声的...
  • 卫星数字电视系统信源信道编码技术 卫星数字电视系统信源信道编码技术
  • LDPC码---信道编码理论

    千次阅读 2016-08-19 21:19:12
    LDPC码是最有希望在广泛的信道方位取得香农容量的误差纠正技术。自从LDPC码重新被发现是接近香农限的好码,关于LDPC码的设计、构造、译码、有效编码、性能分析和这些码在数字通信与存储系统中的应用就变成了研究焦点...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,198
精华内容 1,279
关键字:

信道编码论文