精华内容
下载资源
问答
  • 多重描述编码人手,研究通过IP网传送视频数据流的多重描述编码的构造方法和优化问题,提出怎样适应IP交换网的特点和不同用户的传输方案,发现这类编码可提供用户最小的畸变:低带宽用户与理论值相差0dB,高带宽...
  • 为此,结合矩阵编码多重水印技术,提出了一种用于JPEG图像的块级认证算法。矩阵编码可将长为l的水印信息缩短为log2l数量级,且可准确定位其中1位信息的改变,因此通过矩阵编码可有效缩短水印的长度。同时,为了...
  • 《信息与编码》考试复习笔记1----第一章概论

    多人点赞 热门讨论 2021-05-10 16:21:32
    文章目录前言一、信息的概念...信息论的基础是香农信息论,学习此门课的关键主要包括“信息测度”,“信道容量”,“香农三大定理”(无失真信源编码定理,信道编码定理,限失真信源编码定理),“信源编码”,“信道编

    系列文章链接目录

    一、《信息与编码》考试复习笔记1----第一章概论
    二、《信息与编码》考试复习笔记2----第二章离散信息源
    三、《信息与编码》考试复习笔记2----第二章离散信息源相关例题
    四、《信息与编码》考试复习笔记3----第三章无失真离散信源编码(重要)
    五、《信息与编码》考试复习笔记3----第三章无失真离散信源编码补充例题
    六、《信息与编码》考试复习笔记4----第四章离散信道容量
    七、《信息与编码》考试复习笔记4----第四章离散信道容量相关例题
    八、《信息与编码》考试复习笔记5----第五章纠错编码(难点)
    九、《信息与编码》考试复习笔记5----第五章纠错编码相关例题(难点)
    十、《信息与编码》考试复习笔记----前五章题目补充
    十一、《信息与编码》考试复习笔记5----第五章纠错编码–伴随式纠错译码及标准阵列译码补充(难点)
    十二、《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量(考点在连续信道容量)
    十三、《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量相关例题
    十四、《信息与编码》考试复习笔记7----第七章信息率失真函数(有计算无难度)
    十五、《信息与编码》考试复习笔记7----第七章信息率失真函数相关例题



    前言

    这门课复习的时候有点学不进去,打算以此记录复习过程,也算加深一下印象,与大家一起学习。

    信息论的创始人是克劳德·艾尔伍德·香农(Claude Elwood Shannon)

    信息论的基础是香农信息论,学习此门课的关键主要包括“信息测度”,“信道容量”,“香农三大定理”(无失真信源编码定理,信道编码定理,限失真信源编码定理),“信源编码”,“信道编码”,“信息率失真函数”。

    一、信息的概念与分类

    1.1信息的概念

    信息是信息论中最基本、最重要的概念,它是一个既抽象又复杂的概念。信息的概念是在实践中产生,以前一直被看作是消息的同义词。信息的概念十分广泛,不同的定义在上百种以上。包括信息是事物之间的差异;信息是事物联系的普遍形式;信息是物质的普遍属性;信息是使概率分布发生改变的东西;信息是物质成分的意识成分按完全特殊的方式融合起来的产物……

    香农对信息的定义:
    信息:是对事物运动状态和变化方式的表征,它存在于任何事物之中,可以被认识主体(人或机器)获取和利用。

    全信息:同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息,称为全信息。

    ⮚ 语法信息:事物运动状态和状态改变的方式;
    ⮚ 语义信息:事物运动状态和方式的具体含义;
    ⮚ 语用信息:事物运动状态和方式及其含义对观察者的效用。

    香农信息论:考虑事物运动状态及其变化方式的外在形式,实际上研究的是语法信息。

    信息的11条重要性质
    列举出来分别是:①存在的普遍性②有序性③相对性④可度量性⑤可扩充性⑥可存储、传输与携带型⑦可压缩性⑧可替代性⑨可扩散性⑩可共享性⑪时效性

    相应的解释如下:
    ⮚存在的普遍性:信息存在于自然界、人类社会,其本质是运动和变化的。哪里有事物的运动变化,哪里就会产生信息。它处处存在,它既区别于物质和能量,又与物质和能量有相互依存的关系。
    ⮚ 有序性:要使一个系统从无序变为有序,必须从外界获取信息。
    ⮚ 相对性:同一个事物,不同的观察者获得的信息量可能不同。
    ⮚ 可度量性:信息的多少用信息量表示。
    ⮚ 可扩充性:信息随人的认识的提高在不断的扩充。
    ⮚ 可存储、传输与携带性
    ⮚ 可压缩性:信息论研究的主要问题之一。
    ⮚ 可替代性:可替代劳力、资本、物质材料、时间。
    ⮚ 可扩散性:可在短时间内较大范围扩散开。
    ⮚ 可共享性:没有信息的共享性就没有人类社会的发展和进步。
    ⮚ 时效性:信息是有“寿命”的。

    1.2信息的分类

    信息是一种非常复杂的的研究对象,分类有许多不同的准则和方法。其中按照信息性质可分为①语法信息②语义信息③语用信息

    语法信息考虑的是事物运动状态和变化方式的外在形式。事物运动状态可能是连续的也可能是离散的,于是又可以分成连续状态离散状态;再者,事物运动状态还可能是清晰的或者是模糊的,这样又可以分为明晰信息模糊信息
    在这里插入图片描述

    二、信息论的发展现状

    以前只有状态要素得到了较为充分的利用,运动要素利用的很少。进入本世纪,对边信道攻防技术的大量研究,使信息的运动要素得到了密集的挖掘和利用。

    三、信息论的研究内容

    3.1通信系统的通用模型

    在这里插入图片描述
    在这里插入图片描述

    其中:
    信源是消息的发生源,即信息的提供者。
    信源编码是为了提高通信的有效性而发展的技术,往往通过信息压缩来实现。
    加密部分的作用是在保密通信中保障通信内容不被授权者获知。
    信道编码的作用有二:①提高信源和信道的适配性和提高信息传输的可靠性。②多路通信还有信号调制部分,将多个信源发出的信号搬移到不同的频段或插入不同的时隙,达到在同一条通信线路上传输多路信号的目的,提高通信效率。
    信道是信息传输的通道。
    信道译码、解密和信源译码分别是信道编码、加密和信源编码的反过程,使信号恢复到原始状态,然后到达通信的目的地–信宿。
    信宿即信息的接收者。

    3.2信息论的研究内容

    信息论是一门应用概率论、随机过程、数理统计和代数的方法,来研究广义的信息传输、提取和处理系统中一般规律的工程学科。

    关于研究内容一般有以下三种解释:
    ①信息论基础②一般信息论③广义信息论

    信息论基础(即shannon经典信息论):研究信息测度,信道容量,信息率失真函数和香农三大定理以及信源和信道编码理论。
    一般信息论:研究信息传输和处理问题,除经典信息论外还包括噪声理论,信号滤波和预测,统计检测和估值理论,调制理论,信息处理理论和保密理论。
    广义信息论(即信息科学):用信息论的基本概念研究经济现象和社会现象,将信息论的研究从自然科学领域移植到经济学和社会科学领域。

    研究目的:是为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。即提高信息系统的有效性、可靠性、安全性和经济性以便达到系统最优化。

    有效性:用尽可能短的时间和尽可能少的设备来传输一定信息量的消息。
    可靠性:要使信源发出的消息经过传输后,尽可能准确地、不失真地再现在接收端。
    安全性:避免网络木马病毒,黑客攻击等,保证信息的安全。

    总结

    以上就是第一章概论中的内容,主要偏向概念,需要多加记忆:)

    展开全文
  • 提出并实现了用一般He-Ne...文中给出理论分析和实验结果,理论分析与实验结果是吻合的.文中还提出了用旋转光楔实现多路多参考光编码记录的多通道大景深全息干涉计量术.这种技术可用于研究大景深物场的时间序列动态过程。
  • 旋转光楔多重全息术

    2021-02-10 20:16:01
    本文提出一种新颖的多重全息术,它是利用旋转光楔调制平面参考波的传播方向,实现编码参考光记录获得多重全息图.该全息图经球面波再现,获得位于同一平面内的再现多重象.文中给出了这种方法的理论分析和实验结果,两者是...
  • 如何消除多重共线性

    千次阅读 2021-06-13 08:42:13
    机器学习是一种解决不能明确编码的问题的方法,例如,分类问题。机器学习模型将从数据中学习一种模式,因此我们可以使用它来确定数据属于哪个类。 但有个问题。这个模型是如何工作的?一些人不能接受一个性能良好的...

    介绍

    机器学习是一种解决不能明确编码的问题的方法,例如,分类问题。机器学习模型将从数据中学习一种模式,因此我们可以使用它来确定数据属于哪个类。

    但有个问题。这个模型是如何工作的?一些人不能接受一个性能良好的模型,因为它不能被解释。这些人关心可解释性,因为他们想确保模型以合理的方式预测数据。

    在解释ML模型之前,消除多重共线性是一个必要的步骤。多重共线性是指一个预测变量与另一个预测变量相关的情况。多重共线性虽然不影响模型的性能,但会影响模型的可解释性。如果我们不去除多重共线性,我们将永远不会知道一个变量对结果的贡献有多大。因此,我们必须消除多重共线性。

    本文将向您展示如何使用Python消除多重共线性。

    数据源

    为了演示,我们将使用一个名为Rain in Australia的数据集。它描述了不同日期和地点的天气特征。这个数据集也是一个监督学习问题,我们可以使用这些数据来预测明天是否下雨。这个数据集可以在Kaggle上找到,你可以在这里访问它。

    import pandas as pd
    
    df = pd.read_csv('data.csv')
    print(df.shape)
    df.head()
    

    预处理的数据

    加载数据之后,下一步是对数据进行预处理。在本例中,我们将不使用分类列,并删除每个列至少缺少一个值的行。下面是这样做的代码:

    df = df[list(df.columns[2:])]
    df = df.drop(['WindGustDir', 'WindDir9am', 'WindDir3pm'], axis=1)
    df = df.dropna()
    print(df.shape)
    df.head()
    

    计算VIF值

    在我们有了干净的数据之后,让我们计算方差膨胀因子(VIF)值。VIF是什么?

    VIF是一个决定变量是否具有多重共线性的数值。这个数字也代表了一个变量因与其他变量线性相关而被夸大的程度。

    VIF取值从1开始,没有上限。如果这个数字变大,就意味着这个变量有巨大的多重共线性。

    为了计算VIF,我们将对每个变量进行线性回归过程,其中该变量将成为目标变量。在我们完成这个过程之后,我们计算出R的平方。最后,我们用这个公式计算VIF值:

    在Python中,我们可以使用statmodels库中的variance_inflation_factor函数来计算VIF。下面是这样做的代码和结果:

    import statsmodels.api as sm
    from statsmodels.stats.outliers_influence import variance_inflation_factor
    
    X = df[list(df.columns[:-2])]
    
    vif_info = pd.DataFrame()
    vif_info['VIF'] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]
    vif_info['Column'] = X.columns
    vif_info.sort_values('VIF', ascending=False)
    

    从上面可以看到,几乎所有变量的VIF值都大于5。甚至压力变量的VIF值也超过40万。这是一个很大的因素!

    因此,我们需要从数据中清除这些多重共线性。

    消除多重共线性

    为了消除多重共线性,我们可以做两件事。我们可以创建新的特性,也可以从数据中删除它们。

    首先不建议删除特征。因为我们去掉了这个特征,就有可能造成信息丢失。因此,我们将首先生成新特性。

    从数据中,我们可以看到有一些特征有它们对。例如,’ Temp9am ‘加上’ Temp3pm ', ’ Pressure9am ‘加上’ Pressure3pm ', ’ Cloud9am ‘加上’ Cloud3pm ',等等。

    从这些特性中,我们可以生成新的特性。新特性将包含这些对之间的差值。在我们创建这些特性之后,我们可以安全地将它们从数据中删除。

    下面是这样做的代码和结果:

    df['TempDiff'] = df['Temp3pm'] - df['Temp9am']
    df['HumidityDiff'] = df['Humidity3pm'] - df['Humidity9am']
    df['CloudDiff'] = df['Cloud3pm'] - df['Cloud9am']
    df['WindSpeedDiff'] = df['WindSpeed3pm'] - df['WindSpeed9am']
    df['PressureDiff'] = df['Pressure3pm'] - df['Pressure9am']
    
    X = df.drop(['Temp3pm', 'Temp9am', 'Humidity3pm', 'Humidity9am', 'Cloud3pm', 'Cloud9am', 'WindSpeed3pm', 'WindSpeed9am', 'Pressure3pm', 'Pressure9am', 'RainToday', 'RainTomorrow'], axis=1)
    
    X.head()
    

    现在让我们看看数据的VIF值是怎样的:

    vif_info = pd.DataFrame()
    vif_info['VIF'] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]
    vif_info['Column'] = X.columns
    vif_info.sort_values('VIF', ascending=False)
    

    正如你从上面看到的,我们仍然得到了具有巨大VIF值的变量。但是,我们仍然从生成新功能中得到了一个很好的结果。

    现在让我们删除VIF值大于5的特性。下面是这样做的代码和结果:

    X = X.drop(['MaxTemp', 'MinTemp', 'TempDiff', 'Sunshine'], axis=1)
    
    vif_info = pd.DataFrame()
    vif_info['VIF'] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]
    vif_info['Column'] = X.columns
    vif_info.sort_values('VIF', ascending=False)
    

    好了!现在我们有所有VIF值小于5的变量。有了这些变量,现在我们就可以解释结果了。但首先,让我们建立我们的机器学习模型。

    构建模型

    在这种情况下,我们将使用支持向量机(SVM)算法来建模我们的数据。简而言之,SVM是一种模型,它将创建一个超平面,可以最大限度地分离使用不同标签的数据。

    因为我们的数据属于一个分类任务,所以我们将使用scikit-learn中的SVC对象来创建模型。下面是这样做的代码:

    from sklearn.preprocessing import LabelEncoder
    from sklearn.model_selection import train_test_split
    from sklearn.svm import SVC
    
    encoder = LabelEncoder()
    y_encoded = encoder.fit_transform(y)
    print(encoder.classes_)
    print(y_encoded)
    
    X_train, X_test, y_train, y_test = train_test_split(X.values, y_encoded)
    
    model = SVC()
    model.fit(X.values, y_encoded)
    
    print(model.score(X_test, y_test))
    

    利用排列特征重要性进行解释

    理论上,支持向量机模型是不可解释的。这是因为我们不能仅仅通过查看参数来解释结果。但幸运的是,我们有几种方法可以解释这个模型。我们可以使用的方法之一是排列特征的重要性。

    排列特征重要性通过观察改变特征值后误差增加了多少来衡量一个特征的重要性。如果特征值的变化增加了模型的误差,那么该特征是重要的。

    要实现这个方法,可以使用scikit-learn库中的permutation_importance函数来计算特性的重要性。根据这个结果,我们将创建一个箱线图来可视化特性的重要性。

    下面是这样做的代码和结果:

    from sklearn.inspection import permutation_importance
    
    result = permutation_importance(model, X.values, y_encoded, n_repeats=10, random_state=42)
    
    perm_imp_idx = result.importances_mean.argsort()
    plt.boxplot(result.importances[perm_imp_idx].T, vert=False,
                labels=X.columns[perm_imp_idx])
    plt.title('Feature Importance from Rain in Australia Dataset')
    plt.show()
    

    从上面可以看到,HumanityDiff特性是对最终结果有巨大贡献的最重要的特性。然后是降雨特性,这是第二个最重要的特性。其次是风速(WindGustSpeed)、蒸发(vaporize)、风速差(WindSpeedDiff)、气压差(PressureDiff)和云l量差(CloudDiff)。

    最后总结

    做得好!现在您已经学习了如何使用Python从数据集中删除多重共线性。我希望这篇文章能帮助你消除多重共线性,以及如何解释机器学习模型。

    作者:Irfan Alghani Khalid

    展开全文
  • 信源编码和信道编码

    千次阅读 2018-12-06 15:14:59
    但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z编码,这三种都是无损编码,另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余,更加有效、经济地传输,最常见的应用形式就是压缩。...

    一.信源编码和信道编码的发展历程

    信源编码:

        最原始的信院编码就是莫尔斯电码,另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z编码,这三种都是无损编码,另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余,更加有效、经济地传输,最常见的应用形式就是压缩。

    相对地,信道编码是为了对抗信道中的噪音和衰减,通过增加冗余,如校验码等,来提高抗干扰能力以及纠错能力。

    信道编码:

    1948年Shannon极限理论

    →1950年Hamming码

    →1955年Elias卷积码

    →1960年 BCH码、RS码、PGZ译码算法

    →1962年Gallager LDPC(Low Density Parity Check,低密度奇偶校验)码

    →1965年B-M译码算法

    →1967年RRNS码、Viterbi算法

    →1972年Chase氏译码算法

    →1974年Bahl MAP算法

    →1977年IMaiBCM分组编码调制

    →1978年Wolf 格状分组码

    →1986年Padovani恒包络相位/频率编码调制

    →1987年Ungerboeck TCM格状编码调制、SiMonMTCM多重格状编码调制、WeiL.F.多维星座TCM

    →1989年Hagenauer SOVA算法

    →1990年Koch Max-Lg-MAP算法

    →1993年Berrou Turbo码

    →1994年Pyndiah 乘积码准最佳译码

    →1995年 Robertson Log-MAP算法

    →1996年 Hagenauer TurboBCH码

    →1996MACKay-Neal重新发掘出LDPC码

    →1997年 Nick Turbo Hamming码

    →1998年Tarokh 空-时卷格状码、AlaMouti空-时分组码

    →1999年删除型Turbo码

         虽然经过这些创新努力,已很接近Shannon极限,例如1997年Nickle的TurboHamming码对高斯信道传输时已与Shannon极限仅有0.27dB相差,但人们依然不会满意,因为时延、装备复杂性与可行性都是实际应用的严峻要求,而如果不考虑时延因素及复杂性本来就没有意义,因为50多年前的Shannon理论本身就已预示以接近无限的时延总容易找到一些方法逼近Shannon极限。因此,信道编码和/或编码调制理论与技术在向Shannon极限逼近的创新过程中,其难点是要同时兼顾考虑好编码及交织等处理时延、比特误码率门限要求、系统带宽、码率、编码增益、有效吞吐量、信道特征、抗衰落色散及不同类别干扰能力以及装备复杂性等要求。从而,尽管人们普遍公认Turbo码确是快速逼近Shannon极限的一种有跃变性改进的码类,但其时延、复杂性依然为其最严峻的挑战因素,看来,沿AlaMouti的STB方式是一种看好的折衷方向。同样,实际性能可比Turbo码性能更优良的LDPC码,从1962年Gallager提出, 当时并未为人们充分理解与重视,至1996年为MACKay—Neal重新发现后掀起的另一股推进其研究、应用热潮, 此又为另一明显示例。LDPC码是一类可由非常稀疏的奇偶校验矩阵或二分图(Bi-PartiteGrapg)定义的线性分组前向纠错码,它具有更简单的结构描述与硬件复杂度,可实现完全并行操作,有利高速、大吞吐能力译码,且译码复杂度亦比Turbo码低,并具更优良的基底(Floor)残余误码性能,研究表明,最好的非正则(Irregular)LDPC码,其长度为106时可获得BER=10-6时与Shannon极限仅相差0.13dB;当码长为107、码率为1/2,与Shannon极限仅差0.04dB;与Turbo码结构不同,这是由另一种途径向“Shannon极限条件”的更有效与更逼真的模拟,从而取得比Turbo码更好的性能。因此,“学习、思考、创新、发展”这一永恒主题中持续“创新”最为关键,MIMO-STC及Turbo/LDPC码的发展历程亦充分证实了这一发展哲理。

     

    二.信源编码和信道编码远离的简要介绍

    信源编码:

    一种以提高通信有效性为目的而对信源符号进行的变换;为了减少或消除信源剩余度而进行的信源符号变换。为了减少信源输出符号序列中的剩余度、提高符号的平均信息量,对信源输出的符号序列所施行的变换。具体说,就是针对信源输出符号序列的统计特性来寻找某种方法,把信源输出符号序列变换为最短的码字序列,使后者的各码元所载荷的平均信息量最大,同时又能保证无失真地恢复原来的符号序列。

      数字信号在传输中往往由于各种原因,使得在传送的数据流中产生误码,从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节,对数码流进行相应的处理,使系统具有一定的纠错能力和抗干扰能力,可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。

      提高数据传输效率,降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少,信道编码的过程是在源数据码流中加插一些码元,从而达到在接收端进行判错和纠错的目的,这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样,为了保证运送途中不出现打烂玻璃杯的情况,我们通常都用一些泡沫或海棉等物将玻璃杯包装起来,这种包装使玻璃杯所占的容积变大,原来一部车能装5000各玻璃杯的,包装后就只能装4000个了,显然包装的代价使运送玻璃杯的有效个数减少了。同样,在带宽固定的信道中,总的传送码率也是固定的,由于信道编码增加了数据量,其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了,不同的编码方式,其编码效率有所不同。

        基于层次树的集分割(SPIHT)信源编码方法是基于EZW而改进的算法,它是有效利用了图像小波分解后的多分辨率特性,根据重要性生成比特流的一个渐进式编码。这种编码方法,编码器能够在任意位置终止编码,因此能够精确实现一定目标速率或目标失真度。同样,对于给定的比特流,解码器可以在任意位置停止解码,而仍然能够恢复由截断的比特流编码的图像。而实现这一优越性能并不需要事先的训练和预存表或码本,也不需要任何关于图像源的先验知识。

      数字电视中常用的纠错编码,通常采用两次附加纠错码的前向纠错(FEC)编码。RS编码属于第一个FEC,188字节后附加16字节RS码,构成(204,188)RS码,这也可以称为外编码。第二个附加纠错码的FEC一般采用卷积编码,又称为内编码。外编码和内编码结合一起,称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。  

      前向纠错码(FEC)的码字是具有一定纠错能力的码型,它在接收端解码后,不仅可以发现错误,而且能够判断错误码元所在的位置,并自动纠错。这种纠错码信息不需要储存,不需要反馈,实时性好。所以在广播系统(单向传输系统)都采用这种信道编码方式。以下是纠错码的各种类型:

     

        既然信源编码的基本目的是提高码字序列中码元的平均信息量,那么,一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理,都可以在这种意义下归入信源编码的范畴,例如过滤、预测、域变换和数据压缩等。当然,这些都是广义的信源编码。  

    一般来说,减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个:①使序列中的各个符号尽可能地互相独立;②使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性,后者称为概率均匀化。

    第三代移动通信中的信源编码包括语音压缩编码、各类图像压缩编码及多媒体数据压缩编码。

     

    信道编码:

        数字信号在传输中往往由于各种原因,使得在传送的数据流中产生误码,从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节,对数码流进行相应的处理,使系统具有一定的纠错能力和抗干扰能力,可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。

    提高数据传输效率,降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少,信道编码的过程是在源数据码流中加插一些码元,从而达到在接收端进行判错和纠错的目的,这就是我们常常说的开销。

    码率兼容截短卷积(RCPC)信道编码,就是一类采用周期性删除比特的方法来获得高码率的卷积码,它具有以下几个特点:

    (1)截短卷积码也可以用生成矩阵表示,它是一种特殊的卷积码;

    (2)截短卷积码的限制长度与原码相同,具有与原码同等级别的纠错能力;                                            (3)截短卷积码具有原码的隐含结构,译码复杂度降低;

       (4)改变比特删除模式,可以实现变码率的编码和译码。

     

    三.信源编码和信道编码的区别

        信源编码信源编码的作用之一是设法减少码元数目和降低码元速率,即通常所说的数据压缩。码元速率将直接影响传输所占的带宽,而传输带宽又直接反映了通信的有效性。作用之二是,当信息源给出的是模拟语音信号时,信源编码器将其转换成数字信号,以实现模拟信号的数字化传输。模拟信号数字化传输的两种方式:脉冲编码调制(PCM)和增量调制(ΔM)。信源译码是信源编码的逆过程。1.脉冲编码调制(PCM)简称脉码调制:一种用一组二进制数字代码来代替连续信号的抽样值,从而实现通信的方式。由于这种通信方式抗干扰能力强,它在光纤通信、数字微波通信、卫星通信中均获得了极为广泛的应用。增量调制(ΔM):将差值编码传输,同样可传输模拟信号所含的信息。此差值又称“增量”,其值可正可负。这种用差值编码进行通信的方式,就称为“增量调制”,缩写为DM或ΔM,主要用于军方通信中。信源编码为了减少信源输出符号序列中的剩余度、提高符号的平均信息量,对信源输出的符号序列所施行的变换。具体说,就是针对信源输出符号序列的统计特性来寻找某种方法,把信源输出符号序列变换为最短的码字序列,使后者的各码元所载荷的平均信息量最大,同时又能保证无失真地恢复原来的符号序列.信道编码的目的:信道编码是为了保证信息传输的可靠性、提高传输质量而设计的一种编码。它是在信息码中增加一定数量的多余码元,使码字具有一定的抗干扰能力。信道编码的实质:信道编码的实质就是在信息码中增加一定数量的多余码元(称为监督码元),使它们满足一定的约束关系,这样由信息码元和监督码元共同组成一个由信道传输的码字。信源编码很好理解,比如你要发送一个图形,必须把这个图像转成0101的编码,这就是信源编码。

        信道编码数字信号在信道传输时,由于噪声、衰落以及人为干扰等,将会引起差错。为了减少差错,信道编码器对传输的信息码元按一定的规则加入保护成分(监督元),组成所谓“抗干扰编码”。接收端的信道译码器按一定规则进行解码,从解码过程中发现错误或纠正错误,从而提高通信系统抗干扰能力,实现可靠通信。信道编码是针对无线信道的干扰太多,把你要传送的数据加上些信息,来纠正信道的干扰。信道编码数字信号在信道传输时,由于噪声、衰落以及人为干扰等,将会引起差错。为了减少差错,信道编码器对传输的信息码元按一定的规则加入保护成分(监督元),组成所谓“抗干扰编码”。接收端的信道译码器按一定规则进行解码,从解码过程中发现错误或纠正错误,从而提高通信系统抗干扰能力,实现可靠通信。

    信源编码信号:例如语音信号(频率范围300-3400Hz)、图象信号(频率范围0-6MHz)……基带信号(基带:信号的频率从零频附近开始)。在发送端把连续消息变换成原始电信号,这种变换由信源来完成。

    信道编码信号:例如二进制信号、2PSK信号……已调信号(也叫带通信号、频带信号)。这种信号有两个基本特征:一是携带信息;二是适应在信道中传输,把基带信号变换成适合在信道中传输的信号完成这样的变换是调制器。

    信源编码是对输入信息进行编码,优化信息和压缩信息并且打成符合标准的数据包。信道编码是在数据中加入验证码,并且把加入验证码的数据进行调制。两者的作用完全不一样的。信源编码是指信号来源的编码,主要是指从那个接口进来的。信道编码是说的信号通道的编码,一般是指机内的电路。总的来说吧:信源编码是对视频, 音频, 数据进行的编码,即对信息进行编码以便处理,而信道编码是指在信息传输的过程中对信息进行的处理。

     

    四.信源编码和信道编码在现代社会的应用

    1.在现代无线通信中的应用:

        通信的任务是由一整套技术设备和传输媒介所构成的总体——通信系统来完成的。电子通信根据信道上传输信号的种类可分为模拟通信和数字通信。最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成。实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。数字通信系统设备多种多样,综合各种数字通信系统,其构成如图所示:

     

     

        信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。

    信道,通俗地说是指以传输媒质为基础的信号通路。具体地说,信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号,它提供一段频带让信号通过,同时又给信号加以限制和损害。

    信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。在计算机科学领域,信道编码(channel code)被广泛用作表示编码错误监测和纠正的术语,有时候也可以在通信和存储领域用作表示数字调制方式。信道编码用来在数据传输的时候保护数据,还可以在出现错误的时候来恢复数据。

    2.在超宽带信道中的应用

    超宽带(Ultra Wideband,以下简称UWB) [1][2]系统具有高传输速率、低功耗、低成本等独特优点,是下一代短距离无线通信系统的有力竞争者。它是指具有很高带宽比射频(带宽与中心频率之比)的无线电技术。近年来,超宽带无线通信在图像和视频传输中获得了越来越广泛的应用,它具有极高的传输速率以及很宽的传输频带,可以提供高达1Gbit/s的数据传输速率,可用在数字家庭网络或办公网络中,实现近距离、高速率数据传输。例如,利用UWB技术可以在家用电器设备之间提供高速的音频、视频业务传输,在数字办公环境中,应用UWB技术可以减少线缆布放的麻烦,提供无线高速互联。  

        联合信源信道编码(Joint Source Channel Coding,以下简称JSCC)[3][4]近几年来日益受到通信界的广泛重视,主要原因是多媒体无线通信变得更加重要。根据Shannon信息论原理,通信系统中信源编码和信道编码是分离的[5],然而,该定理假设信源编码是最优的,可以去掉所有冗余,并且假设当比特率低于信道容量时可纠正所有误码。在不限制码长的复杂性和时延的前提下,可以得到这样的系统。而在实际系统中又必须限制码长的复杂性和时延,这必然会导致性能下降,这和香农编码定理的假设是相矛盾的。因此,在许多情况下,采用独立编码技术并不能获得满意的效果,例如有严重噪声的衰落信道和(移动通信信道),采用独立编码技术不能满足要求。因此需要将信源编码和信道编码联合考虑,在实际的信道条件中获得比信源和信道单独进行编码更好的效果。其中不等差错保护是联合信源信道编码的一种, 是相对于同等差错保护而言的。在网络资源有限的情况下,同等差错保护方案使得重要信息得不到足够的保护而使解码质量严重下降。而不等差错保护根据码流的不同部分对图像重建质量的重要性不同, 而采用不同的信道保护机制, 是信源信道联合编码的一个重要应用。

    不等差错保护(Unequal Error Protection,以下简称UEP)的信源编码主要采用嵌入式信源编码,如SPIHT(Set Partitioning In Hierarchical Trees) [6],EZW,JPEG2000等,信源输出码流具有渐进特性,信道编码采用RCPC[7],RCPT等码率可变的信道编码。文章[8]中研究了在AWGN信道下的不等差错保护的性能; 文章[9]中研究了有反馈的移动信道下的多分辨率联合信源信道编码;文章[10]研究了无线信道下的图像传输,信源编码采用SPIHT,信道编码采用多码率Turbo coder的不等差错保护方案;文章[11]中研究了DS-CDMA多径衰落信道下信源编码为分层视频图像编码,信道编码采用RCPC,解决了在信源编码,信道编码以及各个层之间的码率最优分配; 文章[12]研究了3G网络下MPEG-4视频流的传输,信道编码采用 Turbo编码,提出了用TCP传输非常重要的MPEG-4流,而用UDP传输MPEG-4 audio/video ES (Elementary Streams),并且对UDP传输的码流进行UEP的方案;文章[13]研究在无线频率选择性衰落信道中将MIMO-OFDM和adaptive wavelet pretreatment(自适应小波预处理)结合在一起的联合信源信道编码图像传输。据我们的了解, 现在并无文章研究超宽带无线信道下不等差错保护方案,本文将不等差错保护联合信源信道编码应用于超宽带无线通信中, 信源部分采用基于小波SPIHT 的编码方法,而信道部分采用RCPC编码( Rate Compatible Punctured Convolutional codes) 对SPIHT输出码流按重要程度进行不等错误保护,并基于DS-UWB[14]方案提出双重不等差错保护方案, 研究了不等差错保护给图像在超宽带无线通信中的图像传输所带来性能增益。  

    采用标准LENA256×256图像进行仿真实验, 信源编码采用SPIHT算法,SPIHT 编码速率为0.5bpp, 信道编码采用码率自适应截短卷积码RCPC, 对实验图像进行同等差错保护信道编码( EEP) 和不等差错保护信道编码(UEP), 对于EEP编码采用1/ 2 码率;对于UEP 编码,其重要信息(包括头部语法及图像重要数据) 采用1/ 3码率,对图像次重要数据采用1/ 2码率进行编码,对图像非重要数据不进行编码。信道编码输出码流经过一个(Ns,1)重复编码器,对重要信息Ns取30,次重要数据Ns取20,非重要数据Ns取为10,再用一个周期为Np=Ns的伪随机DS码序列对重复编码器输出序列进行编码,最后对编码输出进行PAM调制和脉冲成形从而形成DS-UWB发送信号波形,其中脉冲参数设置为平均发射功率为-30,抽样频率为50e9,平均脉冲重复时间为2e-9,冲激响应持续时间为0.5e-9,脉冲波形形成因子为0.25e-9。DS-UWB信号经过IEEE802.15.3a CM1信道模型,接收端采用Rake接收机对接收信号进行解调,解调后的码流经过RCPC信道译码和SPIHT信源译码恢复出原始图像。

     

               CMI信道模型下Double-UEP与UEP,EEP的性能比较

    图中给出了IEEE802.15.3a CM1信道模型下双重不等差错保护(Double-UEP)与传统不等差错保护(UEP)与同等差错保护(EEP)的性能比较,其中横轴为超宽带信道中的信噪比Eb/N0,纵轴为重建图像的峰值信噪比PSNR(Peek Signal Noise Ratio)。

      由图可见,在UWB信道中,不等差错保护的性能普遍好于同等差错保护的性能,尤其是在低信噪比的时候,采用不等差错保护能够获得更大的性能增益。在高信噪比时,由于此时信道质量较好,误码率较低,图像中的重要码流基本不会产生误码,此时不等差错保护和同等差错保护性能趋于一致;而在低信噪比时,由于不等差错保护方案对图像的重要信息加入了更多的冗余,从而在不增加传输速率的情况下使图像得以更可靠的传输,提升重建图像的质量。

     

    五.信源编码与信道编码的发展前景

    信息论理论的建立,提出了信息、信息熵的概念,接着人们提出了编码定理。编码方法有较大发展,各种界限也不断有人提出,使多用户信息论的理论日趋完整,前向纠错码(FEC)的码字也在不断完善。但现有信息理论中信息对象的层次区分对产生和构成信息存在的基本要素、对象及关系区分不清,适用于复杂信息系统的理论比较少,缺乏核心的“实有信息”概念,不能很好地解释信息的创生和语义歧义问题。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明,其他信道也有一些结果,但尚不完善。但近几年来,第三代移动通信系统(3G)的热衷探索,促进了各种数字信号处理技术发展,而且Turbo码与其他技术的结合也不断完善信道编码方案。

    移动通信的发展日新月异,从1978年第一代模拟蜂窝通信系统诞生至今,不过20多年的时间,就已经过三代的演变,成为拥有10亿多用户的全球电信业最活跃、最具发展潜力的业务。尤其是近几年来,随着第三代移动通信系统(3G)的渐行渐近,以及各国政府、运营商和制造商等各方面为之而投入的大量人力物力,移动通信又一次地在电信业乃至全社会掀起了滚滚热潮。虽然目前由于全球电信业的低迷以及3G系统自身存在的一些问题尚未完全解决等因素,3G业务的全面推行并不象计划中的顺利,但新一代移动通信网的到来必是大势所趋。因此,人们对新的移动通信技术的研究的热情始终未减。

    移动通信的强大魅力之所在就是它能为人们提供了固话所不及的灵活、机动、高效的通信方式,非常适合信息社会发展的需要。但同时,这也使移动通信系统的研究、开发和实现比有线通信系统更复杂、更困难。实际上,移动无线信道是通信中最恶劣、最难预测的通信信道之一。由于无线电波传输不仅会随着传播距离的增加而造成能量损耗,并且会因为多径效应、多普勒频移和阴影效应等的影响而使信号快速衰落,码间干扰和信号失真严重,从而极大地影响了通信质量。为了解决这些问题,人们不断地研究和寻找多种先进的通信技术以提高移动通信的性能。特别是数字移动通信系统出现后,促进了各种数字信号处理技术如多址技术、调制技术、纠错编码、分集技术、智能天线、软件无线电等的发展。

     

    结论:

    从文中我们可以清楚的认识到信源编码和信道编码的发展布满艰辛,今天的成就来之不易。随着今天移动通信技术的不断发展和创新,信源编码与信道编码的应用也越来越广泛,其逐步的应用于各个领域,在通信系统中扮演着非常重要的角色,起到了至关重要的作用。但是,现有信息理论也存在一定的缺陷,具体表现在以下几个方面:

    1.现有信息理论体系中缺乏核心的 “实有信息”概念。

    2.适用于复杂信息系统的理论比较少。目前的狭义与广义信息论大多是起源和立足于简单系统的信息理论,即用简单通讯信息系统的方法来类比复杂系统的信息现象,将复杂性当成了简单性来处理。而涉及生命现象和人的认识论层次的信息是很复杂的对象,其中信宿主体内信息的语义歧义和信息创生问题是难点,用现有信息理论难以解释。

    3.对产生和构成信息存在的基本要素、对象及关系区分不清。如将对象的直接存在(对象的物质、能量、相互作用、功能等存在)当成信息存在;将信息的载体存在当成信息存在;将信息与载体的统一体当成信息存在;把信宿获得的“实得信息”当成唯一的信息存在,这是主观信息论。或者把信源和信道信息当成唯一的信息存在,称之为客观信息论。这二种极端的信息理论正是忽略了信息在关系中产生、在关系中存在的复杂本质。忽略了信息存在至少涉及三个以上对象及复杂关系。

    4.现有信息理论不能很好地解释信息的创生和语义歧义问题。

    5.现有信息理论对信宿实得信息的理解过于简单,没有将直接实得信息与间接实得信息区别开来。

    6.信息对象的层次区分没有得到重视。不少研究者将本体论层次的信息与认识论层次的信息混为一谈,将普适性信息范畴与具体科学,特别是技术层次(如通信、控制、计算等)的信息概念混为一谈。抓住信息的某一层次或某一方面当成信息对象的总体。

        因此,在科学技术飞速发展的今天,我们应该加强对信源编码与信道编码的了解和认识,这能让在以后的生活和学习过程中不断完善和改进现有信息论存在的缺陷,更好的应用和了解我们的专业知识,更好更快的做好自己的工作,让自己能从各方面得到满意的结果。

    展开全文
  • 信源编码与信道编码

    千次阅读 2018-03-18 23:03:20
    一.信源编码和信道编码的发展历程...但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z编码,这三种都是无损编码,另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余,更加有效、...

    一.信源编码和信道编码的发展历程

    信源编码:

        最原始的信院编码就是莫尔斯电码,另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z编码,这三种都是无损编码,另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余,更加有效、经济地传输,最常见的应用形式就是压缩。

    相对地,信道编码是为了对抗信道中的噪音和衰减,通过增加冗余,如校验码等,来提高抗干扰能力以及纠错能力。

    信道编码:

    1948年Shannon极限理论

    →1950年Hamming码

    →1955年Elias卷积码

    →1960年 BCH码、RS码、PGZ译码算法

    →1962年Gallager LDPC(Low Density Parity Check,低密度奇偶校验)码

    →1965年B-M译码算法

    →1967年RRNS码、Viterbi算法

    →1972年Chase氏译码算法

    →1974年Bahl MAP算法

    →1977年IMaiBCM分组编码调制

    →1978年Wolf 格状分组码

    →1986年Padovani恒包络相位/频率编码调制

    →1987年Ungerboeck TCM格状编码调制、SiMonMTCM多重格状编码调制、WeiL.F.多维星座TCM

    →1989年Hagenauer SOVA算法

    →1990年Koch Max-Lg-MAP算法

    →1993年Berrou Turbo码

    →1994年Pyndiah 乘积码准最佳译码

    →1995年 Robertson Log-MAP算法

    →1996年 Hagenauer TurboBCH码

    →1996MACKay-Neal重新发掘出LDPC码

    →1997年 Nick Turbo Hamming码

    →1998年Tarokh 空-时卷格状码、AlaMouti空-时分组码

    →1999年删除型Turbo码

         虽然经过这些创新努力,已很接近Shannon极限,例如1997年Nickle的TurboHamming码对高斯信道传输时已与Shannon极限仅有0.27dB相差,但人们依然不会满意,因为时延、装备复杂性与可行性都是实际应用的严峻要求,而如果不考虑时延因素及复杂性本来就没有意义,因为50多年前的Shannon理论本身就已预示以接近无限的时延总容易找到一些方法逼近Shannon极限。因此,信道编码和/或编码调制理论与技术在向Shannon极限逼近的创新过程中,其难点是要同时兼顾考虑好编码及交织等处理时延、比特误码率门限要求、系统带宽、码率、编码增益、有效吞吐量、信道特征、抗衰落色散及不同类别干扰能力以及装备复杂性等要求。从而,尽管人们普遍公认Turbo码确是快速逼近Shannon极限的一种有跃变性改进的码类,但其时延、复杂性依然为其最严峻的挑战因素,看来,沿AlaMouti的STB方式是一种看好的折衷方向。同样,实际性能可比Turbo码性能更优良的LDPC码,从1962年Gallager提出, 当时并未为人们充分理解与重视,至1996年为MACKay—Neal重新发现后掀起的另一股推进其研究、应用热潮, 此又为另一明显示例。LDPC码是一类可由非常稀疏的奇偶校验矩阵或二分图(Bi-PartiteGrapg)定义的线性分组前向纠错码,它具有更简单的结构描述与硬件复杂度,可实现完全并行操作,有利高速、大吞吐能力译码,且译码复杂度亦比Turbo码低,并具更优良的基底(Floor)残余误码性能,研究表明,最好的非正则(Irregular)LDPC码,其长度为106时可获得BER=10-6时与Shannon极限仅相差0.13dB;当码长为107、码率为1/2,与Shannon极限仅差0.04dB;与Turbo码结构不同,这是由另一种途径向“Shannon极限条件”的更有效与更逼真的模拟,从而取得比Turbo码更好的性能。因此,“学习、思考、创新、发展”这一永恒主题中持续“创新”最为关键,MIMO-STC及Turbo/LDPC码的发展历程亦充分证实了这一发展哲理。

    二.信源编码和信道编码远离的简要介绍

    信源编码:

    一种以提高通信有效性为目的而对信源符号进行的变换;为了减少或消除信源剩余度而进行的信源符号变换。为了减少信源输出符号序列中的剩余度、提高符号的平均信息量,对信源输出的符号序列所施行的变换。具体说,就是针对信源输出符号序列的统计特性来寻找某种方法,把信源输出符号序列变换为最短的码字序列,使后者的各码元所载荷的平均信息量最大,同时又能保证无失真地恢复原来的符号序列。

      数字信号在传输中往往由于各种原因,使得在传送的数据流中产生误码,从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节,对数码流进行相应的处理,使系统具有一定的纠错能力和抗干扰能力,可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。

      提高数据传输效率,降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少,信道编码的过程是在源数据码流中加插一些码元,从而达到在接收端进行判错和纠错的目的,这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样,为了保证运送途中不出现打烂玻璃杯的情况,我们通常都用一些泡沫或海棉等物将玻璃杯包装起来,这种包装使玻璃杯所占的容积变大,原来一部车能装5000各玻璃杯的,包装后就只能装4000个了,显然包装的代价使运送玻璃杯的有效个数减少了。同样,在带宽固定的信道中,总的传送码率也是固定的,由于信道编码增加了数据量,其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了,不同的编码方式,其编码效率有所不同。

        基于层次树的集分割(SPIHT)信源编码方法是基于EZW而改进的算法,它是有效利用了图像小波分解后的多分辨率特性,根据重要性生成比特流的一个渐进式编码。这种编码方法,编码器能够在任意位置终止编码,因此能够精确实现一定目标速率或目标失真度。同样,对于给定的比特流,解码器可以在任意位置停止解码,而仍然能够恢复由截断的比特流编码的图像。而实现这一优越性能并不需要事先的训练和预存表或码本,也不需要任何关于图像源的先验知识。

      数字电视中常用的纠错编码,通常采用两次附加纠错码的前向纠错(FEC)编码。RS编码属于第一个FEC,188字节后附加16字节RS码,构成(204,188)RS码,这也可以称为外编码。第二个附加纠错码的FEC一般采用卷积编码,又称为内编码。外编码和内编码结合一起,称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。  

      前向纠错码(FEC)的码字是具有一定纠错能力的码型,它在接收端解码后,不仅可以发现错误,而且能够判断错误码元所在的位置,并自动纠错。这种纠错码信息不需要储存,不需要反馈,实时性好。所以在广播系统(单向传输系统)都采用这种信道编码方式。以下是纠错码的各种类型:

        既然信源编码的基本目的是提高码字序列中码元的平均信息量,那么,一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理,都可以在这种意义下归入信源编码的范畴,例如过滤、预测、域变换和数据压缩等。当然,这些都是广义的信源编码。  

    一般来说,减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个:①使序列中的各个符号尽可能地互相独立;②使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性,后者称为概率均匀化。

    第三代移动通信中的信源编码包括语音压缩编码、各类图像压缩编码及多媒体数据压缩编码。

    信道编码:

        数字信号在传输中往往由于各种原因,使得在传送的数据流中产生误码,从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节,对数码流进行相应的处理,使系统具有一定的纠错能力和抗干扰能力,可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。

    提高数据传输效率,降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少,信道编码的过程是在源数据码流中加插一些码元,从而达到在接收端进行判错和纠错的目的,这就是我们常常说的开销。

    码率兼容截短卷积(RCPC)信道编码,就是一类采用周期性删除比特的方法来获得高码率的卷积码,它具有以下几个特点:

    (1)截短卷积码也可以用生成矩阵表示,它是一种特殊的卷积码;

    (2)截短卷积码的限制长度与原码相同,具有与原码同等级别的纠错能力;                                            (3)截短卷积码具有原码的隐含结构,译码复杂度降低;

       (4)改变比特删除模式,可以实现变码率的编码和译码。

    三.信源编码和信道编码的区别

        信源编码信源编码的作用之一是设法减少码元数目和降低码元速率,即通常所说的数据压缩。码元速率将直接影响传输所占的带宽,而传输带宽又直接反映了通信的有效性。作用之二是,当信息源给出的是模拟语音信号时,信源编码器将其转换成数字信号,以实现模拟信号的数字化传输。模拟信号数字化传输的两种方式:脉冲编码调制(PCM)和增量调制(ΔM)。信源译码是信源编码的逆过程。1.脉冲编码调制(PCM)简称脉码调制:一种用一组二进制数字代码来代替连续信号的抽样值,从而实现通信的方式。由于这种通信方式抗干扰能力强,它在光纤通信、数字微波通信、卫星通信中均获得了极为广泛的应用。增量调制(ΔM):将差值编码传输,同样可传输模拟信号所含的信息。此差值又称“增量”,其值可正可负。这种用差值编码进行通信的方式,就称为“增量调制”,缩写为DM或ΔM,主要用于军方通信中。信源编码为了减少信源输出符号序列中的剩余度、提高符号的平均信息量,对信源输出的符号序列所施行的变换。具体说,就是针对信源输出符号序列的统计特性来寻找某种方法,把信源输出符号序列变换为最短的码字序列,使后者的各码元所载荷的平均信息量最大,同时又能保证无失真地恢复原来的符号序列.信道编码的目的:信道编码是为了保证信息传输的可靠性、提高传输质量而设计的一种编码。它是在信息码中增加一定数量的多余码元,使码字具有一定的抗干扰能力。信道编码的实质:信道编码的实质就是在信息码中增加一定数量的多余码元(称为监督码元),使它们满足一定的约束关系,这样由信息码元和监督码元共同组成一个由信道传输的码字。信源编码很好理解,比如你要发送一个图形,必须把这个图像转成0101的编码,这就是信源编码。

        信道编码数字信号在信道传输时,由于噪声、衰落以及人为干扰等,将会引起差错。为了减少差错,信道编码器对传输的信息码元按一定的规则加入保护成分(监督元),组成所谓“抗干扰编码”。接收端的信道译码器按一定规则进行解码,从解码过程中发现错误或纠正错误,从而提高通信系统抗干扰能力,实现可靠通信。信道编码是针对无线信道的干扰太多,把你要传送的数据加上些信息,来纠正信道的干扰。信道编码数字信号在信道传输时,由于噪声、衰落以及人为干扰等,将会引起差错。为了减少差错,信道编码器对传输的信息码元按一定的规则加入保护成分(监督元),组成所谓“抗干扰编码”。接收端的信道译码器按一定规则进行解码,从解码过程中发现错误或纠正错误,从而提高通信系统抗干扰能力,实现可靠通信。

    信源编码信号:例如语音信号(频率范围300-3400Hz)、图象信号(频率范围0-6MHz)……基带信号(基带:信号的频率从零频附近开始)。在发送端把连续消息变换成原始电信号,这种变换由信源来完成。

    信道编码信号:例如二进制信号、2PSK信号……已调信号(也叫带通信号、频带信号)。这种信号有两个基本特征:一是携带信息;二是适应在信道中传输,把基带信号变换成适合在信道中传输的信号完成这样的变换是调制器。

    信源编码是对输入信息进行编码,优化信息和压缩信息并且打成符合标准的数据包。信道编码是在数据中加入验证码,并且把加入验证码的数据进行调制。两者的作用完全不一样的。信源编码是指信号来源的编码,主要是指从那个接口进来的。信道编码是说的信号通道的编码,一般是指机内的电路。总的来说吧:信源编码是对视频, 音频, 数据进行的编码,即对信息进行编码以便处理,而信道编码是指在信息传输的过程中对信息进行的处理。

    四.信源编码和信道编码在现代社会的应用

    1.在现代无线通信中的应用:

        通信的任务是由一整套技术设备和传输媒介所构成的总体——通信系统来完成的。电子通信根据信道上传输信号的种类可分为模拟通信和数字通信。最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成。实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。数字通信系统设备多种多样,综合各种数字通信系统,其构成如图所示:

        信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。

    信道,通俗地说是指以传输媒质为基础的信号通路。具体地说,信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号,它提供一段频带让信号通过,同时又给信号加以限制和损害。

    信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。在计算机科学领域,信道编码(channel code)被广泛用作表示编码错误监测和纠正的术语,有时候也可以在通信和存储领域用作表示数字调制方式。信道编码用来在数据传输的时候保护数据,还可以在出现错误的时候来恢复数据。

    2.在超宽带信道中的应用

    超宽带(Ultra Wideband,以下简称UWB) [1][2]系统具有高传输速率、低功耗、低成本等独特优点,是下一代短距离无线通信系统的有力竞争者。它是指具有很高带宽比射频(带宽与中心频率之比)的无线电技术。近年来,超宽带无线通信在图像和视频传输中获得了越来越广泛的应用,它具有极高的传输速率以及很宽的传输频带,可以提供高达1Gbit/s的数据传输速率,可用在数字家庭网络或办公网络中,实现近距离、高速率数据传输。例如,利用UWB技术可以在家用电器设备之间提供高速的音频、视频业务传输,在数字办公环境中,应用UWB技术可以减少线缆布放的麻烦,提供无线高速互联。  

        联合信源信道编码(Joint Source Channel Coding,以下简称JSCC)[3][4]近几年来日益受到通信界的广泛重视,主要原因是多媒体无线通信变得更加重要。根据Shannon信息论原理,通信系统中信源编码和信道编码是分离的[5],然而,该定理假设信源编码是最优的,可以去掉所有冗余,并且假设当比特率低于信道容量时可纠正所有误码。在不限制码长的复杂性和时延的前提下,可以得到这样的系统。而在实际系统中又必须限制码长的复杂性和时延,这必然会导致性能下降,这和香农编码定理的假设是相矛盾的。因此,在许多情况下,采用独立编码技术并不能获得满意的效果,例如有严重噪声的衰落信道和(移动通信信道),采用独立编码技术不能满足要求。因此需要将信源编码和信道编码联合考虑,在实际的信道条件中获得比信源和信道单独进行编码更好的效果。其中不等差错保护是联合信源信道编码的一种, 是相对于同等差错保护而言的。在网络资源有限的情况下,同等差错保护方案使得重要信息得不到足够的保护而使解码质量严重下降。而不等差错保护根据码流的不同部分对图像重建质量的重要性不同, 而采用不同的信道保护机制, 是信源信道联合编码的一个重要应用。

    不等差错保护(Unequal Error Protection,以下简称UEP)的信源编码主要采用嵌入式信源编码,如SPIHT(Set Partitioning In Hierarchical Trees) [6],EZW,JPEG2000等,信源输出码流具有渐进特性,信道编码采用RCPC[7],RCPT等码率可变的信道编码。文章[8]中研究了在AWGN信道下的不等差错保护的性能; 文章[9]中研究了有反馈的移动信道下的多分辨率联合信源信道编码;文章[10]研究了无线信道下的图像传输,信源编码采用SPIHT,信道编码采用多码率Turbo coder的不等差错保护方案;文章[11]中研究了DS-CDMA多径衰落信道下信源编码为分层视频图像编码,信道编码采用RCPC,解决了在信源编码,信道编码以及各个层之间的码率最优分配; 文章[12]研究了3G网络下MPEG-4视频流的传输,信道编码采用 Turbo编码,提出了用TCP传输非常重要的MPEG-4流,而用UDP传输MPEG-4 audio/video ES (Elementary Streams),并且对UDP传输的码流进行UEP的方案;文章[13]研究在无线频率选择性衰落信道中将MIMO-OFDM和adaptive wavelet pretreatment(自适应小波预处理)结合在一起的联合信源信道编码图像传输。据我们的了解, 现在并无文章研究超宽带无线信道下不等差错保护方案,本文将不等差错保护联合信源信道编码应用于超宽带无线通信中, 信源部分采用基于小波SPIHT 的编码方法,而信道部分采用RCPC编码( Rate Compatible Punctured Convolutional codes) 对SPIHT输出码流按重要程度进行不等错误保护,并基于DS-UWB[14]方案提出双重不等差错保护方案, 研究了不等差错保护给图像在超宽带无线通信中的图像传输所带来性能增益。  

    采用标准LENA256×256图像进行仿真实验, 信源编码采用SPIHT算法,SPIHT 编码速率为0.5bpp, 信道编码采用码率自适应截短卷积码RCPC, 对实验图像进行同等差错保护信道编码( EEP) 和不等差错保护信道编码(UEP), 对于EEP编码采用1/ 2 码率;对于UEP 编码,其重要信息(包括头部语法及图像重要数据) 采用1/ 3码率,对图像次重要数据采用1/ 2码率进行编码,对图像非重要数据不进行编码。信道编码输出码流经过一个(Ns,1)重复编码器,对重要信息Ns取30,次重要数据Ns取20,非重要数据Ns取为10,再用一个周期为Np=Ns的伪随机DS码序列对重复编码器输出序列进行编码,最后对编码输出进行PAM调制和脉冲成形从而形成DS-UWB发送信号波形,其中脉冲参数设置为平均发射功率为-30,抽样频率为50e9,平均脉冲重复时间为2e-9,冲激响应持续时间为0.5e-9,脉冲波形形成因子为0.25e-9。DS-UWB信号经过IEEE802.15.3a CM1信道模型,接收端采用Rake接收机对接收信号进行解调,解调后的码流经过RCPC信道译码和SPIHT信源译码恢复出原始图像。

               CMI信道模型下Double-UEP与UEP,EEP的性能比较

    图中给出了IEEE802.15.3a CM1信道模型下双重不等差错保护(Double-UEP)与传统不等差错保护(UEP)与同等差错保护(EEP)的性能比较,其中横轴为超宽带信道中的信噪比Eb/N0,纵轴为重建图像的峰值信噪比PSNR(Peek Signal Noise Ratio)。

      由图可见,在UWB信道中,不等差错保护的性能普遍好于同等差错保护的性能,尤其是在低信噪比的时候,采用不等差错保护能够获得更大的性能增益。在高信噪比时,由于此时信道质量较好,误码率较低,图像中的重要码流基本不会产生误码,此时不等差错保护和同等差错保护性能趋于一致;而在低信噪比时,由于不等差错保护方案对图像的重要信息加入了更多的冗余,从而在不增加传输速率的情况下使图像得以更可靠的传输,提升重建图像的质量。

    五.信源编码与信道编码的发展前景

    信息论理论的建立,提出了信息、信息熵的概念,接着人们提出了编码定理。编码方法有较大发展,各种界限也不断有人提出,使多用户信息论的理论日趋完整,前向纠错码(FEC)的码字也在不断完善。但现有信息理论中信息对象的层次区分对产生和构成信息存在的基本要素、对象及关系区分不清,适用于复杂信息系统的理论比较少,缺乏核心的“实有信息”概念,不能很好地解释信息的创生和语义歧义问题。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明,其他信道也有一些结果,但尚不完善。但近几年来,第三代移动通信系统(3G)的热衷探索,促进了各种数字信号处理技术发展,而且Turbo码与其他技术的结合也不断完善信道编码方案。

    移动通信的发展日新月异,从1978年第一代模拟蜂窝通信系统诞生至今,不过20多年的时间,就已经过三代的演变,成为拥有10亿多用户的全球电信业最活跃、最具发展潜力的业务。尤其是近几年来,随着第三代移动通信系统(3G)的渐行渐近,以及各国政府、运营商和制造商等各方面为之而投入的大量人力物力,移动通信又一次地在电信业乃至全社会掀起了滚滚热潮。虽然目前由于全球电信业的低迷以及3G系统自身存在的一些问题尚未完全解决等因素,3G业务的全面推行并不象计划中的顺利,但新一代移动通信网的到来必是大势所趋。因此,人们对新的移动通信技术的研究的热情始终未减。

    移动通信的强大魅力之所在就是它能为人们提供了固话所不及的灵活、机动、高效的通信方式,非常适合信息社会发展的需要。但同时,这也使移动通信系统的研究、开发和实现比有线通信系统更复杂、更困难。实际上,移动无线信道是通信中最恶劣、最难预测的通信信道之一。由于无线电波传输不仅会随着传播距离的增加而造成能量损耗,并且会因为多径效应、多普勒频移和阴影效应等的影响而使信号快速衰落,码间干扰和信号失真严重,从而极大地影响了通信质量。为了解决这些问题,人们不断地研究和寻找多种先进的通信技术以提高移动通信的性能。特别是数字移动通信系统出现后,促进了各种数字信号处理技术如多址技术、调制技术、纠错编码、分集技术、智能天线、软件无线电等的发展。

    结论:

    从文中我们可以清楚的认识到信源编码和信道编码的发展布满艰辛,今天的成就来之不易。随着今天移动通信技术的不断发展和创新,信源编码与信道编码的应用也越来越广泛,其逐步的应用于各个领域,在通信系统中扮演着非常重要的角色,起到了至关重要的作用。但是,现有信息理论也存在一定的缺陷,具体表现在以下几个方面:

    1.现有信息理论体系中缺乏核心的 “实有信息”概念。

    2.适用于复杂信息系统的理论比较少。目前的狭义与广义信息论大多是起源和立足于简单系统的信息理论,即用简单通讯信息系统的方法来类比复杂系统的信息现象,将复杂性当成了简单性来处理。而涉及生命现象和人的认识论层次的信息是很复杂的对象,其中信宿主体内信息的语义歧义和信息创生问题是难点,用现有信息理论难以解释。

    3.对产生和构成信息存在的基本要素、对象及关系区分不清。如将对象的直接存在(对象的物质、能量、相互作用、功能等存在)当成信息存在;将信息的载体存在当成信息存在;将信息与载体的统一体当成信息存在;把信宿获得的“实得信息”当成唯一的信息存在,这是主观信息论。或者把信源和信道信息当成唯一的信息存在,称之为客观信息论。这二种极端的信息理论正是忽略了信息在关系中产生、在关系中存在的复杂本质。忽略了信息存在至少涉及三个以上对象及复杂关系。

    4.现有信息理论不能很好地解释信息的创生和语义歧义问题。

    5.现有信息理论对信宿实得信息的理解过于简单,没有将直接实得信息与间接实得信息区别开来。

    6.信息对象的层次区分没有得到重视。不少研究者将本体论层次的信息与认识论层次的信息混为一谈,将普适性信息范畴与具体科学,特别是技术层次(如通信、控制、计算等)的信息概念混为一谈。抓住信息的某一层次或某一方面当成信息对象的总体。

        因此,在科学技术飞速发展的今天,我们应该加强对信源编码与信道编码的了解和认识,这能让在以后的生活和学习过程中不断完善和改进现有信息论存在的缺陷,更好的应用和了解我们的专业知识,更好更快的做好自己的工作,让自己能从各方面得到满意的结果。

    展开全文
  • 论信源编码与信道编码李希夷201110404107摘要:如今社会已经步入信息时代,在各种信息技术中,信息的传输及通信起着支撑作用。而对于信息的传输,数字通信已经成为重要的手段。而在数字通信系统中,信源编码和信道...
  • CTF中编码与加解密总结

    千次阅读 2017-12-07 10:40:00
    CTF中那些脑洞大开的编码和加密 转自:https://www.cnblogs.com/mq0036/p/6544055.html 0x00 前言 正文开始之前先闲扯几句吧,玩CTF的小伙伴也许会遇到类似这样的问题:表哥,你知道这是什么加密吗?其实CTF中...
  • 最原始的信院编码就是莫尔斯电码,另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、...1948年Shannon极限理论 →1950年Hamming码 →1955年Elias卷积码 →1960年 B
  • 2.1 数值与编码 2.1.1 进位计数制及其相互转换 在计算机系统内部,所有的信息都是用二进制进行编码的,原因如下: 1)二进制只有两种状态,所以有两个稳定状态的物理器件就可以表示二进制数的每一位,如利用高低电平...
  • MP3编码分析

    万次阅读 热门讨论 2012-08-11 14:21:02
    目录 一、MP3文件格式解析....2 1、MP3文件及MPEG概述...2 二、MP3编码原理....4 1、MP3编码流程...4 2、子带滤波器排——编码流程图中编号为1......5 ...5、位元分配、量化和Huffman编码——4......12
  • GIS理论知识大全

    千次阅读 2019-03-05 10:40:15
    GIS基础理论知识大全 GIS基础知识 一、GIS概念 什么是GIS 二、GIS组成 三、GIS应用中主要术语概念 四、空间参照 空间参照与投影 空间参照三大要素 椭球体 高程 空间参考坐标系 地理坐标系 投影坐标系 地图投影的变形...
  • Java多重循环(要点)

    2021-08-03 10:40:41
    1.理论上可以无限嵌套,但正常不超过三重循环 2.多个循环结构可以互相嵌套 3。外层循环是内层循环的前提(外层循环控制行) 4.内层循环控制在一轮外层循环之间的逻辑(内层循环控制列) break语句: 目的是...
  • 常见编码和加密算法

    千次阅读 2020-05-17 09:56:09
    0x00 前言 正文开始之前先闲扯几句吧,玩CTF的小伙伴也许会遇到类似这样的问题:表哥,你知道这是什么加密吗?其实CTF中脑洞密码题(非现代加密方式)一般都是各种古典密码的变形,一般出题者会对密文进行... 常见编码:
  • CTF中的编码与加密题

    万次阅读 2017-01-22 12:25:48
    其实CTF中脑洞密码题(非现代加密方式)一般都是各种古典密码的变形,一般出题者会对密文进行一些处理,但是会给留一些线索,所以写此文的目的是想给小伙伴做题时给一些参考,当然常在CTF里出现的编码也可以了解一下。...
  • 这种模型的理论基础比较扎实,但是对于不同的问题当然也存在一些特殊的处理方式,我最大的困惑就在于建模时对分类自变量的处理方法。 由于制作评分卡的某些需要,通常会在建立评分模型时将自变量做离散化处理(等...
  • 本文将介绍几种类型的编码漏洞,指出漏洞是什么、如何降低代码被***的风险、如何更好地找出代码中的此类缺陷。注入***通过将信息注入正在运行的流程,***者可以危害进程的运行状态,以反射到开发人员无法保护的某种...
  • 差分自编码器介绍、推导及实现

    千次阅读 2019-09-24 12:22:09
    如果z是一个维度很高的变量,你想想是不是有无穷多重的积分,会变成大概这样的计算式子: p ( x ) = ∫ ∫ ∫ ∫ ∫ ∫ . . . . . p ( x ∣ z ) p ( z ) d z p(x)=\int\int\int\int\int\int.....p(x|z)p(z)dz p ( ...
  • 信息论与编码概要1题目:信息论在密码...对信息论基本理论及应用问题进行论述。给出了密码学的基本理论知识,并简单介绍了香农提出的密码体制数学模型及该模型的特点。关键字:信息论;密码学;保密系统1 信息论的发...
  • 有人问我什么是MIS,我懒得解释,想给她搜几篇文章看,结果从网上搜了半天也没几篇关于MIS多重重要性采样有关的文章,着实有些不解。 这么重要的技术,为什么仅仅存在于论文的世界里呢? 作为上个世纪末一篇流芳几...
  • 计算机程序设计员四级理论知识试卷计算机程序设计员四级理论知识试卷一、单项选择(第1题~第160题。选择一个正确的答案,将相应的字母填入题内的括号中。每题0.5分,满分80分。) 1. 有关“兢兢业业、吃苦耐劳”的...
  • 相关研究 近几十年来,对于图结构的研究的方法可以被分为两个类别:1)图嵌入方法 和2)图核方法,然而,这两种方法都忽视了多重图的信息,并且无法提供将图特征表示到图分类任务的端到端学习学习框架,总而言之,...
  • WOE评分卡--WOE理论

    千次阅读 2018-04-13 13:53:39
    这种模型的理论基础比较扎实,但是对于不同的问题当然也存在一些特殊的处理方式.由于制作评分卡的某些需要,通常会在建立评分模型时将自变量做离散化处理(等宽切割,等高切割,或者利用决策树来切割),但是模型...
  • 【基础】二进制及编码

    千次阅读 2017-01-07 22:25:57
    意义xxxx几种编码及转换几种编码都需要懂,而且分情况。使用这些编码的基本前提,是确定单位,比如这里探讨的是一个字节,还是int(例如java中的32位int)。以下内容我们均假设为一个字节(8位)原码及使用几点特性...
  • CTF中那些脑洞大开的编码和加密

    千次阅读 2020-06-28 20:02:17
    CTF中那些脑洞大开的编码和加密 CTF中那些脑洞大开的编码和加密 0x00 前言 原文网址:...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 12,266
精华内容 4,906
关键字:

多重编码理论