精华内容
下载资源
问答
  • 信息论与编码

    2011-07-03 23:45:00
    无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 限失真信源编码定理—香农第三定理 信源编码 信道编码 加密编码 1、信息论的奠基人香农及其重要著作; 2、信息、消息、信号的区别联系 3、通信系统...
    信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 限失真信源编码定理—香农第三定理 信源编码 信道编码 加密编码 1、信息论的奠基人香农及其重要著作; 2、信息、消息、信号的区别和联系 3、通信系统的模型各主要功能模块(包括信源、信道、信宿、信源编译码器、信道编译码器)及其作用 4.重点理解信息的定义 5.信息论的分类:狭义信息论和广义信息论。 (一) 信息论的形成与发展 信息论的奠基人:香农 信息时代的里程碑: 1948年 香农《通信的数学理论》(A mathematical theory of communication)。第一次提出了信息量的概念,并应用数理统计的方法来研究通信系统,创立了信息论。 三大定理 无失真信源编码定理(第一极限定理) 信道编码定理(第二极限定理) 限失真信源编定理(第三极限定理) (二)信息、消息和信号的区别与联系信息 是事物运动状态或存在方式。消除不确定性的东西。 消息 是指包含有信息的语言、文字和图像等 信号 是消息的物理体现。 信号是信息的载荷子或载体,是物理性的。 同一信息,可以采用不同的信号形式 (比如文字、语言、图象等)来载荷; 同一信号形式,比如 “0”与 “1”可以表达不同形式的信息,比如无与有、断与通、低与高 (电平) 等。 在通信系统中,实际传输的是信号,但本质内容的是信息。信息包含在信号之中,信号是信息的载体。通信的结果是消除或部分消除不确定性,从而获得信息。 信源:向通信系统提供消息u的人和机器。发送消息的源 信宿:信息归宿之意,亦即收信者或用户,是信息传送的终点或目的地。 信道:传输信息的物理媒介 信源编码器与译码器 信源编码器 符号转换; 压缩信源的冗余度,提高通信系统传输效率; 包括无失真信源编码、限失真信源编码。 信源译码器 把信道译码器输出的代码组变换成信宿所需要的消息形式,它的作用相当于信源编码器的逆过程 信道编码器与译码器 信道编码 提高信息传送的可靠性。 在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力 信道译码器 具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。 熟练掌握:各种信源的分类及其定义;自信息量、离散信源熵、互信息、信息不增性的定义概念、并能进行相关计算 熵的性质(非负性、对称性、确定性、香农辅助定理、最大熵定理、条件熵小于无条件熵)  p28 掌握互信息量和熵之间的关系. 离散平稳无记忆信源X的N次扩展信源的熵等于信源X的熵的N倍 冗余度 熵的理解 猜测一个事件需要的信息量 事件本身的不确定性 知道某事件后消除的不确定性:知道前,具有不确定性H(X),知道后不确定性为0,所以消除的不确定性即为H(X)。 告诉我们某事件后提供的信息量,解释同上。 要告诉我们这个事件,需要发送的信息长度。 条件熵的理解 注意:条件熵H(X|Y), H(X|yi),在知道事件的前后,均已知该条件(这个条件可以是具体的yi,也可以是随机变量Y。) 事件本身的不确定性H(X),但是知道事件Y或yi后,X的不确定性减少为H(X|Y), 所以在知道Y的情况下,告诉你关于X的信息,获得的信息量减少为H(X|Y) 。 知道前,具有不确定性为H(X|Y),知道后不确定性为0,所以消除的不确定性即为为H(X|Y)。 对应可以参考对熵的解读来解读一些其他的提问,比如猜测的时候的信息量。 平均互信息量的理解 已知事件Y后,X的不确定性由H(X)减少为H(X|Y), 所以在知道Y的情况下,告诉你关于X的信息量为H(X)-H(X|Y), 这个量即为平均互信息量。 对应可以参考对熵的解读来解读一些其他的提问,比如猜测的时候的信息量。 信道容量 信道容量: 假定信道固定的前提下,选择一种试验信源使信息传输率最大。 它所反映的是信道传输信息的能力,是信道可靠传送的最大信息传输率。 一旦找到了信道容量,它就与信源不再有关,而是信道特性的参量,随信道特性的变化而变化 不同的信道其信道容量不同。 信息率失真函数 假定信源给定的情况下,用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。 它反映的是信源可以压缩的程度,是在满足一定失真度要求下信源可压缩的最低值。 率失真函数一旦找到,就与求极值过程中选择的试验信道不再有关,而只是信源特性的参量 不同的信源其R(D)不同。 研究信道容量: 充分利用已给信道,使传输的信息量最大,而发生错误的概率任意小。 研究信息率失真函数: 解决在已知信源和允许失真度D的条件下,使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息,以提高通信的 有效性。 第五章 信源编码 1、编码的定义和分类:信源编码、信道编码、安全编码 2、信源编码的目的 3、唯一可译码的特殊结论 4、熟练掌握三种能获得最佳变长编码的方法:香农编码、费诺编码、哈夫曼编码,并且能够进行相关计算,求平均码长,编码效率等; 5.香农第一,第三定理 第六章 信道编码 1、信道编码的目的 2、纠错码的分类:不同的分类标准,得到不同的分类,3、从编码定理的公式出发分析使得差错概率尽可能小可以采取的措施,纠错编码的基本思路 4、掌握两种译码方法:最优译码和最大似然译码方法 5、了解如下线性分组码的相关概念:线性分组码的生成矩阵、校验矩阵、伴随式和标准阵列译码,能够求生成矩阵、校验矩阵,最小距离。 6.码距相关概念、纠错能力相关定理、汉明码。 第七章 加密编码 1、加密编码的基本概念,基本分类 2、加密编码中的熵概念,以及由此引出的结论。香农信息论对于加密编码的启示。 复习方法 1、作业 2、创新题-创新,思考与理解 3、对于关键内容需要有自己的理解 4、计算要亲自动手,不要手高眼低 5、每一章前面的概念、定义和分类要掌握 6、三大定理 可能的题型 填空 选择题 名词解释与理解 计算题 论述题 创新题  

    转载于:https://www.cnblogs.com/gxldan/archive/2011/07/03/4066691.html

    展开全文
  • 4-1 设有一个二元等该率信源,通过一个二进制对称信道BSC其失真函数与信道转移概率分别定义为 试求失真矩阵d和平均失真 解由题意得 失真矩阵为d信道转移概率矩阵为P 平均失真为 4-3 设输入符号与输出符号XY均取值于...
  • 信息论与编码01

    2020-03-18 08:53:24
    绪论 一、基本要求 掌握消息、信号信息的基本概念 明确信息论的研究对象、研究目的研究内容 掌握通信系统模型 什么是信息?什么是消息、信号?...香农信息的定义:信息是指各个事物运动及状态变化的...信道—...

    第一章绪论

    一、基本要求

    • 掌握消息、信号和信息的基本概念
    • 明确信息论的研究对象、研究目的和研究内容
    • 掌握通信系统模型
    1. 什么是信息?什么是消息、信号?

    香农信息的定义:信息是指各个事物运动及状态变化的方式。
    信息系的基本概念在于它的不确定性,任何已确定的事物都不含信息。
    消息:指包含信息的语言、文字、图像等。
    信号:消息的物理体系。

    1. 香农是信息论的奠基人
    2. 通信系统模型
      信源——>信道——>信宿
    3. 通信系统三项性能指标

    有效性
    可靠性
    安全性

    1. 三类编码

    信源编码
    信道编码
    加密编码

    1. 作业练习

    信息的基本概念在于它的不确定性
    信息论研究的目的就是要找到信息传输的共同规律,移提高信息传输的可靠性、有效性、保密性、认证性,使信息传输系统达到最优化。
    通信系统的性能指标主要是经济性、有效性、可靠性、安全性。
    信源编码——有效性
    信道编码——可靠性
    加密编码——安全性

    第二章信源与信源熵1

    1. 根据参数集和值域是离散还是连续区间金星秀分类:
    1. 时间离散空间离散信源:T离散,Ex离散。(离散信源)如文字、数字、数据、字母等。
    2. 时间离散空间连续信源:T离散,Ex连续。(连续信源)如语言、图像、视频等。
    3. 时间连续空间离散信源:T连续,Exl离散。
    4. 时间连续空间连续信源:T连续,Ex连续。(波形信源)
    1. 根据序列的记忆特性进行分类
    1. 有记忆信源:相关联的
    2. 无记忆信源:相互独立的
    1. 典型平稳信号:白噪声。典型非平稳信号:雷达信号。
    2. 随机过程可分为平稳随机过程和非平稳随机过程两大类,最常见的平稳随机过程为遍历过程。
    3. 从理论上说任何时间受限的函数,其频谱是无限的。反之,时间是无限的。
    4. 马尔可夫信源

    当信源的记忆长度为m+1时称这种记忆信源为m阶马尔可夫信源。即信源每次发出的符号与前m个符号有关,与更前面的符号无关。

    1. 自信息量与不确定度

    自信息量:符号出现后,提供给收信者的信息量。
    不确定度:符号出现前,所含有的不确定性。

    展开全文
  • 共有9章,内容包括:信息的定义和度量,离散信源连续信源的信息熵,信道信道容量,平均失真度信息率失真函数,三个香农信息论的基本定理:无失真信源编码定理、限失真信源编码定理和信道编码定理,若干种常见...
  • 七层协议知识点

    2019-11-09 17:50:16
    ISO层次 功能 ... 模拟信号、数字信号、信道、信源编码器、信道编码器、信源解码器、信道解码器、基本频带(基带)、频带、A/D(D/A)转换 数据速率的计算:R=Bn= B log_2⁡〖N= 2W...
    • ISO层次
    • 功能
    • 常见知识点
    • 物理层
    • 提供物理通路、二进制数据比特流传输、定义机械/电气特性和接口
    • 模拟信号、数字信号、信道、信源编码器、信道编码器、信源解码器、信道解码器、基本频带(基带)、频带、A/D(D/A)转换
    • 数据速率的计算:R=Bn= B log_2⁡〖N= 2W log_2⁡〖N 〗 〗、〖C=W log〗_2⁡〖(1+S/N  )〗、dB=10 lg(S/N)
    • 调制与编码:
    1. 模拟信号调制为模拟信号:调幅(AM)、调频(FM)、调相(PM);
    2. 模拟信号编码为数字信号:脉冲编码调制PCM——采样、量化、编码;
    3. 数字信号调制为模拟信号:幅移键控ASK,频移键控FSK、相移键控PSK、正交幅度调制QAM;
    4. 数字信号调制为数字信号:极性编码、归零码、不归零码、双相码、曼切斯特编码、差分曼切斯特编码、4B/5B、8B/10B、64/66B、8B/6T
    • 数据传输方式:模拟通信、数字通信、串行通信、并行通信、单工通信、半双工、全双工通信、同步通信、异步通信
    • 数据交换方式:电路交换、报文交换、分组交换、信元交换(5+48)
    • 多路复用(信道复用):同步时分复用、统计时分复用(ATM)、波分复用(光纤通信)、频分复用
    • 脉冲编码调制PCM标准:北美24路PCM(T1,1.544Mb/s)、欧洲30路PCE(E1,2.048Mb/s,中国使用)
    • 同步光纤网(SONET),OC-1 51.84Mb/s,OC-3 155.520Mb/s
    • 同步数字系列(SDH),STM-1 155.520Mb/s
    • 接入技术:xDSL、HFC、FTTx、PON技术
    • 50Ω基带同轴电缆(细同轴电缆、粗同轴电缆)、75Ω宽带同轴电缆
    • 屏蔽双绞线(STP、FTP)、非屏蔽双绞线(线序标准:568A、568B;交叉线(路由-路由)、直连线(交换机-路由))
    • 单模光纤(激光二极管、1310nm和1550nm、直径小、距离长、速率快),多模光纤(LED、850nm和1300nm)
    • PS-232-C串行通信接口标准、帧中继、ATM(异步传输模式)
    • 数据链路层
    • 把不可靠信道变成可靠信道。将比特组织成帧,在链路上提供点到点的帧传输,差错控制、流量控制等
    • 检错与纠错:比特差错、码字n=数据位m+冗余位r、海明码据
    • 海明码(多重奇偶检错系统),具有检错纠错功能,m+k+1≤2^k(海明码校验位k,信息位m)
    • CRC编码(循环冗余校验码、多项式编码)
    • 点对点协议PPP,封装网络层协议信息、定义链路控制协议(LCP);PPPOE
    • 局域网802标准分为:逻辑链路层(LLC 802.2),媒体接入控制层(MAC)
    • MAC层功能:数据帧的封装/卸装、帧的寻址和识别、帧的接收与发送、链路的管理、帧的差错控制。
    • MAC层的访问方式:CSMA/CD(IEEE 802.3)、令牌环(IEEE 802.5)和令牌总线(IEEE 802.4)。
    • MAC帧格式、MAC地址(24厂商编号+序列号24比特)
    • CSMA/CD载波监听多路访问/冲突检测,介质访问控制协议、坚持算法、退避算法
    • IEEE 802系列协议
    • 网络层
    • 路径的选择,网络连接的多路复用、差错的检测与恢复、排序与流量控制、服务选择
    • 网络互连协议(IP)、IP数据报报头20+40、IP地址(A\B\C\D\E类、广播地址、环回地址127.X.X.X)
    • 子网掩码:可变长子网掩码(VLSM)、无类域间路由(CIDR)
    • ICMP(Internet控制报文协议),用于IP主机和路由器之间传递控制信息,ICMP差错报文、ICMP询问报文;Ping、Traceroute命令
    • ARP(地址解析协议,IP地址以太网地址)、RARP(反向地址解析);ARP请求分组、ARP响应分组、ARP高速缓存
    • ARP病毒、ARP欺骗。交换机端口绑定固定的MAC地址、安装ARP防火墙、清除ARP缓存、IP地址/网关MAC地址静态绑定
    • IPv6,128位。全球单播地址(001、2xxx::/4、3xxx::/4)、链路本地单播地址(1111111010、FE80::/10)、地区本地单播地址(1111111011、FE8C::/10)、任意播地址(子网前缀+全0)、组播地址(8多播前缀FF、4标记、4范围、112组ID)。环回地址(::1/128)、多播地址(FF00::/8)
    • NAT(网络地址转换)——基本NAT(静态NAT、动态NAT)、网络地址端口转换NART(多对一地址转换,隐藏内部IP、节省资源)
    • 传输层
    • 提供端到端之间可靠透明的数据传输。分段与重组、差错控制及流量控制,保证数据传输正确完整性
    • 面向连接(建立、使用、释放连接,TCP协议)和无连接服务(IP协议、UDP协议)
    • 传输控制协议TCP(可靠、面向连接的字节流服务)。TCP的三种机制:使用序号对数据包进行标记;TCP使用确认、校验和定时器系统提供可靠性;TCP使用窗口机制调制数据流量。
    • TCP三次握手建立连接:①SYN=1,SEQ=x,源主机SYN-SENT状态;②ACK=1,SYN=1,ACK序号=x+1,SEQ序号=y,目标主机SYN-RCVD状态,源主机ESTABLISHED状态;③ACK=1,ACK序号=y+1,SEQ序号=x+1.
    • TCP四次放手释放连接:①释放报文FIN=1,SEQ=x,源主机FIN-WAIT状态;②确认报文ACK=1,ACK序号=x+1,SEQ序号=y,目标主机CLOSE-WAIT状态,TCP连接为半关闭HALF-CLOSE状态;③释放报文FIN=1,ACK=1,确认ACK序号=x+1,SEQ序号=z,目标主机LAST-ACK状态;④确认报文ACK=1,确认序号ACK=z+1,SEQ=x+1,源主机、目标主机CLOSED状态
    • 用户数据报协议UDP(不可靠、无连接的数据报服务),协议端口号:系统端口(0-1023),登记端口(1024-49151),客户端使用端口(49152-65535)
    • 会话层
    • 会话链接的恢复与释放、对会话进行分段、同步等
    • 域名系统DNS,主机域名解析为IP地址,UDP协议(较少使用TCP协议),53端口号;由DNS名字空间、域名服务器(C/S模式、资源记录、域名解析——递归查询、迭代查询)、DNS客户机组成。
    • 动态主机配置协议DHCP,DHCP中继代理(跨越多个网段提供DHCP服务)、UDP协议,67端口(监听和接收请求消息),68端口(消息回复),获取IP失败分配值169.254.X.X;DHCP工作过程
    • 万维网WWW,规模巨大、可互联的资料空间,资源依靠URL定位,通过HTTP协议传送,由HTML展示。
    • URL统一资源定位符:<协议>://<主机>:<端口>/<路径>
    • HTML超文本标记语言,WWW采用C/S模式
    • HTTP,C/S模式,TCP的80端口,客户端浏览器(用户单击URL)域名服务器(解析地址)Web服务器(建立TCP连接,服务器端口80,请求报文,响应报文,释放TCP连接)
    • E-mail电子邮件(用户名@域名);简单邮件传输协议(SMTP,TCP协议25)、邮局协议(POP3,TCP协议110)、Internet邮件访问协议(IMAP4,TCP协议143);PGP邮件加密软件
    • FTP 文本传输协议,用于Internet上控制文件的双向传输;服务器20端口建立TCP数据连接;21端口建立TCP控制连接;工作方式分为:主动式PORT、被动式PASV(服务器是否首先发起数据连接);get下载、put上传
    • TFTP简单文件传送协议,基于UDP协议,用于路由器、交换机、防火墙配置文件、IOS的备份和替换
    • 网络管理:对网络进行有效安全的监控、检查;网络管理的任务:检测和控制;
    • OSI定义的网络管理功能:性能管理、配置管理、故障管理、安全管理、计费管理;
    • CMIS/CMIP公共管理信息服务/协议,CMIS定义每个网络组成部件提供的网络管理服务,CMIP是实现CIMS服务的协议;
    • 网络管理系统四要素:管理站、代理、管理信息库(MIB)、网络管理协议。(在SNMPv3把管理站和代理统一叫做SNMP实体);
    • SNMP简单网络管理协议,基于UDP协议,由SNMP协议、管理信息库(MIB)和管理信息结构(SMI)组成;
    • SNMP协议实体发送请求和应答报文的默认端口161,SNMP代理发送陷阱报文(Trap)端口162.
    • SNMPv3的主要安全威胁:修改信息和假冒;次要安全威胁:修改报文流和信息泄露;SNMP轮询监控;
    • SNMP MIB中被管对象的访问方式有只读、读写、只写、不可访问,不包括可执行;
    • 管理信息结构SMI的功能:命名被管理对象、存储被管对象的数据类型、编码管理数据;所有被管对象必须在对象命名树上;
    • Telnet(TCP/IP终端仿真协议),TCP,23,C/S模式,采用网络虚拟终端(NVT)实现数据传输,实现远程登录、远程管理;
    • 代理服务器
    • SSH(安全外壳协议),较可靠、专为远程登录会话和其他网络服务提供安全的协议,创建在应用层与传输层
    • VoIP,将模拟声音信号数字化,通过数据报在IP数据网络上做实时传递;优势:广泛采用Internet和全球IP互连的环境
    • 表示层
    • 数据加密与数据压缩、语法表示与连接管理
    • 应用层
    • 应用层包含用户应用程序和协议

     

    展开全文
  • 香农信息论的三个基本定理:无失真信源编码定理、限失真信源编码定理和信道编码定理;网络信息理论及保密系统的信息理论。本书还介绍了无失真数据压缩(即无失真信源编码)的实用的编码算法与方法,以及信道纠错编码的...
  • 压缩、去重等技术调研一、导论数据压缩的分类压缩的性能指标二、数据压缩的信息论基础信息的定义互信息自信息熵信源编码定理信道容量信道编码定理(香农第二定理)率失真理论三、统计编码3.1 概述变长码最佳变长...


    主要用于我自己学习过程中记笔记,便于以后回忆,因此阅读性很差
    于2020年新肺炎疫情长假期间,成都双流
    阅读内容:
    1、书籍:吴家安《数据压缩技术及应用》
    2、论文:夏文《数据备份系统中冗余数据的高性能消除技术研究》

    一、导论

    数据压缩的分类

    其中一种:冗余度压缩、熵压缩(无损、有损)

    压缩的性能指标

    压缩能力
     压缩比:输出:输入
     压缩因子:输入:输出
     压缩效率
     压缩增益
     速度
    信号质量:
     客观量度:信噪比(SNR,db)、均方差(MSE)等
     主观量度

    二、数据压缩的信息论基础

    主要讨论 离散无记忆信源
    不确定性越高(概率低),其信息量越大

    信息的定义

    打公式太麻烦了,下文均省略,而且缩进也特别麻烦
    信息定义的公式:-log(概率倒数)

    互信息和自信息

    互信息公式略
    A和B相互独立时,互信息显然0
    自信息就是本身的信息,A决定B时,二者互信息为自信息

    公式:平均自信息
    熵非负
    确定性事件熵为零
    当信源所有输出符号等概率时,熵取最大值,log^n

    信源编码定理

     一个输出n个符号的离散无记忆信源,其信源符号不可能用平均码长小于该信源熵的单义可译码来表示:
     H(X) <= L,L为平均码长

    信道容量

    通过一个信道所能传输的最高信息速率
    时间T内输出与其相应输入的互信息之和之商,bit/s

    信道编码定理(香农第二定理)

    若信源以速率R发送信息,信道容量为C,若R<C,采用完善的信道编码器、解码器就能以任意小的差错概率,用最高C的速率传输数字信息。相反,若R>C,则使用任何编码器、译码器都达不到任意小差错概率,而必定会大于某个正值

    率失真理论

    数据压缩的极限值,找出一个条件概率使平均互信息最小

    三、统计编码

    3.1 概述

    变长码

    唯一可译性
    即时可译性
    变长码码字即时唯一可译条件:异前缀码

    最佳变长编码定理

    码字长度与概率顺序相反

    3.2 香农-范诺编码

    1. 将符号按概率降序排列
    2. 将符号集合分为概率基本相等(差最小)的两个集合,把0分给第一个,1给第二个
    3. 重复步骤2直至每个符号都分裂成叶子

    3.3 霍夫曼编码

    众所周知:自下而上构建二叉树
    霍夫曼编码的平均码长:除叶子节点外的所有节点的概率相加即为平均码长
    与香农-范诺编码的比较

    1. 当概率不均为2的负次幂时,霍夫曼编码的效率高于香农-范诺编码(此时log^p不为整数,由信源编码定理可知平均码长大于熵且为整数,效率低于100%;香农-范诺编码有可能产生非最优编码)
    2. 当概率均为2的负次幂时,二者编码效率都是100%(此时log^p为整数,平均码长等于熵)

    自适应霍夫曼编码

    字符的频率是动态变化的,因此编码器和译码器要同步、一致,二者都动态地调整霍夫曼树,每编码(解码)一个字符就要调整树。编码器先编码再改变频率(当前字符频数+1),解码器先解码再改变频率,以此来保证编码和解码所用的霍夫曼树是一致的。

    3.4 行程编码

    也称为“游程编码”。
    定长的行程编码结构为:X,S,RL
    其中X为字符;S是一个在数据集合中不用的字符,起一个异字头的作用;RL表示行程长度,也就是X出现的次数。
    可见RL>3才有压缩效果。
    变长的行程编码需要增加标志位信息来表示编码的起止位置。

    变长编码的可靠性

    以上讨论的三种变长编码对传输误差都存在脆弱性,一步错步步错,且解码器不自知。尤其是行程编码,一旦错一个位都会导致整个行程移位。可参考的解决办法是每几位加一个奇偶校验码等等,用压缩比来换取可靠性。

    3.5 算术编码

    真是巧妙的算法,我何时能提出一个这样的算法 :)

    编码原理

    初始分配一个[0,1)区间,按信源输出字符的概率对其进行划分,使每一个字符都对应一个唯一的区间。编码时,每次把当前字符的区间分配为码字,重复下去,最终得到一个区间就是该字符串的编码。解码时,查看码字区间属于哪个字符,依次迭代直到迭代出与码字相同的区间即为结束。即为:
     high(n+1) = low(n+1) + range x high_range(x)
     low(n+1) = low(n+1) + range x low_range(x)
    其中,range = high(n) - low(n),high、low_range(x)为当前字符x的概率区间上下界。
    实际应用时,只保存下界作为码字即可。
    此图来自开头所提到的书籍

    算术编码与移位运算

    **一知半解,此处存疑。**目的是为了简化算术编码过程中的乘法运算,从而提高速度。疑惑的点在于:移位的位数为何是动态的,是怎么决定的?

    自适应算术编码

    与自适应霍夫曼编码相似,动态调整每个字符的概率。用一棵平衡二叉树来保存字符的频数来提高效率。

    四、字典编码

    4.1 基本原理

    1. 静态字典:需要预设字典项,对一些专用的场景比较适合,比如源程序代码等等。但当字典查找成功率低到某一个阈值时,就会出现反扩张的现象。
    2. 自适应字典:从一个空或小字典开始,从输入流读到新字就输出新字并加入字典,并且删除旧字。删除旧字是因为大字典搜索速度太慢。如此便形成了一个循环:读入并解析成短语,在字典中查找,找到就输出码字,否则加入字典并输出原字,最后检查看是否需要删除一个旧字。这样做的好处是:只有字符串操作无数值运算;译码简单。译码过程,与编码一样从动态调整字典,只要规则一样,最后的解压结果便也是一样的,并且不需要解析输入数据,不需要匹配字符串,只需要查找索引,简单高效,是不对称的。

    4.2 LZ77

    分两个区域,左边的缓冲区为当前的字典,右边的滑动窗口为即将要压缩的字符。原理见下图:
    在这里插入图片描述
    声明:上面这张图是来自另一篇博客:https://blog.csdn.net/qq_23084801/article/details/77496955,我看的这本书没图,纯文字,无力吐槽。
    若从右往左搜索缓冲区没有匹配到字符串,则输出(0,0,当前字符),这就是必须要有第三部分的原因。一般在压缩器刚开始工作时,(0,0,)很容易出现。
    LZ77也是非对称压缩技术,解压简单,因此多应用于一次压缩多次解压的场合。

    4.3 LZ78

    压缩原理如下图:
    在这里插入图片描述
    在这里插入图片描述
    解压时可以动态地恢复字典,如下图例:
    在这里插入图片描述声明:以上三图均来自博客:https://www.cnblogs.com/en-heng/p/6283282.html
    与LZ77不同,LZ78的字典不删除字典项。LZ78的字典采用树形结构保存,且是多叉树,如8位字符则每个节点最多可以有2^8个子节点。由于不会删除字典项,因此不涉及空间的回收,简化了存储空间的管理及字符串的搜索。但树的大小可能会急剧膨胀,导致空间耗尽。

    4.4 LZW

    算是LZ78的改进版。最主要的区别在于它去掉了LZ78的第二个字段,这是因为它将所有的单字符提前预装到字典中了,所以下一个输入字符总是能被找到。剩下的过程显然容易推得,其解码过程与编码一样。
    LZW的字典结构显然也是一棵多叉树,此书中介绍说为了减少不必要的子节点指针的空间预分配,LZW的多叉树采用的是数组结构,保存的是母节点指针。母节点采用哈希映射的方法来寻找子节点。我猜Zstd在这里肯定是有优化的。

    存疑点

    1. 率失真定理
    2. 算术编码与移位运算
    3. 基于LZ77的LZSS,Google的Snappy;基于LZ78的LZW,Facebook的Zstd(基于FSE)

    未完待续…

    展开全文
  • 通信的数学理论》A ...香农在这篇论文中还精确地定义了信源信道信宿编码、译码等概念,建立了通信系统的数学模型,并得出了信源编码定理和信道编码定理等重要结果。这篇论文的发表标志一门新的学科──信息论的诞生。
  • 通信的数学理论

    2015-10-09 22:43:21
    香农所著。...香农在这篇论文中还精确地定义了信源信道信宿编码、译码等概念,建立了通信系统的数学模型,并得出了信源编码定理和信道编码定理等重要结果。这篇论文的发表标志一门新的学科──信息论的诞生
  • 数字电视概论

    2015-11-26 21:51:06
     数字电视(Digital Television, DTV):是数字电视系统得简称,是指采用数字技术将音频、视频和数字等信号进行信源编码信道编码和调制等处理,经存储或实时广播后,供用户接收、播放得电视系统。 高清晰度电视...
  • 2 信源编码/译码 1. 5. 3 纠错编码/译码 1. 5. 4 基带传输 1. 5. 5 同步 1. 5. 6 信道与噪声 1. 5. 7 保密编码/译码 本章小结 思考与练习 第2章 信道与噪声 2. 1 信道定义. 分类与模型 2. 1. 1 信道定义 2. 1. ...
  • imut_du信息论2020-8-31

    2020-08-31 22:14:47
    (2)编码信道中的传输形式 (3)信道容量:信道能传送多少信息 (4)检纠错:信宿接收的信息是否正确 2、从本体论认识论理解什么是信息 本体论:信息论是事物运动状态状态改变的方式 认识论:信息是认识主体...
  • 第一章 信息化基础知识 1.信息化基础知识 ①信息的定义: 是客观事物状态运动特征的一种普遍形式,客观世界中大量存在、...信源编码信道、解码、信宿; ④决定信息系统性能的是编码译码器; ⑤信息系统的定
  • 2、信息的传输模型:信源、信宿、信道编码器、译码器、噪声 3、信息的质量属性:精确性、完整性、可靠性、及时性、经济性、可验证性、安全性 1.2信息化 1、信息化5个层次:(1)产品信息化(2)企业信息化(3)...
  • 笔记也是自己看教材在网上搜集的一些重点知识内容整合下来的,希望能对大家有作用吧。软考不易,且行且珍惜,祝愿大家...信源----编码----信道(噪声)----解码----信宿 信息系统的主要性能指标:有效性(传送尽可.
  • 信息传输模型:信源编码信道,噪音,解码,信宿。信息化:计算机通信网络技术的现代化。信息化就是从物质生产占主导地位的社会向信息产业占主导地位的社会转变发展的过程。是从工业社会向信息社会演...
  • 编码器、解码器——提高传输的有效性(信源编码);控制信道噪声对信号产生的影响(信道编码) 调制器、解调器——将信号进行频率变换。 (b) * 数字通信优点 (1)抗干扰能力强 (2)便于进行信号加工与...
  • 8.3.2信源编码/解码函数 8.3.3信道模型函数 8.3.4调制/解调函数 8.3.5滤波器函数 8.4通信系统仿真实例 8.5本章小结 第9章电力系统仿真 9.1电力系统元件 9.1.1同步发电机 9.1.2电力变压器 9.1.3输电线路 9.1.4负荷 ...

空空如也

空空如也

1 2
收藏数 23
精华内容 9
关键字:

信道编码和信源编码定义