精华内容
下载资源
问答
  • 信息论信道容量C程序

    2010-12-07 20:41:54
    用C语言求出信息论信道容量,绝对可以在VC上运行
  • 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
  • 信息论信道容量

    2014-10-16 11:55:17
    信息论与编码中信道容量的计算,比方说信道的基本概念,离散单个符号信道,连续信道,心愿与信道的匹配等
  • 信道是信息论的主要研究对象之一,其主要研究内容是在理论上能够传输或者存储的最大信息量,即信道容量。 信道分类 根据统计特性: 恒参信道:信道的统计特性不随时间而变化。如卫星信道一般视为恒参信道 随参...

    目录

    一、信道

    信道

    信道分类

    单符号离散信道及其容量

    单符号离散无记忆信道

    条件转移矩阵

    前向概率

    后向概率

    信道的信息传输率R(平均每个符号传送的信息量)

    信道容量C

    对称离散通道

    输入对称离散信道

    输入对称离散信道计算容量

    输出对称离散信道

    准对称信道和对称信道

    对称离散信道计算容量


    一、信道

    就是信息传输的通道,是通信系统的重要组成部分,是传输信息的载体,其主要任务是传输或者存储信息

    信道是信息论的主要研究对象之一,其主要研究内容是在理论上能够传输或者存储的最大信息量,即信道容量。

    信道分类

    根据统计特性

    恒参信道:信道的统计特性不随时间而变化。如卫星信道一般视为恒参信道

    随参信道:信道的统计特性随时间而变化。大多数的信道都是随参信道,统计特性随着环境、温度、湿度等参数而变化。如短波信道、微波信道等

    根据用户量:

    单用户信道:也称两端信道,该信道只有一个输入端和一个输出端,而且只能进行单方向的通信

    多用户信道:也称多端信道,输入端或者输出端至少有一端具有两个或者两个以上用户,并且可以实现双向通信

    根据输入、输出的取值特性:

    离散信道:也称为数字信道,该类信道中输入空间、输出空间均为离散事件集合,集合中事件数量是有限的,或者有限可数的,随机变量取值都是离散的

    连续信道:也称为模拟信道,输入空间、输出空间均为连续事件集合,集合中事件的数量是无限的、不可数的

    半离散半连续信道:输入空间、输出空间一个为离散事件集合,而另一个则为连续事件集合,即输入、输出随机变量一个是离散的,另一个是连续的

    波形信道:也称为时间连续信道,信道输入、输出都是时间的函数,而且随机变量的取值都取自连续集合,且在时间(或者空间)上的取值是连续的

    根据噪声的统计特性:

    随机差错信道:信道中传输码元所遭受的噪声是随机的、独立的,这种噪声相互之间不关联,码元错误不会成串出现。最具有代表性的是高斯白噪声信道

    突发差错信道:信道中噪声或者干扰对传输码元的影响具有关联性,相互之间不独立,从而使得码元错误往往成串出现。常有的如衰落信道、码间干扰信道。在实际中这种信道经常出现,如移动通信的信道、光盘存储器等

    单符号离散信道及其容量

    信道的输入符号之间、输出符号之间都不存在关联性,即无记忆的,信道的分析可以简化为对单个符号的信道分析。

    如果信道的输入、输出随机变量都是离散的,则该信道为单符号离散无记忆信道。

    单符号离散无记忆信道

    特性可以使用条件转移概率进行描述

    条件转移矩阵

    无噪(确定输入能确定输出):PY|X每行元素中只有一个1,其余值都为0        H(Y|X)=0  如:  

    有噪:至少一行有两个或者以上非0元素                 H(Y|X)!=0

     

    无损(确定输出能确定输入):PY|X每列元素中只有一为非0      ==>

    否则就是有损

     

    前向概率

    后向概率

    信道的信息传输率R(平均每个符号传送的信息量)

    信道容量C

         

    使得I(X;Y)最大,这种先验分布概率称为最佳分布

    信息量R必须小于信道容量C,否则传输过程中会造成信息损失,出现错误

    如果R<C成立,可以通过信道编码方法保证信息能够几乎无失真地传送到接收端;反之,信息出现差错概率不可能任意小,即不能实现几乎无失真编码

    对称离散通道

    输入对称离散信道:信道转移概率矩阵中所有行矢量都是第一行的某种置换,则称信道关于输入是对称的

    信道转移概率矩阵中每行矢量具有相同数量的相同的元素(即条件熵H(Y|X)与信道输入符号的分布无关。 )

                                                     

    输入对称离散信道计算容量

    输出对称离散信道

    如果信道转移概率矩阵中所有列矢量都是第一列的某种置换,则称信道关于输出是对称的,这种信道称为输出对称离散信道

      

    准对称信道和对称信道

    准对称信道:

    信道转移矩阵按列可以划分为几个互不相交的子集,每个子矩阵满足下列性质:
    (1) 每行都是第一行的某种置换;
    (2) 每列都是第一列的某种置换;

     

    特别地,当这种划分只有一个,该信道称为对称信道,此时信道既是输入对称的,也是输出对称的

                    

    对称信道的信道容量

    对称信道的信道容量只与信道的转移矩阵中的行矢量和输出符号集合的数量有关。如果希望信息传输率达到信道容量,信道输入应当满足等概率分布。

     

    对称离散信道计算容量

    --------------------------------------------------------------------------

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    展开全文
  • 信息论】信道与信道容量(一)

    万次阅读 2016-10-20 00:29:46
    第3章信道与信道容量 l 信道的数学模型及其分类 l 离散单个符号信道及其容量 l 离散序列信道及其容量 l 连续信道及其容量   一.信道的数学模型 1. 信道 信息传输的媒介或通道 ...

    第3章信道与信道容量

    l  信道的数学模型及其分类

    l  离散单个符号信道及其容量

    l  离散序列信道及其容量

    l  连续信道及其容量

     

    一.信道的数学模型

    1.        信道

    信息传输的媒介或通道

    2.        信道的主要问题

    a)        信道的建模:其统计特性的描述

    b)        信道传输信息的能力及其计算

    c)        有噪信道中能不能实现可靠才传输?怎么实现?

    3.        信道输入输出个数

    单用户、多用户

    4.        输入端和输出端关系

    无反馈、有反馈

    5.        噪声种类

    随机差错、突发差错

    6.        输入输出事件的时间特性和集合的特点

    a)        离散信道:输入、输出的时间、幅度上都离散

    b)        连续信道:幅度连续,时间离散

    c)        半连续:输入和输出一个离散一个连续

    d)        波形信道:输入和输出都是连续随机信号,时间连续,幅度连续

    7.        信道参数与时间的关系

    恒参、随参

    8.        按信道接入方式分

    a)        多元接入信道

    b)        广播信道

    9.        根据信道的记忆特性

    a)        无记忆信道:信道输出仅与当前的输入有关

    b)        有记忆信道:信道输出不仅与当前输入有关,还与过去的输入有关

    10.    信道参数

    1)        输入矢量X=(x1,x2,…,xi,…), 

    xi∈A={a1,a2,…,an}

    2)        输出矢量Y=(y1,y2,…,yi,…),

    yj∈B={b1,b2,…,bm}

    3)        信道参数

    a)        输入输出之间的统计依赖关系p(Y/X)


    b)        信道转移概率

    4)        本章介绍

    a)        无干扰信道

    b)        有干扰无记忆信道

    c)        有干扰有记忆信道

    二.信道

    1. 无干扰信道

    信道中不存在随机干扰或者随机干扰很小可以略去不计,信道的输出信号Y与输入信号X之间有确定的关系Y=f(X)。已知X后,确知Y,此时,转移概率为


    2. 有干扰无记忆信道

    (1).概念

    信道中存在随机干扰,输出符号与输入符号之间无确定的对应关系,但是,信道中任一时刻的输出符号仅统计依赖于对应时刻的输入符号


    无记忆:每个输出只与当前输入之间有转移概率关系,与其他非该时刻的输入、输出都无关

    问题简化

    不需要矢量形式,只需分析单个符号的转移概率p(yj/xi)即可

    (2).种类

    1)        二进制离散信道BSC


    输出比特仅与对应时刻的一个输入比特有关,与以前的输入比特无关


    2)        离散无记忆信道DMC(Discrete memoryless channel)

    对任意N长的输入、输出序列,有


    在任何时刻信道的输出只与此时的信道输入有关,而与以前的输入无关

    还满足

     

    即,转移概率不随时间变化,平稳的或恒参

    DMC的转移概率矩阵


    3)        离散输入、连续输出信道

    有限的、离散的输入符号集X∈{a1,a2,…,an},输出未经量化,实轴上的任意值Y∈{-∞, ∞}

    离散时间无记忆信道,其特性由离散输入X、连续输出Y、一组条件概率密度函数PY(y/X=ai)决定。

    特例:

    加性高斯白噪声AWGN信道Y=X+G

    G:白噪声,(0,σ2)

    当X=ai给定后,Y是一个均值为ai,方差为σ2的高斯随机变量

    4)        波形信道

    信道的输入输出:取值连续的一维随机过程{x(t)}和{y(t)},带宽受限fm 、观察时间受限tB

    离散化,L=2*fm* tB

    时间离散、取值连续的平稳随机序列X=(X1,X2,…,XL)和Y=(Y1,Y2,…,YL)

    波形信道→多维连续信道

    多维连续信道转移密度函数

       pY(y/x)=pY (y1,y2,…,yL/x1,x2,…,xL)


    Ø  考虑AWGN信道

    y(t)=x(t)+n(t) 信号和噪声相互独立

       pX,Y(x,y)=pX,n(x,n)=pX(x)*pn(n)


    信道的转移概率密度函数=噪声的概率密度函数


    Ø  说明:条件熵Hc(Y/X)是由噪声引起的,等于噪声熵Hc(n),所以它被称为噪声熵。

    Ø  主要讨论加性、高斯白噪信道

    3. 有干扰有记忆信道

    1)        实际信道

    2)        处理困难

    3)        处理方法

    4)        将以及很强的L个符号当矢量符号,各矢量符号间看成无记忆

    5)        将转移概率p(Y/X)看成Markov链的形式,记忆有限

    特例:二进制对称信道BSC


    信道的互信息量:

     

    二元对称信道的平均互信息为 

                        

    分析:

    a)        固定信道时的平均互信息

    当信道固定,即p为一个固定常数时,可得出I(X;Y)是信源分布的上凸函数


    对于固定的信道,输入符号集X的概率分布不同时,在接收端平均每个符号所获得的信息量就不同

    当输入符号为等概率分布时,平均互信息量I(X;Y)为最大值,这时,接收每个符号所获得的信息量最大。

    这是研究信道容量的基础

    b)       固定信源分布时的平均互信息

    当固定信源的概率分布时,则平均互信息I(X;Y)是信道特性p的下凸函数


    当二元信源固定后,改变信道特性p可获得不同的平均互信息 I

    p=0.5时,I(X;Y)=0。即在信道输出端获得的信息最小,这意味着信源的信息全部损失在信道中,这是一种最差的信道,其噪声最大

    这是信息率失真论的基础

    信道容量

    l  信道的信息传输率

    n  R=I(X;Y)=H(X)-H(X/Y)  比特/符号

    l  信息传输速率

    信道在单位时间内平均传输的信息量定义为信息传输速率

    Rt=I(X;Y)/t  比特/秒

    l  信道容量

    n  I(X;Y)的条件极大值

    n  单位:比特/符号(bits/symbol或bits/channel use)

    l  C的含义

    对于一个固定的信道,总存在一种信源概率分布,使传输每一个符号平均获得的信息量,即平均互信息I(X;Y)最大,而相应的概率分布p(x)称为最佳输入分布

    信道容量C仅与信道的统计特性有关,即与信道传递概率矩阵有关,而与信源分布无关

    平均互信息I(X;Y)在数值计算上表现为输入分布p(x)的上凸函数,所以存在一个使某一特定信道的信息量达到极大值信道容量C的信源。

    信道容量表征信道传送信息的最大能力。实际中信道传送的信息量必须小于信道容量,否则在传送过程中将会出现错误。

    l  几种特殊的信道


    无噪无损信道

    • XY一一对应

    • C=maxI(X;Y)=log n

    无噪有损信道

    • 多个输入变成一个输出:

    • C=maxI(X;Y)=maxH(Y)

    有噪无损信道

    • 一个输入对应多个输出

    • C=maxI(X;Y)=maxH(X)

     

    l  对称DMC信道的C

    对称DMC信道定义

    输入对称

    如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素),称该矩阵是输入对称

    输出对称

    如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素),称该矩阵是输出对称

    对称的DMC信道:输入、输出都对称

     

    展开全文
  • 陕西科技大学 信息论实验报告 信息论实验 信道容量计算 霍夫曼编码 算术编码
  • 文章目录4.1 信道与信道容量4.2 离散信道的信道容量4.3 信源与信道的匹配4.4 组合的信道4.5 连续信道的信道容量4.6 模拟信道的信道容量 4.1 信道与信道容量 无记忆信道指的信道转移的这个特性在每一时刻...

    学习要点:

    • 信道特性
    1. 基本概念
    2. 信道模型及分类
    3. 信道容量特性
    • 信道容量计算
    1. 离散信道容量
    2. 组合信道容量
    3. 连续及模拟信道容量

    4.1 信道与信道容量

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    无记忆信道指的信道转移的这个特性在每一时刻彼此是独立的。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    符号变为 mm 个的话,C=maxI(X;Y)=maxH(X)=logmC=\max I(X;Y)=\max H(X)=\log{m} bit

    在这里插入图片描述
    无噪声应该不等于无差错,因为假如两个不同的输入都以概率 11 映射到了同一个输出,那么也是产生了差错的。

    在这里插入图片描述
    这个例子很有意思。可以找到明确的译码方案来达到这个容量。

    4.2 离散信道的信道容量

    在这里插入图片描述
    离散无记忆信道(DMC,discrete memoryless channel)

    无记忆性:若某一时刻的输出仅和当时的输入有关,而与过去的输入和输出无关。

    在这里插入图片描述
    对于转移概率矩阵 QQ ,它的每一行的和都是 11 ,但是列和不一定是 11
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    其中 JJ 是输出字符集的大小,KK 是输入字符集的大小。

    额,这个证明我觉得可有可无,因为对称信道每一行是不同的排列,对于不同的输入字符,其输出的概率分布里的数值形成的集合是相同的,因此每一行的熵都相同,自然有 H(YX)=H(Yak)H(Y|X)=H(Y|a_k),其中 aka_k 为第 kk 个输入字符。

    然后 CC 在输出分布为均匀分布时取得。

    在这里插入图片描述
    在这里插入图片描述

    这个定理也很显然,对于对称信道,输出等概时,输入也是等概。我觉得这个证明写复杂了,对称信道每一行是不同的排列,每一列也是不同的排列,因此每一行的和是相同的,并且每一列的和也是相同的,也易知行和与列和都是 11,因此在输入等概时可以直接得出 H0=1JH_0=\dfrac{1}{J}

    在这里插入图片描述
    其中 KK 表示输入输出字符集大小,强对称信道中输入输出字符集的大小是一样的。

    在这里插入图片描述
    在这里插入图片描述
    现在就是通过调整输入分布,来得到最大的 I(X;Y)I(X;Y) ,也就是 I(p,Q)I(p,Q),从而得到信道容量。其中 pp 是输入分布,QQ 是转移概率矩阵。

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    这个可以稍微算一下:

    I(X=0;Y)=H(Y)H(YX=0)=2×38log3814log14(34log3414log14)=34 \begin{aligned} I(X=0;Y)&=H(Y)-H(Y|X=0)\\ &=-2\times\frac{3}{8}\log{\frac{3}{8}}-\frac{1}{4}\log\frac{1}{4}-(-\frac{3}{4}\log\frac{3}{4}-\frac{1}{4}\log\frac{1}{4})\\ &=\frac{3}{4} \end{aligned}

    剩下的不算了,道理一样的。
    在这里插入图片描述
    这个定理的意思是,假如我们现在找到了一个能够达到信道容量的最佳分布 pp^*,那么对于概率不为 00 的输入字符,其与输出字符的互信息必等于信道容量;假如该输入字符概率为 00 ,那么互信息必小于等于信道容量。

    互信息的公式要记一下:

    I(X;Y)=kjp(ak,bj)logp(ak,bj)p(ak)p(bj)=kjp(ak)q(bjak)logp(ak)q(bjak)p(ak)p(bj)=kjp(ak)q(bjak)logq(bjak)p(bj)=kp(ak)jq(bjak)logq(bjak)p(bj)=kp(ak)I(X=ak;Y)I(X=ak;Y)=jq(bjak)logq(bjak)p(bj) \begin{aligned} I(X;Y)&=\sum_k\sum_jp(a_k,b_j)\log\frac{p(a_k,b_j)}{p(a_k)p(b_j)}\\ &=\sum_k\sum_jp(a_k)q(b_j|a_k)\log\frac{p(a_k)q(b_j|a_k)}{p(a_k)p(b_j)}\\ &=\sum_k\sum_jp(a_k)q(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}\\ &=\sum_kp(a_k)\sum_jq(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}\\ &=\sum_kp(a_k)I(X=a_k;Y)\\ I(X=a_k;Y)&=\sum_jq(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}\\ \end{aligned}

    在这里插入图片描述
    额,这个求偏导的地方步骤写的很简略…

    g(p)p(ak)=p(ak)[i=1Kp(ai)j=1Jq(bjai)logq(bjai)p(bj)]μ=p(ak)[i=1Kp(ai)j=1Jq(bjai)logq(bjai)i=1Kp(ai)q(bjai)]μ=j=1Jq(bjak)logq(bjak)p(bj)+i=1Kp(ak)j=1Jq(bjak)p(ak)logq(bjak)i=1Kp(ai)q(bjai)μ=j=1Jq(bjak)logq(bjak)p(bj)i=1Kp(ak)j=1Jq(bjak)q(bjak)i=1Kp(ai)q(bjai)logeμ=j=1Jq(bjak)logq(bjak)p(bj)j=1Jp(bj)q(bjak)p(bj)logeμ=j=1Jq(bjak)logq(bjak)p(bj)j=1Jq(bjak)logeμ=I(X=ak;Y)p=plogeμ \begin{aligned} \frac{\partial g(p)}{\partial p(a_k)}&=\frac{\partial}{\partial p(a_k)}[\sum_{i=1}^Kp(a_i)\sum_{j=1}^Jq(b_j|a_i)\log\frac{q(b_j|a_i)}{p(b_j)}]-\mu\\ &=\frac{\partial}{\partial p(a_k)}[\sum_{i=1}^Kp(a_i)\sum_{j=1}^Jq(b_j|a_i)\log\frac{q(b_j|a_i)}{\sum_{i=1}^Kp(a_i)q(b_j|a_i)}]-\mu\\ &=\sum_{j=1}^Jq(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}+\sum_{i=1}^Kp(a_k)\sum_{j=1}^Jq(b_j|a_k)\frac{\partial}{\partial p(a_k)}\log\frac{q(b_j|a_k)}{\sum_{i=1}^Kp(a_i)q(b_j|a_i)}-\mu\\ &=\sum_{j=1}^Jq(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}-\sum_{i=1}^Kp(a_k)\sum_{j=1}^Jq(b_j|a_k)\frac{q(b_j|a_k)}{\sum_{i=1}^Kp(a_i)q(b_j|a_i)}\log{e}-\mu\\ &=\sum_{j=1}^Jq(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}-\sum_{j=1}^Jp(b_j)\frac{q(b_j|a_k)}{p(b_j)}\log{e}-\mu\\ &=\sum_{j=1}^Jq(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}-\sum_{j=1}^Jq(b_j|a_k)\log{e}-\mu\\ &=I(X=a_k;Y)|_{p=p^*}-\log{e}-\mu \end{aligned}

    重点就是分母上的 p(bj)p(b_j) 在求导的时候要展开。

    在这里插入图片描述
    妙啊。

    在这里插入图片描述
    在这里插入图片描述
    单调递减这个也很显然,把分母写开之后发现 p(ak)p(a_k) 在分母这里,一层层推出去就发现这玩意是单减的。

    在这里插入图片描述
    二元对称信道怎么搞都行,可以直接 C=maxI(X;Y)=maxH(Y)H(YX)=maxH(Y)H(ϵ)=1H(ϵ)C=\max{I(X;Y)=\max{H(Y)}-H(Y|X)}=\max{H(Y)}-H(\epsilon)=1-H(\epsilon)

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    等号在输出字符之间独立时取到(因为信道是无记忆的,所以输出字符独立要求输入字符独立)

    在这里插入图片描述
    在这里插入图片描述
    有记忆信道的结论和无记忆信道的结论中的不等号的方向是相反的。

    在这里插入图片描述
    在这里插入图片描述

    4.3 信源与信道的匹配

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    为啥这么复杂。。要我来的话:I(X;Y)I(X;Y) 关于 p(y)p(y) 上凸,因此极值点唯一。

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    4.4 组合的信道

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    这个和信道很有意思

    在这里插入图片描述
    在这里插入图片描述

    4.5 连续信道的信道容量

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    4.6 模拟信道的信道容量

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 信息论迭代算法,用MATLAB输入一个特性矩阵,然后得出一个值,得出信道容量
  • 用matlab软件编程,利用迭代算法计算信道容量
  • 求高斯信道的信道容量 信息论

    千次阅读 2018-03-27 21:08:10
    %一维二元高斯信道的信道容量xn=8000;%定义点数m1=0;m2=1;%信号参数sigma1=0.38;sigma2=0.5;%高斯噪声参数xmin=min([m1-5*sigma1,m2-5*sigma2]);xmax=max([m1+5*sigma1,m2+5*sigma2]);%定义域边界x=linspace(xmin,...

    clear,clc;

    %一维二元高斯信道的信道容量

    xn=8000;%定义点数

    m1=0;

    m2=1;%信号参数

    sigma1=0.38;

    sigma2=0.5;%高斯噪声参数

    xmin=min([m1-5*sigma1,m2-5*sigma2]);xmax=max([m1+5*sigma1,m2+5*sigma2]);%定义域边界

    x=linspace(xmin,xmax,xn+1);

    y1=(((2*pi)^(-0.5))/sigma1)*exp(-(x-m1).^2/(2*(sigma1^2)));

    y2=(((2*pi)^(-0.5))/sigma2)*exp(-(x-m2).^2/(2*(sigma2^2)));%信号受干扰后的概率密度分布函数

    a=(sigma2^2-sigma1^2)/(2*sigma1^2*sigma2^2);

    b=(2*m2*sigma1^2-2*m1*sigma2^2)/(2*sigma1^2*sigma2^2);

    c=(sigma2^2*m1^2-sigma1^2*m2^2)/(2*sigma1^2*sigma2^2)-log(sigma2/sigma1);%联立y1,y2解二次方程求阈值

    if a==0

        x4=c/b;%二次项系数为0

    else

        x4=(-b+sqrt(b^2-4*a*c))/(2*a);%二次项系数不为0

    end

    y4=(((2*pi)^(-0.5))/sigma1)*exp(-(x4-m1).^2/(2*(sigma1^2)));

    y5=[0 y1((xn+1-round(((xmax-x4)/(xmax-xmin))*xn)+1):1:xn+1)];

    t1=x(xn+1-round(((xmax-x4)/(xmax-xmin))*xn):xn+1);

    patch(t1,y5,[0.5 1 0.5]);%错误概率区域1绘制

    hold on;

    y6=[y2(1:round((abs(xmin-x4))*xn/(xmax-xmin))-1) 0];

    t2=x(1:round((abs(xmin-x4))*xn/(xmax-xmin)));

    patch(t2,y6,[1 0.8 0.8]);%错误概率区域2绘制

    plot(x,y1,'-g',x,y2,'-r',[x4 x4],[0 y4],'black');%概率密度曲线绘制

    xlabel('字符值','Rotation',0,'fontsize',16);

    ylabel('概率密度','Rotation',90,'fontsize',16);

    title('发送信息经过高斯信道');

    text(x4,y4,{[' \leftarrow阈值 x=',num2str(x4)];['             y=',num2str(y4)]},'fontsize',12);%阈值绘制

    dx=0.001;

    l=abs(x4-xmin);

    nd=round(l/dx);ff1=[];ff2=[];

    for i=1:nd

        f1=(((2*pi)^(-0.5))/sigma1)*exp(-((i*dx-abs(xmin))-m1).^2/(2*(sigma1^2)));

        f2=(((2*pi)^(-0.5))/sigma2)*exp(-((i*dx-abs(xmin))-m2).^2/((2*sigma2^2)));

        ff1(i)=f1*dx;

        ff2(i)=f2*dx;

    end

    I1=sum(ff1);

    I2=1-I1;

    I3=sum(ff2);

    I4=1-I3;

    Py_x=[I1 I2;I3 I4];%通过积分解得信道概率转移矩阵

    [m,n]=size(Py_x);

    Ix=[];Cxy=[];b2=[];

    for t=1:999

        b2(1)=t*0.001;

        b2(2)=1-b2(1);%先验概率

        Px=b2';

        [m2,n2]=size(Px);

    for i=1:m

        Ix(i,1)=Px(i,1)*(-log2(Px(i,1)));%自信息量

    end

    Hx=sum(Ix);%先验信息熵

    Iy_x=[];Pxy=[];

    for j=1:m

        for i=1:n

            Pxy(j,i)=Px(j,1)*Py_x(j,i);%条件概率

            Iy_x(j,i)=Pxy(j,i)*(-log2(Py_x(j,i)));

            I3(j,i)=Pxy(j,i)*(-log2(Pxy(j,i)));

        end

    end

    Hy1x=sum(sum(Iy_x));

    Hxy=sum(sum(I3));%联合熵

    Py=sum(Pxy);Iy=[];

    for i=1:n

        Iy(i)=Py(i)*(-log2(Py(i)));

    end

    Hy=sum(Iy);

    Hx1y=Hxy-Hy;

    Ixy=Hy-Hy1x;%互信息

    Cxy(t)=Ixy;

    end

    [Cn Cm]=max(Cxy);%找到互信息的最大值即信道容量

    C=Cn;

    fprintf("信道容量为:"+C)


    展开全文
  • 信息论初级——离散信道及信道容量——2020.11.12 目录: 一、信道的分类以及数学模型 二、平均互信息 三、平均互信息的特性 四、信道容量以及其一般计算方法 五、离散无记忆拓展信道,独立并联信道,串联信道 六、...
  • Chapter 2 大规模MIMO系统信息论基础及信道容量分析
  • 信息论与编码PPT\第3章信道与信道容量.ppt
  • 信息论与编码课程大作业 题 目 信道容量的迭代算法 学生姓名 学 号 2010020200 专业班级 10电子信息工程 2013年5 月 18日 信道容量的迭代算法 1信道容量的迭代算法的步骤 (k)用了 matlab实现DMC容量迭代的算法如下: ...
  • (1) 已知:信源符号个...(3)输出:最佳信源分布,信道容量 所用的迭代算法如下: 实验结果: (1)无噪声二院信道的信道容量计算: (2)无重叠输出的有噪二元信道的信道容量计算: (3)离散单个符号信道
  • 不完全信道状态信息条件下MIMO信道容量分析,张倩倩,王中苓,本文在了解了无线MIMO系统模型的基础上,针对在信道估计有误差的情况下,把信道估计误差和信道噪声作为等效噪声得到等效噪声方差��
  • 信息论C信道容量的迭代计算编程,完全可用
  • 信道容量的迭代算法实验目的熟悉信道容量的迭代算法; 学习如何将复杂的公式转化为程序;实验要求已知:信源符号个数r,新宿符号份额数s、信道转移概率矩阵p; 输入:任意的一个信道转移概率矩阵。r、s、p在运行时...
  • 信息论-离散信道及其容量笔记

    千次阅读 2017-04-18 22:10:49
    1. 信道容量信息能够可靠传输的最大传输速率。信道容量定义为信道输入与输出平均互信息的最大值。信道容量仅于信道特性,信道转移概率有关,与信道输入无关。但是信道输入概率必须与信道容量进行匹配才能达到容量...
  • PAGE PAGE 4 信道容量的迭代算法 1信道容量的迭代算法的步骤 一用了matlab实现DMC容量迭代的算法如下 第一步首先要初始化信源分布即选取一个精度本次中我选deta=0.000001 第二步 第三步 第四步 第五步 若则执行k=k+1...
  • 信息论-matlab求信道容量(迭代法)

    万次阅读 2012-11-30 13:32:27
    %%以习题3-3中信道为例,求解其信道容量 clc; clear all; P_YX=[0.98 0.02; 0.02 0.98];%信道的转移概率矩阵 e=0.000001;%停止迭代的容差限 C1=1;C=0;N=0; r=size(P_YX); P_X=ones(1,r(1))/r(1); %迭代求解 while ...
  • 文章目录帮助理解信道和信源求解匹配信源分布特性和相应信道容量对称信道连续信源 无记忆信道:信道输出的每个符号只与当前输入的符号有关,而于过去和未来的符号无关。 帮助理解信道和信源 离散信道模型可简单地...
  • 严格的证明请参考Tomas M.Cover的Elements of Information Theory中定理7.7.1信道编码定理的证明。 为了说明,我们首先引入典型集(typical set)的概念。典型集是对于i.i.d序列X^n, 满足下列概率关系: 的序列...
  • 本篇是学习信息论的入门笔记,希望能与各位分享进步!这是第五章:信道容量~
  • 3 章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为 2/ 3 1/ 3 1/ 3 2/ 3 解 : (1) 若 P( a1 ) 3/ 4, P(a2 ) 1/ 4 求 H ( X , H (Y, H ( X | Y , H (Y | X ) 和 I ( X ;Y ) 2 3 3) 1 log( 1 ) 0.8113(bit...
  • 大学课程\信息论与编码\第三章 信道容量 课后答案
  • 信息论相关编码算法程序C语言版(哈夫曼编码、算术编码、信道容量迭代算法),完全可运,供大家参考。
  • } //计算信道容量 public static void Cal_All(double[][] arr,int n,int m) { double part1 = log(Double.valueOf(m)); double part2 = 0; for(int i=0;i;i++) { part2 += arr[0][i]*log(arr[0][i])...

空空如也

空空如也

1 2 3 4 5 ... 12
收藏数 237
精华内容 94
关键字:

信息论信道容量