精华内容
下载资源
问答
  • 我想使用Scipy拟合对数正态分布。我之前已经使用Matlab来完成它,但由于需要将应用程序扩展到统计分析之外,我正在试图在Scipy中重现拟合值。拟合对数正态分布使用Scipy与Matlab下面是Matlab代码我用适合我的数据:%...

    我想使用Scipy拟合对数正态分布。我之前已经使用Matlab来完成它,但由于需要将应用程序扩展到统计分析之外,我正在试图在Scipy中重现拟合值。拟合对数正态分布使用Scipy与Matlab

    下面是Matlab代码我用适合我的数据:

    % Read input data (one value per line)

    x = [];

    fid = fopen(file_path, 'r'); % reading is default action for fopen

    disp('Reading network degree data...');

    if fid == -1

    disp('[ERROR] Unable to open data file.')

    else

    while ~feof(fid)

    [x] = [x fscanf(fid, '%f', [1])];

    end

    c = fclose(fid);

    if c == 0

    disp('File closed successfully.');

    else

    disp('[ERROR] There was a problem with closing the file.');

    end

    end

    [f,xx] = ecdf(x);

    y = 1-f;

    parmhat = lognfit(x); % MLE estimate

    mu = parmhat(1);

    sigma = parmhat(2);

    而这里的拟合图:

    nFA9L.png

    现在,这里是我的Python代码实现同样的目的:

    import math

    from scipy import stats

    from statsmodels.distributions.empirical_distribution import ECDF

    # The same input is read as a list in Python

    ecdf_func = ECDF(degrees)

    x = ecdf_func.x

    ccdf = 1-ecdf_func.y

    # Fit data

    shape, loc, scale = stats.lognorm.fit(degrees, floc=0)

    # Parameters

    sigma = shape # standard deviation

    mu = math.log(scale) # meanlog of the distribution

    fit_ccdf = stats.lognorm.sf(x, [sigma], floc=1, scale=scale)

    下面是使用Python代码的配合。

    mDxHE.png

    正如你看到的,代码两套能够产生良好的配合,至少在视觉上来讲的。

    问题是估计参数mu和sigma存在巨大差异。

    来自Matlab:mu = 1.62 sigma = 1.29。 Python:mu = 2.78 sigma = 1.74。

    为什么会有这样的差异?

    注意:我已经仔细检查过两套数据都是正确的,一样。分数相同,分布相同。

    非常感谢您的帮助!提前致谢。

    其他信息:

    import scipy

    import numpy

    import statsmodels

    scipy.__version__

    '0.9.0'

    numpy.__version__

    '1.6.1'

    statsmodels.__version__

    '0.5.0.dev-1bbd4ca'

    Matlab的版本是R2011b。

    版:

    正如下面的回答证明,故障在于SciPy的0.9。我能够使用Scipy 11.0从Matlab重现mu和sigma结果。

    一个简单的方法来更新您的SciPy的是:

    pip install --upgrade Scipy

    如果你不具备PIP(你应该!):

    sudo apt-get install pip

    2013-03-26

    Mike

    +1

    看看这两组数据点,它们看起来相当不同(例如,比较右下角蓝色圆圈的位置)。如果数据不相同,则没有理由认为适合。 –

    2013-03-26 06:29:18

    +0

    两组数据*完全相同。我已经彻底检查过,以确保事实并非如此。这些图显示略有不同,因为我用来在Matlab中绘制的代码是非库代码。无论如何,要点是所拟合的数据完全相同,因此它们应该产生相同的平均值和标准偏差值。 –

    2013-03-26 06:40:59

    +0

    我很抱歉,但我不买这个(除非情节是关闭的)。只是直观地比较两个图上最右边的点的横坐标,看看它们是*非常*不同。如果您肯定数据是相同的,请将它与您用于将其读入Python和MATLAB的代码一起包含它。 –

    2013-03-26 06:44:34

    展开全文
  • 概率密度函数在概率论与统计学中,对数正态分布是对数为正态分布的任意随机变量的概率分布。如果 XX 是正态分布的随机变量,则 exp(X)exp(X) 为对数正态分布;同样,如果Y Y 是对数正态分布,则 ln(Y)ln(Y) 为正态...

    这块儿我是真的没听说过,所以直接抄了维基百科,维基万岁!

    概率密度函数

    在概率论与统计学中,对数正态分布是对数为正态分布的任意随机变量的概率分布。如果 X 是正态分布的随机变量,则 exp(X)为对数正态分布;同样,如果Y是对数正态分布,则 ln(Y)为正态分布。 如果一个变量可以看作是许多很小独立因子的乘积,则这个变量可以看作是对数正态分布。一个典型的例子是股票投资的长期收益率,它可以看作是每天收益率的乘积。 对于 x>0,对数正态分布的概率密度函数为:

    f(x;μ,σ)=1xσ2πe(lnxμ)2/2σ2

    其中 μσ分别是变量对数的平均值与标准差。
    推导过程:概率微分不变性。
    一个正的随机变量 x是对数正态分布,当且仅当x是正态分布。那么:
    N(lnx;μ,σ)=1σ2πexp[(lnxμ)22σ2].

    利用概率微分不变性,有
    N(lnx)dlnx=N(lnx)dlnxdxdx=N(lnx)dxx=lnN(x)dx,
    ,
    其中,
    lnN(x;μ,σ)=1xσ2πexp[(lnxμ)22σ2],  x>0

    是对数正态分布函数。

    期望和方差:

    期望为

    E(X)=eμ+σ2/2

    方差为
    var(X)=(eσ21)e2μ+σ2.

    给定期望值与方差,也可以用这个关系求μσ:
    μ=ln(E(X))12ln(1+var(X)E(X)2),

    σ2=ln(1+var(X)E(X)2).

    注意:已知变换后的数据的统计特征可以反过来推导出原始数据的统计特征,不存在数据信息的损失(可以看到对数转换后变量的均值可以直接由样本数据的均值得到,但不进行变化却需要由样本均值方差两方面去推断得到),也可以发现对数正态分布实际上是对数据进行了对数变化,从而变成了正态分布,这样更加方便的得到了相关的统计学变量。

    局部期望

    随机变量 X在阈值k上的局部期望定义为

    g(k)=k(xk)f(x)dx

    其中f(x)是概率密度。对于对数正态概率密度,这个定义可以表示为
    g(k)=exp(μ+σ2/2)Φ(ln(k)+μ+σ2σ)kΦ(ln(k)+μσ)

    其中 Φ 是标准正态部分的累积分布函数。对数正态分布的局部期望在保险业及经济领域都有应用,著名的Black-Scholes期权定价公式便可由此推导出。

    相关分布(与高斯分布的关系)

    如果 Y=ln(X)Y=ln(X)XLog-N(μ,σ2),则 YN(μ,σ2)是正态分布。
    如果XmLog-N(μ,σ2m), m=1...n¯¯¯¯¯¯¯是有同样 μ 参数、而 σ 可能不同的统计独立对数正态分布变量 ,并且 Y=m=1nXm,则 Y 也是对数正态分布变量: YLog-N(nμ,m=1nσ2m)

    这是因为在高斯分布求和的分布性质。

    在股票中的应用

    对数正态分布一般被用来描述增长率。比如股票指数,假设今天标普从2000点涨到了2020,相比于n年前的某一天它从100点涨到101点,虽然今天上涨了20点,远高于另一天上涨的1点,但这两天的上涨率是相同的(1%)。
    至于为什么要取对数log(x2/x1),而不是直接用x2/x1,看一眼对数曲线就明白了。(x1,x2分别表示第一天和第二天的股指)。
    它有几个很好的性质:
    1.假如增长率不变,那么log(1)=0,位于正态分布的中央
    2.log(1/a) = -log(a),也就是说股票在一段时间内涨到两倍和跌一半的概率是一样的
    3.x为正(股指永远不会为负值),y值能取正无穷到负无穷。

    展开全文
  • 进一步研究具有对数正态分布的alpha序列过程中三个重要参数2,,的统计性质进而能更好地研究alpha序列过程中的一些统计推断问题,分别采用基于最小二乘估计法的非参数推断方法以及基于最大似然估计法的参数推断方法,...
  • 应用对数正态分布函数描述了VFD寿命分布,利用最小二乘法(LSM)估计出均值和标准差,完成了恒定及步进应力温度试验数据的统计和分析,并自行开发了寿命预测软件。数值结果表明,该试验方案是正确可行的,VFD的寿命服从对数...
  • 这一次我将使用简单的语言,使用实例的方式展示对数正态分布在数学建模比赛中的应用。 正态分布物理意义 我们先从正态分布的物理意义说起,虽然大家可能都知其公式,但是对其物理意义并没非常深刻的理解。简而言之...

    最近闲暇时间很多,正好也可以收集整理一些之前学习的资料,还有自己的一些经验供大家参考。这一次我将使用简单的语言,使用实例的方式展示对数正态分布在数学建模比赛中的应用。

    正态分布物理意义

    我们先从正态分布的物理意义说起,虽然大家可能都知其公式,但是对其物理意义并没非常深刻的理解。简而言之,正态分布的物理意义是——“正态分布是由大量的、由种种原因产生的元误差叠加而成的”。其中常常在书中拿来被举例的就是著名的高尔顿板:

    对于每一个下落的小球来说,每一次撞到钉子,都有0.5的概率去左边,0.5的概率去右边。而在下落时有会撞到很多钉子;钉子与钉子之间也没有任何关系。所以最后的下落的整体趋势呈现出正态分布。

    对数正态分布

    但是现实往往是复杂的,这体现在许多事情都有蛛丝马迹的联系。以国家的GDP为例,各个国家的GDP种类与许多因素(元误差)相关,比如人口数量、科技水平、平均受教育程度、拥有资源(自然资源与人文资源)、所处的地理位置等等因素。

    但是这些造成GDP差异的因素之间存在千丝万缕的关系。譬如说科技水平高的地区,相对更重视教育,所以平均人口素质较高;平均人口素质高了之后又可能会提升资源利用率,也可以创作出新的资源(这里只如文学作品,电影等等,可以参考文明6电影工厂加繁荣加旅游业绩);有了更多的资源又能进一步提升平均素质。总的来说这些因素间呈现相互促进的关系。

    而一旦这些元误差(因素)相互促进,那么最后的结果就会呈现对数正态分布,而且吊车尾越长说明元误差间的相互作用更大,下面以世界银行统计的各个国家2018年的GDP(这一年统计的相对比较全面)为例具体说明:

    可以看到有统计数据的244个国家与地区中,GDP较小的后220个国家几乎一直贴地,并看不出来符合何种统计分布

    可以看到有统计数据的244个国家与地区中,GDP较小的后220个国家几乎一直贴地,并看不出来符合何种统计分布。

    对GDP取对数后看,已经很符合正态分布了

    后面吊车尾太长了,画不下QRZ

    可以看出有正态分布的味了

    当然各个国家GDP的分布波动很厉害,这也是社会学统计的正常现象,如果用理想实验来说明最后的拟合效果会好很多。

    对数正态分布试用范围

    对数正态分布比较常见在社会学分析之中。判断应该使用正态分布还是对数正态分布只需把握最关键的一个标准,即:如果导致这个数据产生差异的元误差是相互独立或者近似独立的,那么使用正态分布;如果元误差之间是相互作用的,则使用对数正态分布。

     

     

     

    展开全文
  • 对数正态分布(logarithmic normal distribution)是指一个随机变量的对数服从正态分布,则该随机变量服从对数正态分布对数正态分布从短期来看,与正态分布非常接近。但长期来看,对数正态分布向上分布的数值更...

    “对数正态分布(logarithmic normal distribution)是指一个随机变量的对数服从正态分布,则该随机变量服从对数正态分布。对数正态分布从短期来看,与正态分布非常接近。但长期来看,对数正态分布向上分布的数值更多一些。”






    展开全文
  • 拉丁超立方抽样-对数正态分布0、拉丁超立方抽样的理论基础1、导入库和基本准备2、生成(具有对数正态分布的随机变量)参数的随机数3、将生成的随机数输出到Excel中4、将生成的随机数输出到图像中5、代码肯定可以实现...
  • 导出了对数正态分布场合下恒定应力加速寿命中含有缺失定数截尾样本的近似极大似然估计(AMLE),得到了分布参数和加速方程中未知参数的AMLE的显式解,便于实际计算和工程应用,数值模拟的结果表明本方法可行。
  • 本文研究了垄断卖方应如何为买方具有对数正态分布的支付意愿(WTP)的三级价格歧视应用程序确定最优的定价变量集(定价指标)。 在非常类似于线性回归和概率回归的设置中,本文表明,当垄断卖方被限制使用一种度量...
  • 已经开发了以下代码和过程,以提供一个简单且完整的工具,用于从xls表格数据开始,根据对数正态分布和幂律分布自动实现对象拟合频率数据的自动化。 该程序使用外部资源对幂律分布进行拟合代码,我们将给出参考。 ...
  • 对数正态分布(Log-Normal Distribution)

    万次阅读 多人点赞 2017-11-01 16:02:07
    2017.11.1 人要有发耻心和羞耻心,突然想到了这么一句话,MARK一个博客困惑了...- 相关分布快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl + Q 插入链接 Ctrl + L 插入代码 Ctrl + K 插入图片 Ctrl + G 提升标题 Ctrl
  • 最近由于项目需求,需要c#编程实现...1·确定参数的一个数据分布和决定模拟次数,在服从该分布的情况下产生N个随机数。 2·将每次产生的随机数,带入表达式中算出结果,这样可以得到N个结果。 3·用统计方法把N...
  • 正态分布(高斯分布)

    万次阅读 多人点赞 2018-11-09 15:54:21
    正态分布 概要 历史 正态分布的定义 概率密度函数 累积分布函数 生成函数 性质 动差或矩(moment) 中心极限定理 无限可分性 稳定性 标准偏差 相关分布 参量估计 参数的极大似然估计 计量误差 参考...
  • 可以应用变量变换的方法,将不服从正态分布的资料转化为非正态分布或近似正态分布。常用的变量变换方法有对数变换、平方根变换、倒数变换、平方根反正玄变换等,应根据资料性质选择适当的变量变换方法。1、对数变换 ...
  • 本文将阐述正态分布的概率,并解释它的应用为何如此的广泛,尤其是在数据科学和机器学习领域,它几乎无处不在。我将会从基础概念出发,解释有关正态分布的一切,并揭示它为何如此重要。▲1893 年人类身高分布图,...
  • 作者 | Farhad Malik译者 | Monanfei责编 | 夕颜出品 | AI科技大本营(ID: rgznai100)为什么正态分布如此特殊?为什么大量数据科学和机器学习的...本文将阐述正态分布的概率,并解释它的应用为何如此的广泛,尤其是在...
  • 作者 | Farhad Malik译者 | Monanfei责编 | 夕颜出品 | AI科技大本营(ID: rgznai100)为什么正态分布如此特殊?为什么大量数据科学和机器学习的...本文将阐述正态分布的概率,并解释它的应用为何如此的广泛,尤其是在...
  • 正态分布(Normal distribution)又名高斯分布(Gaussian distribution),是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力。 若随机变量X服从一个数学期望为μ、标准...
  • 正态分布高斯分布泊松分布For detailed implementation in python check my GitHub repository. 有关在python中的详细实现,请查看我的GitHub存储库。 介绍 (Introduction) Some machine learning model like ...
  • 正态分布 高斯分布(数学)

    千次阅读 2020-04-26 20:57:49
    正态分布(Normal distribution),也称高斯分布(Gaussian distribution) ... 4正态分布应用 5数据正态分布检验 Q-Q图[1] 6参考文献 [编辑] 什么是正态分布  正态分布是一种概率分布...
  • 与离散型随机变量相对,连续...正态分布可能是定量研究工作中应用最广泛的连续概率分布。它在现代投资组合理论和许多风险管理技术中发挥着关键作用。因为它有很多用途,所以是投资专业人士必备知识。正态分布在统...
  • 大千世界随机现象众多,其分布各异。按数据变量类型划分可以分为离散型与连续性两类:离散型变量根据名称很好理解,就是数据的取值是不连续的。例如掷硬币就是一个典型的离散数据,因为抛硬币的就2种结果。你可以把...
  • 正态分布

    2014-12-16 16:41:00
    正态分布 绿线代表标准正态分布 概率密度函数 颜色与概率密度函数同 累积分布函数 参数 数学期望(实数)方差(实数) 支撑集 概率密度函數 累积分布函数 ...
  • 概率论:高斯/正态分布

    万次阅读 多人点赞 2015-10-30 20:31:21
    正态分布(高斯分布) 若随机变量X服从一个数学期望为μ、方差为σ^2的高斯分布,记为N(μ,σ^2)。其概率密度函数为正态分布的期望值μ决定了其位置,其标准差σ决定了分布的幅度。 正态随机变量概率密度函数 ...
  • 文章目录正态分布 Normal distribution正态分布相关数据构造正态分布相关图像绘制正态分布概率密度函数图像绘制正态分布累计概率密度函数图像绘制正态分布检验直方图初略判断Shapiro-...-Darling 检验对数正态分布...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,902
精华内容 3,160
关键字:

对数正态分布的应用