核密度分析工具用于计算要素在其周围邻域中的密度。此工具既可计算点要素的密度，也可计算线要素的密度。
 
　　核密度分析可用于测量建筑密度、获取犯罪情况报告，以及发现对城镇或野生动物栖息地造成影响的道路或公共设施管线。可使用 population 字段根据要素的重要程度赋予某些要素比其他要素更大的权重，该字段还允许使用一个点表示多个观察对象。例如，一个地址可以表示一栋六单元的公寓，或者在确定总体犯罪率时可赋予某些罪行比其他罪行更大的权重。对于线要素，分车道高速公路可能比狭窄的土路产生更大的影响，高压线要比标准电线杆产生更大的影响。
 
点要素的核密度分析
 
　　核密度分析用于计算每个输出栅格像元周围的点要素的密度。
 
　　概念上，每个点上方均覆盖着一个平滑曲面。在点所在位置处表面值最高，随着与点的距离的增大表面值逐渐减小，在与点的距离等于搜索半径的位置处表面值为零。仅允许使用圆形邻域。曲面与下方的平面所围成的空间的体积等于此点的 Population 字段值，如果将此字段值指定为 NONE 则体积为 1。每个输出栅格像元的密度均为叠加在栅格像元中心的所有核表面的值之和。核函数以 Silverman 的著作(1986 年版，第 76 页，方程 4.5)中描述的二次核函数为基础。
 
　　如果 population 字段设置使用的是除 NONE 之外的值，则每项的值用于确定点被计数的次数。例如，值 3 会导致点被算作三个点。值可以为整型也可以为浮点型。
 
　　默认情况下，单位是根据输入点要素数据的投影定义的线性单位进行选择的，或是在输出坐标系环境设置中以其他方式指定的。如果选择的是面积单位，则计算所得的像元密度将乘以相应因子，然后写入到输出栅格。
 
　　例如，如果输入单位为米，则输出面积单位将默认为平方千米。将以米和千米为单位的单位比例因子进行比较，将得到相差 1,000,000(1,000 米 x 1,000 米)倍的值。
 
　　增大半径不会使计算所得的密度值发生很大变化。虽然更大的邻域内将包含更多的点，但计算密度时点数将除以更大的面积。更大半径的主要影响是计算密度时需要考虑更多的点，这些点可能距栅格像元更远。这样会得到更加概化的输出栅格。
 
线要素的核密度分析
 
　　核密度分析还可用于计算每个输出栅格像元的邻域内的线状要素的密度。
 
　　概念上，每条线上方均覆盖着一个平滑曲面。其值在线所在位置处最大，随着与线的距离的增大此值逐渐减小，在与线的距离等于指定的搜索半径的位置处此值为零。由于定义了曲面，因此曲面与下方的平面所围成的空间的体积等于线长度与 Population 字段值的乘积。每个输出栅格像元的密度均为叠加在栅格像元中心的所有核表面的值之和。用于线的核函数是根据 Silverman 著作中所述的用于计算点密度的二次核函数改编的。
 
　　
 

 
 
 
　　上图显示的是一条线段与覆盖在其上方的核表面。线段对密度的影响等同于栅格像元中心处核表面的值对密度的影响。
 
　　默认情况下，单位是根据输入折线 (polyline) 要素数据的投影定义的线性单位进行选择的，或是在输出坐标系环境设置中以其他方式指定的。
 
　　指定输出面积单位因子后，它会转换长度单位和面积单位。例如，如果线性单位是米，则输出面积单位将默认为平方千米而所得到的线密度单位将转换为千米/平方千米。将以米和千米为单位的面积比例因子相比较，最终结果将是相差 1,000 核密度分析,密度,倍的密度值。
 
　　您可以通过手动选择相应的因子来控制密度单位。要将密度单位设置为米/平方米(而不是默认的千米/平方千米)，请将面积单位设置为平方米。同样，若要将输出的密度单位设置为英里/平方英里，请将面积单位设置为平方英里。
 
　　如果 population 字段使用的是除 NONE 之外的值，则线的长度将由线的实际长度乘以此线的 population 字段的值而得出。

 
 
 
文章目录
 
 

  
 一、密度分析原理
  
 二、点密度分析
  
三、线密度分析
  
 四、核密度分析
 
 
 
 
 
 一、密度分析原理
 
密度分析是指根据输入的要素数据集计算整个区域的数据聚集状况，从而产生一个联系的密度表面。通过密度计算，将每个采样点的值散步到整个研究区域，并获得输出栅格中每个像元的密度值。例如，每个镇都可以用一个点值来表示该镇的人口数，但是并非所有人都聚居在该点上，若想了解人口随地区分布的情况，可通过密度计算来得到一个显示地表人口分布状况的表面。
 
 
 
 
注意事项ÿ

线性回归模型的参数求解
 

 上篇9号博文已经解释过了。
 
1. 线性回归模型中的误差与分布
 
接下来，我们来看一下线性回归模型中的误差。正如我们之前所提及的，线性回归解释的变量（现实中存在的样本），是存在线性关系的。然而，这种关系并不是严格的函数映射关系，但是，我们构建的模型（方程）却是严格的函数映射关系的，因此，对于每个样本来说，我们拟合的结果会与真实值之间存在一定的误差，我们可以将误差表示为：
 

 这就是误差值公式。其中，${\epsilon }^{(i)}$表示每个样本与实际值之间的误差。
 
由于每个样本的误差$\epsilon$是独立同分布的，根据中心极限定理，$\epsilon$服从均值为0，方差为${\sigma }^2$的正态分布。
 
因此，根据正态分布的概率密度公式：
 
 不能保证所有的预测跟真实值之间都是正确的，因为现实数据也有噪声。
 
1.1 why 所有的样本的权重值都是一样 ?
 
我们所有的样本的权重值都是一样。eg. 不管房间面积是什么，w都是统一的，也就是房的单价都是一样的。w下标没有i ，也是因为对所有样本都一样。
 
y_hat就是预测值，y是真实值。
 每一个样本对应一个不同的误差, 对于每一个样本误差都是不同的。第一个样本的第一个特征，得到一个预测值。
 
1.2 why 每个样本的误差$\epsilon$是独立同分布的 ?
 
误差就是加上一个epsilon ，可能是正的，可能是负的，就是一个误差项。误差跟误差之间，都是独立的，每一个样本都是独立的。
 
eg. 预测房价的时候。一楼的房价与二楼的房价是没有关系的。
 
误差分布情况是独立的，进行的任务都是同一个任务，同一个任务带来的分布都是同分布的。
 
服从中心极限定理，指的是随机变量x之间独立同分布，那么这些变量求和就服从正态分布。
 误差可能全都预测大吗？有比样本误差大，有比样本误差小的。
 这样有多，有少，均值为0
 
sigma平方，爱是是多少多少。
 
2. 解释误差的正态分布的概率密度公式：
 
 
epsilon = 真实值yi - 预测值y_hat ( 也就是WtXi)，带入概率密度公式。
 前面是exp，就是常数 e 2.7
 epsilon的平方 其实是epsilon - 0的平方，就是减去均值，因为均值为0，底下是2倍 sigma 的平方。
 epsilon让它取值非常非常大，之前e的指数图像画过，右边上的越来越快。epsilon误差越来越大。
 前面有负号。
 exp指数图像就趋向于负的，exp越来越小，exp的负无穷，趋近于 0。准确值概率P越来越小。
 epsilon误差不能出现负数，epsilon如果是0，e的0次方就是1，趋向于1
 
随着epsilon增长 右边 接近于0 变小。我们希望越小越好
 那我们换一种方式表达:
 
 根据
 
 有
 
 
左边这块，怎么也变了？
 不用纠结于符号，之所以可以变，意义相同
 
我们希望epsilon 越小越好，epsilon 越小，准确值概率P大
 
 分号后面的w，表示以w作为参数，后面也有。
 前面这个 以 xi作为前提，获取yi的概率。
 
输入xi 输出yi的概率，只有epsilon误差越小 越接近yi。如果误差为0 误差值就和真实值相等。
 
右侧完全相同，左侧表示 epsilon误差越小 p概率越大 yi ，实际值和预测值y_hat接近，
 期望右边的越大，p概率越大，误差越小。
 
 给定xi 期望得到 yi 实际值
 
 epsilon越小 x(i)越接近实际值y(i)
 
 
2.1 解释刚才用到的中心极限定理（骰子）
 
eg. 举骰子的例子。1点到6点，呈均匀分布，这3个骰子都是同分布（均匀分布）。同时，3个骰子之间都是独立，那么这3个骰子点数相加的和服从正太分布。
 3粒骰子 求和可能取的值 是3到18。3到18的分布就是正太分布。
 
骰子点数Why服从正太分布？
 穷尽可能：
 加入打出 3点 三个骰子都是 1点，打出 18点 三个骰子都是6点，这种组合少。
 如果要想打出4点，这种组合就多了 。
 如果我们想打出5点，组合更多。
 随着点数越来越多，到达中心越来越多，随后降下来。
 总而言之，就是两边的可能性最小
 
 
2.2 证明中心极限定理（with codes）
 
注意：用python写也可以，但不如numpy，因为python不能矢量化计算。
 
取1到6的值，求和sum
 最小的是3 到18之间 不可能是0
 
最后画出图，也可以画直方图。BUT直方图是离散的。关于概率密度图，画连续的最好。所以可视化还是比较有意义的。
 
# 掷骰子 三粒 取值3-18

# 中心极限定理
# 如果随机变量X (x1, x2, x3.......)是独立分布的，则变量之间的和是服从正太分布的

import numpy as np
import pandas as pd

result = []
for i in range(10000):
    array = np.random.randint(1, 7, size=3)
    result.append(np.sum(array))

s = pd.Series(result)
s.plot(kind='kde')
 
 
3. 数学知识补充
 
3.1 中心极限定理
 
中心极限定理以及其和大数定律的区别
 
当样本量N逐渐趋于无穷大时，N个抽样样本的均值的频数逐渐趋于正态分布，其对原总体的分布不做任何要求，意味着无论总体是什么分布，其抽样样本的均值的频数的分布都随着抽样数的增多而趋于正态分布
 
 
这个正态分布的u会越来越逼近总体均值，并且其方差满足a^2/n，a为总体的标准差，注意抽样样本要多次抽取，一个容量为N的抽样样本是无法构成分布的。
 
3.2 中心极限定理和大数定律的区别
 
下面援引一段知乎上的回答：https://www.zhihu.com/question/48256489/answer/110106016
 
大数定律
 
n只要越来越大，我把这n个独立同分布的数加起来去除以n得到的这个样本均值（也是一个随机变量）会依概率收敛到真值u，但是样本均值的分布是怎样的我们不知道。
 
区分
 
综上所述，这两个定律都是在说样本均值性质。随着n增大，大数定律说样本均值几乎必然等于均值。中心极限定律说，他越来越趋近于正态分布。并且这个正态分布的方差越来越小。
 
直观上来讲，想到大数定律的时候，你脑海里浮现的应该是一个样本，而想到中心极限定理的时候脑海里应该浮现出很多个样本。
 
3.3 正态分布的概率密度函数
 
正态分布的概率密度函数均值为μ，方差为σ^2 (或标准差σ)是高斯函数的一个实例：
 
 
如果一个随机变量X服从这个分布，我们写作 X ~ N(μ,σ2). 如果μ = 0并且σ = 1，这个分布被称为标准正态分布，这个分布能够简化为
 
 在正态分布中，有一些一些值得注意的量：
 
密度函数关于平均值对称
平均值是它的众数（statistical mode）以及中位数（median）
函数曲线下68.268949%的面积在平均值左右的一个标准差范围内
95.449974%的面积在平均值左右两个标准差2σ的范围内
99.730020%的面积在平均值左右三个标准差3σ的范围内
99.993666%的面积在平均值左右四个标准差4σ的范围内
反曲点（inflection point）在离平均值的距离为标准差之处
 
exp，高等数学里以自然常数e为底的指数函数
 Exponential
 

基于密度的点云聚类算法可以识别三维点云物体，也可以对三维点云去噪处理。
 本文研究了两种基于密度的点云聚类方法，先简单介绍一下两种算法，后面会详细的介绍算法原理以及效果。


第一种方法叫做密度减法聚类



功能：能识别特定尺寸的点云簇集合，通过参数设置期望形状的大小。




输入：一片点云




输出：是几个聚类完成的点簇和聚类中心点



类别不需要提前设定，最终聚成几类由初始参数决定。


论文  
3D Candidate Selection Method for Pedestrian Detection on Non-Planar Roads 用其来提取行人的ROI。


第二种方法叫做自适应密度聚类




功能：可以寻找出每个点云的三维连通域，不需要设置形状和大小参数。




输入：一片点云




输出：每个点云所在的连通域以及此点云集合一共有多少连通域。


类别不需要提前设定，最终聚成几类由连通规则中参数决定。


论文 一种聚类与滤波融合的点云去噪平滑方法  和  密度聚类算法在连续分布点云去噪中的应用 用这种聚类方法来对点云去噪。
 
 
下面来分别详细介绍一下两种方法。
 
一：第一种方法  密度减法聚类
 
先看一下流程，这里说明一下，为了提高速度，我们在聚类的时候没有直接对稠密的处理，而是先采样生产稀疏点云，旨在提速。
 

 
 

 图一      本方法流程图
 

 
1 此方法对密度定义为
 
 
公式9中rax，ray和raz就是那个你想要设置的聚类形状参数。可以看出
 
<1> 对于一个特定的三维点，离其越近的点对它的密度加成越大。
 
<2>从求和符号可以看出，它是遍历所有三维点。
 
2 再看公式(10),这个公式是这个算法的核心。
 

 
Di表示检测出的一定聚类中心和一定不是聚类中心的其他三维点的密度，xi，yi，zi为其坐标，rbx,rby,rbz为用于跟更新Di密度的半径参数。Dcl为上一次聚类中心的密度。xcl，ycl，zcl为其坐标。
 
为什么要搞这么一个公式呢？
 
因为聚类的目的是想得到几个密度比较大的点簇，是为了避免多个聚类中心集中在一起。举个例子，你面前有几个人而且你有他们的点云，你想通过聚类把这几个人分出来，他们体型相差很大比如，这些人中有人身宽体胖的人，有人身材比较瘦小，你的本意是想把这几个人都识别出来。回到算法中，看流程图，如果我们每此检测下一次聚类中心的时候去掉了更新所有点云这一步骤，那么那个胖的人身上一定会被聚类成好多个聚类中心。
 
说白了，公式10起到这样一个作用：凡是离上次刚得到的聚类中心近的点，它们的密度都会被削减，削减影响的范围由rbx,rby,rbz控制。rb参数的选取一般要大于ra参数，论文中取rbm=1.5ram  m=x,y,z;
 
3 最终聚类点簇的大小差异控制
 
这部分参数也是本方法的一个重要的参数，因为它们控制着最终聚类结果中每个点簇的大小，以及最大点簇和最小点簇的密度差异有多大。
 
具体参数有：Thmax,Thmin，ra，cnt和公式9中的半径参数。
 
其中，公式中的半径参数控制着聚类物体的大概三维尺寸（椭球）
 
Thmax：当一个候选聚类中心的密度大于第一个聚类中心密度的Thmax倍，直接就接纳此聚类中心。
 
Thmin：当一个候选聚类中心的密度小于第一个聚类中心密度的Thmin倍,直接把对应三维点拉黑，以后再也不用，并认为它不会是聚类中心。
 
ra:此参数控制相邻聚类中心的距离，选取的越大，生成的聚类中心间隔越大。
 
最后，流程图还剩一个参数dmin，这个参数的含义是：本候选聚类中心到其他聚类中心距离中的最小值。
 
原理部分就说这么多，下面来看一下效果，我暂用它来检测一个桶:参数设置好后，效果如下（当然，这种方法还是有缺陷的，即只能检测形状，其他和桶三维大小差不多的物体也会被检测出来）：
 

 
图2 输入： 选取的一定高度的稀疏点云（上方也会有几个，是因为我们点云数据不太准确，会有一些噪点）
 

 
图3        聚类输出（不同颜色表示不同点簇，聚类中心用大圆点表示）
 
第二种：自适应密度聚类
 
这种方法就是实际上就是三维连通域检测。聚类最后的输出是若干块三维连通域。和上一种方法不一样，这种聚类方法不需要设置新装参数，输出的每块连通域的大小不一定相等。下面给出这种 方法的流程图：
 

 
图 4  自适应密度聚类算法流程
 
此算法寻找连通域的步骤对应于流程图的第二至第三个判断条件组成的循环体。每循环一次，生成一个新的三维连通域。
 
密度定义 ：此方法没有对密度定义，而是定义了一个类似密度的核心对象：是在点云空间范围内，如果离点p的欧式距离小于e的其他点云数大于一个值Minpts，就认为点p是核心对象。
 
那么为什么称这种方法叫自适应密度聚类呢？
 
答案是，聚类它可以根据点云自适应求出半径参数e和点数Minpts，不需要自己提前设定，当然自己也可以提前设定。
 
怎么求参数e和Minpts呢？
 
引用原文的话：
 
 
 
在上述密度聚类步骤中，初始半径e 和最小邻域数MinPts均为自定义参数。参数初始值设置好后，需要根据聚类效果不断调整这两个参数以获得最好的聚类效果，比较耗时。为了解决这一问题，本文提出一种自适应参数计算方法。
 
(1)
 
首先，根据式(1) 计算任意两点之间的欧式距离1。
 
然后根据式( 2)－式( 3) 求得dist(i,j ) 的最大值maxdist 和最小值mindist，maxdist = Max{dist( i，j)| 0 ≤ i ＜ n，0 ≤ j ＜ n} ( 2)
 
mindist = Min{dist( i，j )| 0 ≤ i ＜ n，0 ≤ j ＜ n} ( 3)
 
进而根据式( 4) 求得距离间隔distrange。
 
distrange = maxdist －mindist                    ( 4)
 
其中，n 表示点的数目。将距离间隔等距分为十段，统计dist(i，j)在每段范围内的频数，初始半径e 的值即为erang 所在分段的中值。erang 的计算公式如式( 5)所示。
 
erang = Max{pk | 0 ≤ k ＜ 10}              (5)
 
初始半径e 确定后，根据e 逐步增大最小邻域数目MinPts，计算邻域超过最小邻域数目的点的数目pNum(计算公式如式( 7)所示) 。随着最小邻域数目的增加，pNum 会逐渐减少并趋于稳定，选择拐点所在的最小邻域数目作为MinPts。其中，对于任意给定点p 的邻域点数目pNumi的计算如式( 6)所示。
 
pNumi = count{dist( i，j)＜ e | 0 ≤ j ＜ n} ( 6)
 
那么:
 
pNum = count{ pNumi ≥ MinPts |0 ≤ i ＜ n} ( 7)
 
通过该方法可以实现初始半径和最小邻域数的自动选择，进而避免这两个参数的反复设置。
 


下面给出这种方法的效果：
 
测试说明：
 
输入：用深度相机获得的半稠密点云，如图3
 
输出：聚类结果图，如图4，图5，去噪图，如图6。
 

 

 
图 5带有噪声的点云图
 

 
图6 聚类结果图（所有的核心对象，颜色不同，所属类别不同）
 

 
图7 聚类结果图（聚类后的非核心对象密度小，认为是噪声）
 

 
图8 点云经过聚类去噪图
 
可以看出，这种去噪方法还不错，缺点是计算量较大，实时性难以满足。i7-6700的笔记本上一秒3帧左右。