精华内容
下载资源
问答
  • 轨迹预测 使用机器学习算法(例如lstm,seq2seq等)预测船只轨迹的python框架。
  • 逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。 2、由来 要说逻辑回归,我们得追溯到线性回归,想必...

    1、总述

    逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。


    2、由来

    要说逻辑回归,我们得追溯到线性回归,想必大家对线性回归都有一定的了解,即对于多维空间中存在的样本点,我们用特征的线性组合去拟合空间中点的分布和轨迹。如下图所示:


            线性回归能对连续值结果进行预测,而现实生活中常见的另外一类问题是,分类问题。最简单的情况是是与否的二分类问题。比如说医生需要判断病人是否生病,银行要判断一个人的信用程度是否达到可以给他发信用卡的程度,邮件收件箱要自动对邮件分类为正常邮件和垃圾邮件等等。

    当然,我们最直接的想法是,既然能够用线性回归预测出连续值结果,那根据结果设定一个阈值是不是就可以解决这个问题了呢?事实是,对于很标准的情况,确实可以的,这里我们套用Andrew Ng老师的课件中的例子,下图中X为数据点肿瘤的大小,Y为观测结果是否是恶性肿瘤。通过构建线性回归模型,如hθ(x)所示,构建线性回归模型后,我们设定一个阈值0.5,预测hθ(x)≥0.5的这些点为恶性肿瘤,而hθ(x)<0.5为良性肿瘤。


    但很多实际的情况下,我们需要学习的分类数据并没有这么精准,比如说上述例子中突然有一个不按套路出牌的数据点出现,如下图所示:


    你看,现在你再设定0.5,这个判定阈值就失效了,而现实生活的分类问题的数据,会比例子中这个更为复杂,而这个时候我们借助于线性回归+阈值的方式,已经很难完成一个鲁棒性很好的分类器了。

    在这样的场景下,逻辑回归就诞生了。它的核心思想是,如果线性回归的结果输出是一个连续值,而值的范围是无法限定的,那我们有没有办法把这个结果值映射为可以帮助我们判断的结果呢。而如果输出结果是 (0,1) 的一个概率值,这个问题就很清楚了。我们在数学上找了一圈,还真就找着这样一个简单的函数了,就是很神奇的sigmoid函数(如下):

    如果把sigmoid函数图像画出来,是如下的样子:


    从函数图上可以看出,函数y=g(z)在z=0的时候取值为1/2,而随着z逐渐变小,函数值趋于0,z逐渐变大的同时函数值逐渐趋于1,而这正是一个概率的范围。

    所以我们定义线性回归的预测函数为Y=WTX,那么逻辑回归的输出Y= g(WTX),其中y=g(z)函数正是上述sigmoid函数(或者简单叫做S形函数)。


    3、判定边界

    我们现在再来看看,为什么逻辑回归能够解决分类问题。这里引入一个概念,叫做判定边界,可以理解为是用以对不同类别的数据分割的边界,边界的两旁应该是不同类别的数据。

    从二维直角坐标系中,举几个例子,大概是如下这个样子:

    有时候是这个样子:


    甚至可能是这个样子:


    上述三幅图中的红绿样本点为不同类别的样本,而我们划出的线,不管是直线、圆或者是曲线,都能比较好地将图中的两类样本分割开来。这就是我们的判定边界,下面我们来看看,逻辑回归是如何根据样本点获得这些判定边界的。

    我们依旧借用Andrew Ng教授的课程中部分例子来讲述这个问题。

    回到sigmoid函数,我们发现:

    当g(z)≥0.5时,z≥0;

    对于hθ(x)=g(θTX)≥0.5, 则θTX≥0, 此时意味着预估y=1;

    反之,当预测y = 0时,θTX<0;

    所以我们认为θTX =0是一个决策边界,当它大于0或小于0时,逻辑回归模型分别预测不同的分类结果。

    先看第一个例子hθ(x)=g(θ01X12X2),其中θ0 ,θ1 ,θ2分别取-3, 1, 1。则当−3+X1+X2≥0时, y = 1; 则X1+X2=3是一个决策边界,图形表示如下,刚好把图上的两类点区分开来:

    例1只是一个线性的决策边界,当(x)更复杂的时候,我们可以得到非线性的决策边界,例如:


    这时当x12+x22≥1时,我们判定y=1,这时的决策边界是一个圆形,如下图所示:


    所以我们发现,理论上说,只要我们的hθ(x)设计足够合理,准确的说是g(θTx)中θTx足够复杂,我们能在不同的情形下,拟合出不同的判定边界,从而把不同的样本点分隔开来。

    4、代价函数与梯度下降

    我们通过对判定边界的说明,知道会有合适的参数θ使得θTx=0成为很好的分类判定边界,那么问题就来了,我们如何判定我们的参数θ是否合适,有多合适呢?更进一步,我们有没有办法去求得这样的合适参数θ呢?

    这就是我们要提到的代价函数与梯度下降了。


    所谓的代价函数Cost Function,其实是一种衡量我们在这组参数下预估的结果和实际结果差距的函数,比如说线性回归的代价函数定义为:

    当然我们可以和线性回归类比得到一个代价函数,实际就是上述公式中hθ(x)取为逻辑回归中的g(θTx),但是这会引发代价函数为“非凸”函数的问题,简单一点说就是这个函数有很多个局部最低点,如下图所示:



    而我们希望我们的代价函数是一个如下图所示,碗状结构的凸函数,这样我们算法求解到局部最低点,就一定是全局最小值点。


    因此,上述的Cost Function对于逻辑回归是不可行的,我们需要其他形式的Cost Function来保证逻辑回归的成本函数是凸函数。

    我们跳过大量的数学推导,直接出结论了,我们找到了一个适合逻辑回归的代价函数:


    Andrew Ng老师解释了一下这个代价函数的合理性,我们首先看当y=1的情况:


    如果我们的类别y = 1, 而判定的hθ(x)=1,则Cost = 0,此时预测的值和真实的值完全相等,代价本该为0;而如果判断hθ(x)→0,代价->∞,这很好地惩罚了最后的结果。

    而对于y=0的情况,如下图所示,也同样合理

    下面我们说说梯度下降,梯度下降算法是调整参数θ使得代价函数J(θ)取得最小值的最基本方法之一。从直观上理解,就是我们在碗状结构的凸函数上取一个初始值,然后挪动这个值一步步靠近最低点的过程,如下图所示:


    我们先简化一下逻辑回归的代价函数:



    从数学上理解,我们为了找到最小值点,就应该朝着下降速度最快的方向(导函数/偏导方向)迈进,每次迈进一小步,再看看此时的下降最快方向是哪,再朝着这个方向迈进,直至最低点。

    用迭代公式表示出来的最小化J(θ)的梯度下降算法如下:

    出处:http://blog.csdn.net/han_xiaoyang/article/details/49123419

    展开全文
  • 1、总述逻辑回归是应用非常广泛的一个==分类机器学习算法==,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。2、由来要说逻辑回归,我们得追溯到线性回归,想必大家...

    1、总述

    逻辑回归是应用非常广泛的一个==分类机器学习算法==,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。

    2、由来

    要说逻辑回归,我们得追溯到线性回归,想必大家对线性回归都有一定的了解,即对于多维空间中存在的样本点,我们用特征的线性组合去拟合空间中点的分布和轨迹。如下图所示:
    image

    线性回归能对连续值结果进行预测,而现实生活中常见的另外一类问题是,分类问题。最简单的情况是是与否的二分类问题。比如说医生需要判断病人是否生病,银行要判断一个人的信用程度是否达到可以给他发信用卡的程度,邮件收件箱要自动对邮件分类为正常邮件和垃圾邮件等等。

    当然,我们最直接的想法是,既然能够用线性回归预测出连续值结果,那根据结果设定一个阈值是不是就可以解决这个问题了呢?事实是,对于很标准的情况,确实可以的,这里我们套用Andrew Ng老师的课件中的例子,下图中X为数据点肿瘤的大小,Y为观测结果是否是恶性肿瘤。通过构建线性回归模型,如hθ(x)所示,构建线性回归模型后,我们设定一个阈值0.5,预测hθ(x)≥0.5的这些点为恶性肿瘤,而hθ(x)<0.5为良性肿瘤。
    image

    但很多实际的情况下,我们需要学习的分类数据并没有这么精准,比如说上述例子中突然有一个不按套路出牌的数据点出现,如下图所示:
    image

    你看,现在你再设定0.5,这个判定阈值就失效了,而现实生活的分类问题的数据,会比例子中这个更为复杂,而这个时候我们借助于线性回归+阈值的方式,已经很难完成一个鲁棒性很好的分类器了。

    在这样的场景下,逻辑回归就诞生了。它的核心思想是,如果线性回归的结果输出是一个连续值,而值的范围是无法限定的,那我们有没有办法把这个结果值映射为可以帮助我们判断的结果呢。而如果输出结果是 (0,1) 的一个概率值,这个问题就很清楚了。我们在数学上找了一圈,还真就找着这样一个简单的函数了,就是很神奇的sigmoid函数(如下):

              g(z)=e^z/(e^z+1)   

    如果把sigmoid函数图像画出来,是如下的样子:
    image

    从函数图上可以看出,函数y=g(z)在z=0的时候取值为1/2,而随着z逐渐变小,函数值趋于0,z逐渐变大的同时函数值逐渐趋于1,而这正是一个概率的范围。

    所以我们定义线性回归的预测函数为Y=WTX,那么逻辑回归的输出Y= g(WTX),其中y=g(z)函数正是上述sigmoid函数(或者简单叫做S形函数)。

    展开全文
  • 8.轨迹预测,乱七八糟的预测方法

    万次阅读 2017-11-29 09:46:19
    前面以为合适的预测模型就那么几个,后面思路越来越清晰,细节多了,...灰色模型二、机器学习方法、启发式算法5.机器学习预测:SVM,BP,神经网络6.仿生算法:粒子群算法,遗传算法,三、深度学习预测四、波形处理算法...

    前面以为合适的预测模型就那么几个,后面思路越来越清晰,细节多了,适用的方法也多了,现在发现模型越来越多。之前的思路先放一放。先总结下学术上有多少预测方法及使用相应方法的一些文献

    一、传统数学统计学方法

    1.马尔可夫模型预测

    2.朴素贝叶斯预测

    3.高斯过程预测

    4.灰色模型

    二、机器学习方法、启发式算法

    5.机器学习预测:SVM,BP,神经网络

    6.仿生算法:粒子群算法,遗传算法,

    三、深度学习预测

    四、波形处理算法

    7.卡尔曼滤波




    乱七八糟的结合:

    http://xueshu.baidu.com/s?wd=paperuri%3A%284a33cf512bf11c65bac5e25163fb0d90%29&filter=sc_long_sign&sc_ks_para=q%3D%E9%87%8F%E5%AD%90%E9%81%97%E4%BC%A0%E7%AE%97%E6%B3%95%E4%BC%98%E5%8C%96BP%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E7%BD%91%E7%BB%9C%E6%B5%81%E9%87%8F%E9%A2%84%E6%B5%8B&sc_us=3174590246271440901&tn=SE_baiduxueshu_c1gjeupa&ie=utf-8

    数据预测之BP神经网络https://www.cnblogs.com/sallybin/p/3169572.html

    卡尔曼滤波http://blog.csdn.net/gdfsg/article/details/50904811

    展开全文
  • 这就造成了我们在使用梯度下降算法的时候,由于维度之间的差异使得Jθ的值收敛的很慢。我们还是以房价预测为例子,我们使用2个特征。房子的尺寸(1~2000),房间的数量(1-5)。以这两个参数为横纵坐标,绘制代价...

    1. 特征缩放

    实际当我们在计算线性回归模型的时候,会发现特征变量x,不同维度之间的取值范围差异很大。这就造成了我们在使用梯度下降算法的时候,由于维度之间的差异使得Jθ的值收敛的很慢。

    我们还是以房价预测为例子,我们使用2个特征。房子的尺寸(1~2000),房间的数量(1-5)。以这两个参数为横纵坐标,绘制代价函数的等高线图能看出整个图显得很扁,假如红色的轨迹即为函数收敛的过程,会发现此时函数收敛的非常慢。

    为了解决这个问题,我们采用特征缩放,所谓的特征缩放就是把所有的特征都缩放到一个相近的取值范围内。比如-1~1,或者-0.5~2,或者-2~05 等等,只要不超过-3 ~ 3这个范围,基本上都能够满足梯度下降算法

    最简单的方法采用下面的公式进行计算

    1. Xn表示第n个特征,也就是特征变量X的第n维
    2. Un表示特征的平均值,也就是所有特征向量集第n个特征的平均值
    3. Sn表示标准差,方差算术平方根
    实际上,当我们在运用线性回归时,不一定非要直接用给出的 x1, x2, x3 ... xn 作为特征,有时候可以自己创造新的特征。 比如训练集中只给了房子长度和宽度两个特征,但是我们可以用长度X宽度得到面积这个新的特征。 
    有时,通过定义新的特征,可以得到一个更好的模型。

    2. 学习速率

    梯度下降算法中,最合适即每次跟着参数θ变化的时候,J(θ)的值都应该下降 到目前为止,我们还没有介绍如何选择学历速率α,梯度下降算法每次迭代,都会受到学习速率α的影响

    1. 如果α较小,则达到收敛所需要迭代的次数就会非常高;
    2. 如果α较大,则每次迭代可能不会减小代价函数的结果,甚至会超过局部最小值导致无法收敛。如下图所示情况

    观察下图,可以发现这2种情况下代价函数 J(θ)的迭代都不是正确的

    1. 第一个图,曲线在上升,明显J(θ)的值变得越来越大,说明应该选择较小的α
    2. 第二个图,J(θ)的曲线,先下降,然后上升,接着又下降,然后又上升,如此往复。通常解决这个问题,还是选取较小的α

    根据经验,可以从以下几个数值开始试验α的值,0.001 ,0.003, 0.01, 0.03, 0.1, 0.3, 1, …

    α初始值位0.001, 不符合预期乘以3倍用0.003代替,不符合预期再用0.01替代,如此循环直至找到最合适的α

    然后对于这些不同的 α 值,绘制 J(θ)随迭代步数变化的曲线,然后选择看上去使得 J(θ)快速下降的一个 α 值。

    所以,在为梯度下降算法选择合适的学习速率 α 时,可以大致按3的倍数再按10的倍数来选取一系列α值,直到我们找到一个值它不能再小了,同时找到另一个值,它不能再大了。其中最大的那个 α 值,或者一个比最大值略小一些的α 值 就是我们期望的最终α 值

    展开全文
  • 11.轨迹预测,具体方法

    千次阅读 2018-03-06 11:15:21
    基本确定思路了,基本就是用机器学习方法,估计比直接拟合准确度高算法如下:1.把数据处理成样本和标签,样本是某时刻t的经度、纬度、速度、方向等信息,标签是t+Δt时刻的位置(经度或纬度),仍然插值计算(线性...
  • 在本课程中,您将学习如何使用Python执行监督学习,这是机器学习的重要组成部分。 您将学习如何建立预测模型,如何调整其参数,以及如何在使用现实世界数据集的同时始终了解未见数据的性能。 您将使用scikit-learn...
  • 机器学习系列(1)_逻辑回归初步

    万次阅读 多人点赞 2015-10-14 13:18:43
    逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。 2、由来  要说逻辑回归,我们得追溯到线性回归,想必大家对线性...
  • 机器学习算法有很多种方法,用于纯数据驱动的预测方法。既然你已经完成了机器学习课程, 我们不会深入研究这些技术。但在这个视频中,我想向您展示一个具有代表性的例子,这些算法擅长什么 - 轨迹聚类。 与所有...
  • 行为预测 行为预测功能会根据当前以及历史感知来预测智能车周围其他运动...一般地,行为预测算法可以划分为如下 3 类解决方案:基于循环神经网络的解决方案、基于卷积神经网络 (convolutional neural networks, CNN) 的解
  • 机器学习--逻辑回归

    2018-07-03 22:38:46
    逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。 2、由来 要说逻辑回归,我们得追溯到线性回归,想必大家对线性...
  • 逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。 2、由来  要说逻辑回归,我们得追溯到线性回归,想必大家对...
  • 学习用户的轨迹,然后推荐用户尚未用过的,但是可能喜欢的东西。 二、基于内容的推荐算法 对于一个电影网站,有若干用户对几部电影的评分,现在想要预测用户对没看过电影的评分。 那么基于内容的推荐算法,意思就是...
  • 1、总述逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。2、由来    要说逻辑回归,我们得追溯...
  • 基于时间差分的神经网络预测控制 方法的提出 基于时间差分的Elman网络预测控制 ...参考轨迹 滚动优化算法 仿真研究 预测仿真 跟踪仿真 转载于:https://www.cnblogs.com/WittPeng/p/8994623.html...
  • 2.目标追踪是给视频中第一帧目标以及它的位置,然后跟踪这个目标,以及预测它的轨迹,(如果出现一些遮挡,也可以根据轨迹来跟踪这个目标,假如是yolo检测出的目标,有时候还会出现丢帧的情况,如果用了跟踪算法,...
  • 目标跟踪是机器视觉中一类被广为研究的重要问题,分为单目标跟踪与多目标跟踪。...典型的如Mean shift算法,用卡尔曼滤波、粒子滤波进行状态预测,TLD等基于在线学习的跟踪,KCF等基于相关性滤波的算法等。
  • 数据驱动预测基于机器学习,通过观测结果来训练模型,模型一旦训练好可以通过模型去做预测。数据驱动方法优点是训练数据越多,效果更好,基于模型预测优点在于它的直观并且结合物理知识、交通法...
  • 预测很重要,是决策的核心。 有实时性的要求,算法的延迟越短越好, ...[数据驱动Data-Driven]预测:使用机器学习算法,通过观察结果来训练模型。 [基于车道序列]的预测:把道路分成很多部分。 深度学习R
  • 该项目采用深度学习和统计机器学习方法,利用国家初级保健纪录中的历史纪录、风险因素的轨迹进行建模,最终辨识未来患病的高危人群。 据悉新款预测算法也可被应用于大型和复杂的数据密集型项目中,如临床实践研究...
  • 18.新的研究题目,一些对时间序列数据的理解

    千次阅读 热门讨论 2018-08-02 22:46:19
    一种插值结合神经网络机器学习轨迹预测方法 上面的已经放弃,现在在写结合神经网络的变权重轨迹预测模型 哈哈,变的真快,现在在写一种结合神经网络的变权重时间序列预测模型 其实研究内容没变,轨迹数据本身...
  • 文章目录一、 首先查看各个岗位要求感知研发(融合预测)感知深度学习方向路径规划与决策控制算法高精地图研发仿真研发行为预测 与 轨迹预测机器学习基础设施搭建前端研发后端研发软件研发工程师-嵌入式软件研发...
  • 它是陈天奇等人开发的一个开源机器学习项目,高效地实现了GBDT算法并进行了算法和工程上的许多改进,被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中。近年机器学习方面的竞赛高分思路,绝大部分都使用了xgboost...
  • 大数据的核心是什么

    千次阅读 2019-12-09 19:36:09
    它通常被视为人工智能的一部分,或者更确切地说,被视为一种机器学习。但是这种定义是有误导性的。大数据不是要教机器像人一样思考。 相反,它是把数学算法运用到海量的数据上来预测事情发生的可能性。一封邮件被...
  • 逻辑回归初步

    多人点赞 2019-04-18 16:55:00
    1、总述逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。2、由来    要说逻辑回归,我们得追溯...
  • 大数据的核心

    2015-10-07 23:38:49
    机器学习。但是这种定义是有误导性的。大数据不是要教机器像人一样思考。相反,它是把数 学算法运用到海量的数据上来预测事情发生的可能性。一封邮件被作为垃圾邮件过滤掉的可能 性,输入的“teh”应该是“the”的...
  • 逻辑回归(Logistic Regression)

    千次阅读 2017-03-15 14:50:44
    逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。 2、由来  要说逻辑回归,我们得追溯到线性回归,想必大家对线性...

空空如也

空空如也

1 2
收藏数 39
精华内容 15
关键字:

机器学习轨迹预测算法