精华内容
下载资源
问答
  • 1.回归问题应用场景(预测结果是连续,例如预测...一个比较常见回归算法是线性回归算法(LR)。另外,回归分析用在神经网络上,其最上层是不需要加上softmax函数,而是直接对前一层累加即可。回归是对真...

    1.回归问题的应用场景(预测的结果是连续的,例如预测明天的温度,23,24,25度)

    回归问题通常是用来预测一个值,如预测房价、未来的天气情况等等,例如一个产品的实际价格为500元,通过回归分析预测值为499元,我们认为这是一个比较好的回归分析。一个比较常见的回归算法是线性回归算法(LR)。另外,回归分析用在神经网络上,其最上层是不需要加上softmax函数的,而是直接对前一层累加即可。回归是对真实值的一种逼近预测。

    2.分类问题的应用场景(预测的结果是离散的,例如预测明天天气-阴,晴,雨)

    分类问题是用于将事物打上一个标签,通常结果为离散值。例如判断一幅图片上的动物是一只猫还是一只狗,分类通常是建立在回归之上,分类的最后一层通常要使用softmax函数进行判断其所属类别。分类并没有逼近的概念,最终正确结果只有一个,错误的就是错误的,不会有相近的概念。最常见的分类方法是逻辑回归,或者叫逻辑分类。

    3、给定一张图更能清晰的解释两者的区别
    在这里插入图片描述

    展开全文
  • 什么是神经网络

    2020-01-30 11:10:11
    什么是神经网络 我们常常用深度学习这个术语来指训练神经网络的过程。有时它指是特别大规模神经网络训练。那么神经网络究竟是什么呢...如果你对线性回归很熟悉,你可能会说:“吧,让我们用这些数据拟合一条直...

    什么是神经网络

    我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢?
    让我们从一个房价预测的例子开始讲起。
    假设你有一个数据集,它包含了六栋房子的信息。所以,你知道房屋的面积是多少平方英尺或者平方米,并且知道房屋价格。这时,你想要拟合一个根据房屋面积预测房价的函数。
    如果你对线性回归很熟悉,你可能会说:“好吧,让我们用这些数据拟合一条直线。”于是你可能会得到这样一条直线。
    在这里插入图片描述
    但有点奇怪的是,你可能也发现了,我们知道价格永远不会是负数的。因此,为了替代一条可能会让价格为负的直线,我们把直线弯曲一点,让它最终在零结束。这条粗的蓝线最终就是你的函数,用于根据房屋面积预测价格。有部分是零,而直线的部分拟合的很好。你也许认为这个函数只拟合房屋价格。
    作为一个神经网络,这几乎可能是最简单的神经网络。我们把房屋的面积作为神经网络的输入(我们称之为𝑦),通过一个节点(一个小圆圈),最终输出了价格(我们用𝑧表示)。其实这个小圆圈就是一个单独的神经元。接着你的网络实现了左边这个函数的功能。
    在有关神经网络的文献中,你经常看得到这个函数。从趋近于零开始,然后变成一条直线。这个函数被称作 ReLU 激活函数,它的全称是 Rectified Linear Unit。rectify(修正)可以理解成𝑛𝑏𝑦(0,𝑦),这也是你得到一个这种形状的函数的原因。

    在这里插入图片描述
    如果这是一个单神经元网络,不管规模大小,它正是通过把这些单个神经元叠加在一起来形成。如果你把这些神经元想象成单独的乐高积木,你就通过搭积木来完成一个更大的神经网络。
    让我们来看一个例子,我们不仅仅用房屋的面积来预测它的价格,现在你有了一些有关房屋的其它特征,比如卧室的数量,或许有一个很重要的因素,一家人的数量也会影响房屋价格,这个房屋能住下一家人或者是四五个人的家庭吗?而这确实是基于房屋大小,以及真正决定一栋房子是否能适合你们家庭人数的卧室数。
    换个话题,你可能知道邮政编码或许能作为一个特征,告诉你步行化程度。比如这附近是不是高度步行化,你是否能步行去杂货店或者是学校,以及你是否需要驾驶汽车。有些人喜欢居住在以步行为主的区域,另外根据邮政编码还和富裕程度相关(在美国是这样的)。但在其它国家也可能体现出附近学校的水平有多好。
    在这里插入图片描述
    在图上每一个画的小圆圈都可以是 ReLU 的一部分,也就是指修正线性单元,或者其它稍微非线性的函数。基于房屋面积和卧室数量,可以估算家庭人口,基于邮编,可以估测步行化程度或者学校的质量。最后你可能会这样想,这些决定人们乐意花费多少钱。
    对于一个房子来说,这些都是与它息息相关的事情。在这个情景里,家庭人口、步行化程度以及学校的质量都能帮助你预测房屋的价格。以此为例,𝑦 是所有的这四个输入,𝑧 是你尝试预测的价格,把这些单个的神经元叠加在一起,我们就有了一个稍微大一点的神经网络。这显示了神经网络的神奇之处,虽然我已经描述了一个神经网络,它可以需要你得到房屋面积、步行化程度和学校的质量,或者其它影响价格的因素。

    在这里插入图片描述
    神经网络的一部分神奇之处在于,当你实现它之后,你要做的只是输入x,就能得到输出y。因为它可以自己计算你训练集中样本的数目以及所有的中间过程。所以,你实际上要做的就是:这里有四个输入的神经网络,这输入的特征可能是房屋的大小、卧室的数量、邮政编码和区域的富裕程度。给出这些输入的特征之后,神经网络的工作就是预测对应的价格。同时也注意到这些被叫做隐藏单元圆圈,在一个神经网络中,它们每个都从输入的四个特征获得自身输入,比如说,第一个结点代表家庭人口,而家庭人口仅仅取决于𝑦 1 和𝑦 2 特征,换句话说,在神经网络中,你决定在这个结点中想要得到什么,然后用所有的四个输入来计算想要得到的。因此,我们说输入层和中间层被紧密的连接起来了。
    值得注意的是神经网络给予了足够多的关于x和y的数据,给予了足够的训练样本有关x和y。神经网络非常擅长计算从𝑦到𝑧的精准映射函数。
    这就是一个基础的神经网络。你可能发现你自己的神经网络在监督学习的环境下是如此的有效和强大,也就是说你只要尝试输入一个𝑦,即可把它映射成𝑧,就好像我们在刚才房价预测的例子中看到的效果。
    在下一个视频中,让我们复习一下更多监督学习的例子,有些例子会让你觉得你的网络会十分有用,并且你实际应用起来也是如此。

    展开全文
  • 告读者:开设这门《神经网络和深度学习》课程初衷是希望可以培养成千上万人使用人工智能,去解决真实世界实际问题,创造一个人工智能驱动社会。...如果你懂线性回归,你可能会说:吧!用这些数...

    告读者:开设这门《神经网络和深度学习》课程的初衷是希望可以培养成千上万的人使用人工智能,去解决真实世界的实际问题,创造一个人工智能驱动的社会。

    今天让我们一起学习深度学习概论第一讲:什么是神经网络?

    我们从一个房价预测的例子开始。假设有一个六间房屋的数据集,已知房屋的面积,单位是平方英尺或平方米,已知房屋价格,想要找到一个函数,根据房屋面积,预测房价的函数。

    如果你懂线性回归,你可能会说:好吧!用这些数据来拟合一条直线。于是你可能会得到这样一条直线。

    但奇怪的是,你可能也知道,价格永远不会为负,因此直线不大合适。它最后会让价格为负。我们在这里弯曲一点,让它结束于0.这条粗的蓝线,就是你要的函数。


    根据房屋面积,预测价格。这里是0,这里的直线拟合的很好。你也可以把这个房屋加个拟合函数,看成是一个非常简单的神经网络。

    我们把房屋的面积,作为神经网络的输入,称之为x。通过这个节点,这个小圈圈。最终输出的价格用y表示。这个小圈圈,就是一个独立的神经元。

    你的网络实现了这个函数的功能。这个神经元所做的就是输出面积,完成线性计算。取不小于0的值,最后得到输出预测价格。神经网络文献中,经常看到这个函数。这个函数一开始是0,然后就是一条直线。这样的函数被称作Relu函数,全称是“修正线性单元”,即Relu。

    “修正”指的是取小于0的值。这就是这个函数张这个样子的原因。不理解Relu的话,不用担心,后面还会讲到。

    上图就是一个单神经元网格,规模很小的神经网络。

    大一点的神经网络,是把这些单个神经元堆叠起来形成的。你可以把这些神经元,想象成单独的乐高积木。你通过搭积木来构建,一个更大的神经网络。

    来看一个例子:

    不仅仅用房屋的面积,来预测价格。现在你好友一些房屋的其他特征,知道了一些别的信息。比如卧室的数量。你可能想到,有一个很重要的因素会影响房屋的价格,就是“家庭人数”。这个房屋能住下一个三口之家、四口之家或者五口之家。这个性质和面积大小相关,还有卧室的数量,能否满足住房的家庭需求。

    你可能知道邮编在一些国家,也被叫做邮政编码。邮编或许能作为一个特征,说明了步行化程度。这附近是不是高度步行化?你能否步行去杂货店或者学校?是否需要开车?有些人喜欢高度步行化的地方。另外,根据邮政编码,还有富裕程度。在美国是这样的,其他国家也可能一样。邮编体现了附近学校的质量、

    我画的每一个小圈圈,都可能是一个Relu,即“修正线性单元”或者其他的不那么线性的函数。

    基于房屋面积和卧室数量,你可以估算家庭人口。基于邮编,可以评估步行化程序。基于邮编,也可以评估学校质量。最后,你可能会想,人们愿意在房屋上花费多少钱和他们关注什么息息相关。

    在这个例子中,家庭人口、步行化程度以及学校质量,都能帮助你,预测房屋的价格。

    在这个例子中,x是所有的这四个输入,y是预测的价格,把这些独立的神经元叠加起来。

    上面讲到了简单的预测器(神经元),现在有了一个稍微大了一点的神经网络。神经网络的一部分神奇之处在于,当你实现它之后,你要做的,只是输出x,就能得出输出y。不管训练集多大,所有的中间过程,它都会自己完成。


    那么,你实际做的就是,这有四个输入的神经网络。输入的特征可能就是卧室的数量、邮政编码和周边的富裕程度。已知这些输入的特征,神经网络的工作就是预测对应的价格。同时,也注意到这些圈圈在一个神经网络中,它们被叫做“隐形单元”。每个的输入都同时来自四个特征。

    比如说:我们不会具体说第一个节点表示家庭人口,或者说家庭人口仅取决于特征X1和X2。我们会这样说,神经网络你自己决定这个节点是什么,我们只给你四个输入特征,随便你怎么计算。因此,我们说这一层输入层,在中间的这一层。在神经网络中,连接数是很高的。因为输入的每一个特征,都连接到了中间的每一个圈圈。

    值得注意的是,神经网络只要你喂给它足够多的数据,关于x和y的数据,给到足够的x、y训练样本,神经网络非常擅长于计算从X到Y的精准映射函数。


    这就是一个基本的神经网络,你可能发现自己的神经网络,在监督学习的环境下,是如此有效和强大。也就是说,你只要尝试输入一个x,即可把它映射成y,像我们在刚才房价预测的例子中看到的。

    【敬请期待】在下一讲中,你会看到更多监督学习的例子。有些例子会让你觉得你的神经网络对你的应用场合非常有帮助。


    展开全文
  • 神经网络对复杂的非线性问题具有较好的描述能力,所以,应用神经网络方法通过样本学习可以掌握煤炭需求量与其影响因素之间复杂的函数关系。这种函数关系比传统的高度简化了的函数关系相比更加接近实际。因此,神经...
  • 神经网络对复杂的非线性问题具有较好的描述能力,所以,应用神经网络方法通过样本学习可以掌握煤炭需求量与其影响因素之间复杂的函数关系。这种函数关系比传统的高度简化了的函数关系相比更加接近实际。因此,神经...
  • 神经网络对复杂的非线性问题具有较好的描述能力,所以,应用神经网络方法通过样本学习可以掌握煤炭需求量与其影响因素之间复杂的函数关系。这种函数关系比传统的高度简化了的函数关系相比更加接近实际。因此,神经...
  • 在深度神经网络崛起之前,基于树类的算法是表现比较优异,非线性性能比较好的一大类算法,深受广大人民群众的喜爱。比如常见的基于树的算法随机森林(Random Forest),GBDT, XGboost, LightGBM等。而所有的这些...

    项目github地址:bitcarmanlee easy-algorithm-interview-and-practice
    欢迎大家star,留言,一起学习进步

    0.前言

    在深度神经网络崛起之前,基于树类的算法是表现比较优异,非线性性能比较好的一大类算法,深受广大人民群众的喜爱。比如常见的基于树的算法有随机森林(Random Forest),GBDT, XGboost, LightGBM等。而所有的这些算法,都是基于决策树(Decision Tree)进化而来的。因此了解熟悉决策树是我们学习算法过程中一个必不可少的环节。

    决策树可以分为分类树与回归树。回归树一般只能处理连续型数据,而分类树则即可以处理连续型数据又可以处理离散型数据。

    1.什么是CART树

    CART树的全名叫做Classification and Regression Tree。从名字可以看出来,CART树即可以用来做分类又可以用来做回归。

    CART树构建分类树与回归树的时候,主要有如下两点差异(其实也是分类树与回归树的差异):
    1.连续值的处理。
    CART分类树对连续值采取的是计算Gini系数大小来衡量特征划分点的好坏。
    GINI(D)=i=1kpk(1pk)=1i=1kpk2GINI*(D) = \sum_{i=1}^k p_k * (1 - p_k) = 1 - \sum_{i=1}^k p_k ^ 2

    基尼指数的意义是从数据集D中随机抽取两个样本类别标识不一致的概率。基尼指数越小,数据集的纯度越高。分类决策树递归创建过程中就是每次选择GiniGain最小的节点做分叉点。
    回归树的处理方式为,对于任意的特征J,选择任意的划分点s将数据集分成R1, R2,然后使得R1与R2的均方差和最小。

    2.预测方式
    分类树的预测方式为看叶子节点中概率最大的类作为当前预测类。
    回归树一般是输出叶子节点的均值作为预测结果。

    2.CART回归树的流程

    对于决策树的生成过程,就是递归构建二叉树的过程。以CART回归树为例,我们来看看具体怎么构建。
    假设X与Y分别为输入输出,Y是连续变量。
    D={(x1,y1),(x2,y2),...,(xn,yn))}D = \{ (x_1, y_1), (x_2, y_2), ..., (x_n, y_n)) \}
    最终我们想生成CART回归树f(x)f(x)。即在训练集上,递归地将每个区域分为两个子区域并决定每个子区域的输出值,来构建二叉决策树。

    1.选择最优切分变量j与切分点s,并求解

    minj,s[minc1xiR1(j,s)(yic1)2+minc2xiR2(j,s)(yic2)2]\min _ { j , s } \left[ \min _ { c _ { 1 } } \sum _ { x _ { i } \in R _ { 1 } ( j , s ) } \left( y _ { i } - c _ { 1 } \right) ^ { 2 } + \min _ { c _ { 2 } } \sum _ { x _ { i } \in R _ { 2 } ( j , s ) } \left( y _ { i } - c _ { 2 } \right) ^ { 2 } \right]

    遍历变量j,对固定的切分变量j扫描切分点s,选择最优的(j,s)。

    2.用选定的(j,s),划分区域,并决定相应的输出
    c^m=average(yixiRm(j,s))\hat{c}_{m}=average(y_{i}|x_{i} \in R_{m}(j,s))

    3.对两个子区域重复1,2步骤,直到满足终止条件
    4.将输入的空间划分为M个区域,R1,R2,...,RMR_1, R_2, ..., R_M,在每个单元上有固定的输出cmc_m,最终生成决策树
    f(x)=m=1McmI,XRmf(x) = \sum_{m=1} ^M c_mI, X \in R_m

    3.剪枝

    决策树很容易出现的一种情况是过拟合(overfitting),所以需要进行剪枝。而基本的策略包括两种:预剪枝(Pre-Pruning)与后剪枝(Post-Pruning)。

    预剪枝:其中的核心思想就是,在每一次实际对结点进行进一步划分之前,先采用验证集的数据来验证如果划分是否能提高划分的准确性。如果不能,就把结点标记为叶结点并退出进一步划分;如果可以就继续递归生成节点。
    后剪枝:后剪枝则是先从训练集生成一颗完整的决策树,然后自底向上地对非叶结点进行考察,若将该结点对应的子树替换为叶结点能带来泛化性能提升,则将该子树替换为叶结点。

    展开全文
  • 线性回归或者logistic回归主要问题在于我们时候不得不去构造很复杂多项式去拟合训练集数据,当我们次数越高,我们可以使用组合就越多,这样就很难去求解最好模型。 神经网络什么 只是个人看法,神经...
  • 一、神经网络什么比传统分类器 1.传统分类器LR(逻辑斯特回归) 或者 linear SVM ,多用来做线性分割,假如所有样本可以看做一个个点,如下图,蓝色点和绿色点,传统分类器就是要找到一条直线...
  • Fully Connected 神经网络

    千次阅读 2018-07-26 15:04:55
    最早神经网络是想要还原神经元原理(虽然现在很难说有什么关系),我们将输入乘以不同权值之后,求和并通过一个非线性函数便可以得到一个输出。这就是最简单一个神经网络的模型。 其实从数学角度看这个...
  • CNN卷积神经网络

    2018-08-16 21:25:00
    对于一些问题来说用线性回归可以解决,但有些问题用线性很麻烦,而用神经网络就很轻松了,各优缺点。对于神经网络来说,是一种非线性,输入参数,通过隐藏层输出结果。这隐藏层中,每一层都是根据前一层得到...
  •  我们之前学,无论是线性回归还是逻辑回归都这样一个缺点,即:当特征太多时,计算负荷会非常大,下面是一个例子: 当我们使用 x1、x2 多次项式进行预测时,我们可以应用。之前我们已经看到...
  • 现在,我们已经掌握了如何使用线性回归和逻辑回归,而神经网络算法是一个相对古老算法,我们什么时候需要使用它呢?先来看几个使用非线性假设完成机器学习问题。 假设一个监督学习分类问题,它训练集如图所...
  • 线性回归还是逻辑回归都这样一个缺点,即:当特征太多时,计算负荷会非常大。 2.我们需要知道:公式每个字符代表含义以及公式怎么推导 神经网络模型是许多逻辑单元按照不同层级组织起来的网络,每一层...
  • 支持向量机,线性/逻辑回归,奇异值分解,矩阵分解和推荐系统被证明是神经网络的特例。这些方法与最近特征工程方法(如word2vec)一起研究。 神经网络的基本原理:第3章和第4章详细讨论了训练和正则化。第5章和第...
  • 理解神经网络:从神经元到RNN、CNN、深度学习 神经网络是目前最流行机器学习算法之一。随着时间推移,证明了...因此,对神经网络什么有一个基本理解是必要,比如,它是怎么构成,它能处理问题范围以...
  • 我们之前学,无论是线性回归还是逻辑回归都这样一个缺点,即:当特征太多时,计算负荷会非常大。 如下面例子: 当我们只考虑两个特征 x1、x2x_1、x_2x1​、x2​ 时,我们分类任务执行得很。 但是假如...
  • 文章目录八、Python经典算法0.Python画图1.回归-线性回归2.分类-k最近邻3.聚类4.降维5.学习(神经网络)6.推荐算法(神经网络)7....拟合(Fitting):就是说这个曲线能不能很好的描述某些样本,并且比较好
  • 问题描述:数据挖掘中,数据既离散的,也连续的,可以直接放到机器学习的分类器如逻辑回归,线性回归,决策树,神经网络中吗?还是要全部离散化或者连续化?哪位大神指点一下这是一个非常好的问题,把数据一股脑...

空空如也

空空如也

1 2 3 4 5 ... 7
收藏数 121
精华内容 48
关键字:

有什么好的线性回归网络