2018-09-22 10:10:48 weixin_36105362 阅读数 3628

人工智能、机器学习、神经网络、深度学习、TensorFlow、图像处理必备书籍(附PDF百度盘下载链接)

在学习人工智能相关相关知识中往往不理解其中相关术语意义和知识原理的组成,下面书籍是阿拉灯神丁君在阅读了大量书籍后觉得很不错的一部分,特此分享出来,以供大家学习之便利。内容链接如有侵犯到您的权益,请联系删除。

学习资料持续更新,完整书籍链接请关注 公众号“AI人工智能客栈” 回复关键字 “人工智能书籍” 获取百度盘链接

在这里插入图片描述

1、机器学习 周志华.pdf

链接:https://pan.baidu.com/s/1P5Owh7YoZ6ncQz9dXanwCA 密码:wzst

2、推荐系统实践.pdf

3、《自然语言处理综论》.pdf

4、《计算机视觉:一种现代方法》.pdf

5、图解机器学习.pdf

6、《决策知识自动化》.pdf

7、《人工智能:一种现代的方法(第3版)》.pdf

8、Python数据分析与挖掘实战.pdf

9、机器学习导论.pdf

10、面向机器智能的TensorFlow实践 (智能系统与技术丛书)_.pdf

11、图像处理、分析与机器视觉(第三版).pdf

12、TensorFlow实战_黄文坚(完整).pdf

13、Tensorflow 实战Google深度学习框架.pdf

14、统计学习方法.pdf

作者李航,是国内机器学习领域的几个大家之一,曾在MSRA任高级研究员,现在华为诺亚方舟实验室。书中写了十个算法,每个算法的介绍都很干脆,直接上公式,是彻头彻尾的“干货书”。每章末尾的参考文献也方便了想深入理解算法的童鞋直接查到经典论文;本书可以与上面两本书互为辅助阅读。

15、数学之美.pdf

作者吴军大家都很熟悉。以极为通俗的语言讲述了数学在机器学习和自然语言处理等领域的应用。

16、区块链新经济概论.pdf

最近也是在学习入门阶段,也就一个感觉“一如侯门深似海,从此节操是路人”,看的我是头晕眼花,公式,概念,金星星眼前飘过~~~…((/- -)/

以上电子书也基本都是高清版,本人对电子书的质量要求也是比较高的,影印版太垃圾了,更是伤银镜。

人工智能领域涵盖的知识非常的广:算法、深度学习、机器学习、自然语言处理、数据结构、Tensorflow、Python 、数据挖掘、搜索开发、神经网络、视觉度量、图像识别、语音识别、推荐系统、系统算法、图像算法、数据分析、概率编程、计算机数学、数据仓库、建模等关键词,基本涵盖了现阶段人工智能细分领域的人才结构。

2019-03-24 14:15:11 duanshao 阅读数 226

[书名]深度学习基础教程
[tag]深度学习,机器学习,数据分析,挖掘,算法,
[content]深度学习的入门基础。
[下载1]


[书名]Keras图像深度学习实战
[tag]Keras,图像识别,深度学习,数挖掘,算法,
[content]一本不可多得的与图像处理紧密相连介绍的深度学习书籍,值得你花点时间阅读。
[下载2]


[书名]深度学习技术选型白皮书
[tag]人工智能,深度学习,机器学习,技术选型,技术框架,算法,
[content]介绍了技术选型的原则,方法,实例。
[下载3]

2019-08-12 19:18:58 gxp123123 阅读数 69

入门图像处理,需要首先了解图像处理的基础知识,比如冈萨雷斯的书籍,可以简单看一下。然后通过实验更深一步的了解原理和过程。

图像处理分为传统方法和深度学习方法。

传统方法:graphcut,grubcut,levelset等

深度学习方法:简单的说就是用神经网络搭建的用于图像处理的结构

自从深度学习大力发展后,很多人已渐渐的从传统图像处理分析师转到了深度学习大牛。由于传统方法处理效果远低于深度学习的方法,所以目前深度学习方法蒸蒸日上。

我本人是做图像分割的,可以用resnet,vgg,pspnet等现有的网络结构refine后进行使用。只需输入数据,构建好的损失函数即可完成学习。方便快捷,效果还远远高于传统方法。所以用深度学习方法的人越来越多。

 

---------美丽分割线---------------------------------------------------------------------------------------------

in a word, 入门图像处理,按照以下几点即可(以下是深度学习入门方法):

1. 看基础知识(如冈萨雷斯,或者知乎、github查基础资料)

2. 了解简单的神经网络搭建方法

3. 学习框架,如keras,pytorch等

4. github上download一个简单的程序,run通后,根据自己的想法进行调整,熟悉。

5. 接下来你就可以做一个有关图像处理的项目了

 

以上是我本人的入学图像处理的流程图。与君共勉。若有纰漏,请多指点。

2019-03-28 21:18:47 SKY_yiyi_9 阅读数 902

1.《数字图像处理 》(豆瓣) https://book.douban.com/subject/4285832/

理论方面。

2.《MATLAB图像处理实例详解》

3.网址:图像处理入门必看 - CSDN博客 https://blog.csdn.net/chensanwa/article/details/78650073

目录

笔记:深度学习—卷积神经网络从入门到精通

1.1 概念

1.2 起源

1.3 关于卷积神经网络

1.4 神经网络的缺陷和图像

1.5 卷积神经网络的GPU实现和cuDNN库

1.6 卷积神经网络的平台和工具

三、卷积神经网络的现代雏形——LeNet

3.1 LeNet的原始模型

3.2 LeNet的标准模型

3.3 LeNet的算法学习

3.4 LeNet的Caffe代码实现及说明

四、卷积神经网络的突破模型AlexNet

4.1 AlexNet的模型结构

五、卷积神经网络的应变模型SPPNet

5.1 SPPNet的模型结构

六、卷积神经网络的加深模型VGGNet

七、卷积神经结构的跨连接模型

7.1 快道网络Highway Net

7.2 残差网络ResNet

7.3密连网络DenseNet

7.4 拼接网络CatNet

八、卷积神经网络的区域模型

九、卷积神经网络的分割模型

十、卷积神经网络的特殊模型

十一、卷积神经网络的强化模型

十二、AlphaGo


笔记:深度学习—卷积神经网络从入门到精通

  • 概述

1.1 概念

深度学习的概念起源于人工神经网络,本质上指的是一类对具有深度结构的神经网络进行有效训练的方法。

神经网络是一种由许多非线性单元(神经元、节点)组成的分层系统。

网络的深度就神经网络中不包括输入层的层数。

1.2 起源

1943年MP模型——1958年感知器模型——20世纪八九十年代Hopfield神经网络,玻耳兹曼机,多层感知器——神经认知机——卷积神经网络

1.3 关于卷积神经网络

卷积神经网络是一种特殊的多层感知器或前馈神经。

标准的卷积神经网络一般由输入层、交替的卷积层和池化层、全连接层、输出层构成。

卷积层也称检测层、池化层也称下采样层。卷积层和池化层可看做特殊的隐含层。

卷积层的权值也称卷积核。

1.4 神经网络的缺陷和图像

卷积神经网络可能错分对抗样本。

对抗样本是一种含有人类不可感知的微小扰动的非随机图像。

可视化技术,以某种可见视图方式来显示激活和特征,有逆变换、激活最大化和卡通化。

1.5 卷积神经网络的GPU实现和cuDNN库

GPU用于大规模数据集中训练卷积神经网络。

编写GPU代码可在CUDN环境下进行。

CUDN是一种用于GPU通用计算的并行计算平台和编程模型。

CUDN提供了一个深度神经网络的GPU加速库cuDNN,完成了对卷积、池化、归一化、激活函数层等标准操作的快速实现。

1.6 卷积神经网络的平台和工具

TensorFlow,Caffe2,MXNet

  • 预备知识

1.激活函数:非线性的sigmoid函数、双曲正切函数tanh、硬限幅函数hardlim、斜面函数ramp、校正线性单元ReLU、渗漏校正线性单元LReLU、参数校正线性单元PReLU、指数线性单元ELU、软加函数softplus、最大输出函数maxout、软最大输出函数softmax.

2.矩阵运算:转置矩阵、180°旋转、两矩阵乘积、两矩阵加减、两矩阵阿达玛积(逐元素积)、克罗内克积、逐元函数

3.导数公式:sigmoid函数、双曲正切函数tanh、校正线性单元ReLU、逐元向量函数、逐元矩阵函数等

4.梯度下降算法:无约束条件下计算连续可微函数极小值,用负梯度方向作为下降方向。

5.反向传播算法(通用、逐层):前馈网络神经只有从编号较小的神经元才能连接到编号较大的神经元,没有反馈连接。(反传误差信号,灵敏度,期望值,样本的输出误差,激活函数、偏置值、权值,输入输出节点,隐含节点);多层感知器,各层神经元激活输出,权值矩阵。

6.通用逼近定理:在理论上,剁成感知器所表达的输入输出映射能够充分逼近任何一个定义在单位立方体上的连续函数。

7.内外卷积运算

8.膨胀卷积运算:膨胀卷积支持以倍数方式扩大感受野。

9.上下采样运算:平均下采样、最大下采样、平均池化、最大池化、平均上采样、最大上采样。

10.卷积面运算:一个卷积层可以包含很多个卷积面。

卷积面、卷积特征图、卷积图、特征图

每个卷积面都是根据输入(一幅或多幅图像)、卷积核(一个矩阵、卷积滤波器)、激活函数来计算。

10.池化面计算:下采样过程又称池化过程。池化面的输入可以是卷积面,则分别对每个面进行不重叠采样,相应地得到一组下采样面。也可以是池化面。

11.局部响应归一化:为了改善卷积神经网络的效果,有时需要对某一层的所有卷积面(或池化面)逐一进行归一化处理。

12.权值偏执初始化:在训练神经网络之前,必须对其权值和偏置进行初始化。高斯初始化(根据某个高斯分布进行初始化权值、均值选0,方差按经验人工选择)、Xavier初始化(保持信息在神经网络中流动过程中的方差不变)、MSRA初始化。

13.丢失输出:在训练神经网络时,若训练样本较少,一般考虑正则化技巧防止过拟合。丢失输出是一种正则化技巧,通过阻止特征检测器的共同作用来提高神经网络的泛化能力,随机让网络中的某些节点不工作。

14.丢失连接:对丢失输出的简单改进。随机让某些连接不工作。

丢失输出是用随机掩膜来限制某个层的输出。丢失连接用随机掩膜仙限制某个层的连接权值。

15.随机梯度下降算法:应用条件是目标函数能够表示成一组可微函数之和。对神经网络来说,随机梯度下降算法有两种基本模式,在线(先把所有样本随机洗牌,再逐一计算每个样本对梯度的贡献去更新权值)和迷你块(把所有样本随机洗牌后分为若干大为m的块,在更新权值)。

16.块归一化:把对输入数据的归一化扩展到对其他层的输入数据进行归一化,以减小内部数据分布偏移的影响。即提升训练速度,又减少人工干预。

17.动态规划算法:求解多阶段决策过程的最优化数学方法,核心是贝尔曼最优化原理,贝尔曼方程。

三、卷积神经网络的现代雏形——LeNet

1984年,神经认知机是被认为第一个实现的卷积神经网络。

1998年,将卷积层和下采样层结合,建立卷积神经网络的现代雏形——LeNet.

3.1 LeNet的原始模型

输入是一个矩阵或头像。大小为32X32.

不计输入层,模型共有7层,3个卷积层,2个下采样层,1个全连接层,1个输出层。

C1层-第1个卷积层(6个28X28卷积特征图,由5X5卷积核对输入图像进行内卷积得到,其中每个神经元与输入中相应的5X5区域相连)

S2层-第1个下采样层(6个14X14下采样特征图,每个下采样特征图由C1层相应的卷积特征图经过大小为2X2的窗口进行平均池化,再利用激活函数Sigmoid进行一次非线性变换处理得到。利用局部相关性减少后续数据处理量,同时保留有用信息)

C3层-第2个卷积层(6个10X10卷积特征图,由5X5卷积核对输入图像进行内卷积得到,其中每个神经元与输入中相应的5X5区域相连)

记住原始模型结构示意图。

3.2 LeNet的标准模型

记住标准模型示意图。

标准模型和原始模型主要区别在于把非线性变换从下采样层移到了卷积层,且把输出层的激活函数成欧几里得径向函数替换成了软最大函数。

结构上有输入层、卷积层、池化层、卷积层、池化层、全连接层、输出层。

3.3 LeNet的算法学习

作为一种特殊的多层感知器,LeNet可以用反向传播算法来学习其中的参数。

用梯度下降的思想给LeNet建立反向传播算法。

3.4 LeNet的Caffe代码实现及说明

LeNet的Caffe代码实现共3个文件,网络结构文件(定义网络的训练数据目录、测试数据)、求解器配置文件(为求解器训练和测试网络的有关超参数)、伪概率计算文件(模型训练好后对未知样本计算分类伪概率)。

3.5 LeNet的手写数字识别案例

3.6 LeNet的交通标志识别案例

3.7 LeNet的交通路网提取案例

四、卷积神经网络的突破模型AlexNet

4.1 AlexNet的模型结构

2012年AlexNet大规模图像分类,通过使用GPU显卡和校正线性单元ReLU,极大提高了卷积神经网络的学习训练速度。

结构:输入层、5个卷积层(其中3个卷积层做了最大池化)、3个全连接层。

和LeNet比较AlexNet的优点:使用ReLU激活函数、使用GPU函数、局部响应归一化、重叠池化、减少过拟合

4.2 AlexNet的Caffe代码实现及说明

4.3 AlexNet的Caffe的大规模图像分类案例及演示效果

4.4 AlexNet的TensorFlow大规模图像分类案例及演示效果

 

五、卷积神经网络的应变模型SPPNet

通常卷积神经网络要求输入图像具有固定的大小,这限制了输入图像的高宽比和大小。。SPPNet空间金字塔池化网络,在最后一个卷积层和第一个全连接层间插入了一个空间金字塔池化层,利用空间金子塔池化层,SPPNet无需对输入图像进行裁剪或变形,就可以处理输入图像的大小不同的情况。

5.1 SPPNet的模型结构

裁剪可能造成目标缺失,变形可能产生不必要的几何扭曲,进而导致识别率的降低。

传统卷积神经网络图像处理过程:

图像---裁剪/变换---卷积层---全连接层---输出

SPPNet图像处理过程:

图像---卷积层---空间金子塔池化---全连接层---输出

训练方法有单尺度训练和多尺度训练。

单尺度训练是多尺度训练的基础,主要是从图像中裁剪固定大小的输入来训练一个网络。目的是保证多级池化的特性。

多尺度训练的目的是处理任意大小的图像,需要考虑至少2中不同的预定大小。

SPPNet能提高卷积网络在图像分类方面的性能。

 

六、卷积神经网络的加深模型VGGNet

AlexNet的出色工作表现证明,通过增加网络的深度可以提升网络的性能。

VGGNet的核心思想是利用较小的卷积核来增加网络的深度,有两种基本类型:VGGNet-16,VGGNet-19

七、卷积神经结构的跨连接模型

标准卷积神经网络每层只能从相邻的前一层接收输入,并把输出传递给相邻的后一层。这种结构限制了卷积神经网络的多样性和灵活性,在结构加深时常常越来越难训练。一种有效的解决方案是引入跨层连接,建立卷积神经网络的跨连模型。跨连模型允许每层可以与非相邻层相连。其深度可达成百上千层。

7.1 快道网络Highway Net

随着网络结构的不断加深,梯度消失或爆炸的问题可能会越来越严重,可能导致神经网络的学习和训练变得越来越困难。通过初始化、丢失输出、丢失连接、块归一化等技巧,这种困难能够得到一定程度的缓解,另一种解决方法是在网络中增加信息传递的快速通路,建立快道网络。在快道网络中,信息可以无障碍的跨越多层直接传递到后面的层。

在普通的分层网络中,每层都是对输入进行非线性映射变换。

快道网络的基本思想是定义两个非线性映射变换,构造快道层。

7.2 残差网络ResNet

随着层数的增加,深度网络一般会越来越难训练。有些网络在开始收敛时,还开始出现退化的情况,导致准确率很快达到饱和,出现层次越深、错误率越高的现象。而这种退化并不是由于过拟合引起,而是因为增加了更多的层数。深度残差学习就是解决退化问题,以便能够训练百上千的残差网络。

与普通网络的区别在于,残差网络引入了跨层连接,简称捷径连接,构造了残差模块。

7.3密连网络DenseNet

残差网络一般只采用跨越2-3层的跨层连接形成残差模块。密连连接网络通过引入密连模块代替残差模块进一步扩展了残差模块的应用。其和残差模块的区别在于密连模块内部之间允许任意两个非相邻层之间进行跨层连接。

密连网络的优点有:缓和梯度消失、加强特征传播、促进特征重用、减少参数数量。

密连网络是指包括一个或多个密连模块的卷积神经网络。

7.4 拼接网络CatNet

拼接网络的优点是能够集成不同尺度的图像特征进行分类和识别。

拼接网络中包含r个交错的卷积层和池化层,再跟一个全连接层和输出层。

在拼接网络中,所有池化层都采用不重叠的2X2窗口池化。

全连接层是若干个卷积层和池化层的激活通过跨层连接产生的拼接向量。

八、卷积神经网络的区域模型

与图像分类任务不同,目标检测需要从图像中检测并定位特定的多个目标。

利用卷积网络进行目标检测的基本思路是先推荐候选区域,再利用卷积网络对候选区域分类。

 

8.1区域卷积网络R-CNN

R-CNN是一种目标检测模型,采用滑动窗口的策略定位,在“利用区域识别”的思想指导下,缺德了目标检测和语义分割的成功。

         R-CNN包括3个关键模块:区域推荐、特征提取、区域分类。

九、卷积神经网络的分割模型

十、卷积神经网络的特殊模型

十一、卷积神经网络的强化模型

十二、AlphaGo

 

2017-05-31 19:48:26 zhonghua18517 阅读数 4174

参考书籍《Tensorflow实战Google深度学习框架》郑泽宇等

     深度学习最早兴起于图像识别,但是在短短的几年之内,深度学习推广到了机器学习的各个领域,并且都有很出色的表现。具体领域包含图像识别、语音识别、自然语言处理、机器人、生物信息处理、化学、电脑游戏、搜索引擎、网络广告投放、医学自动诊断和金融等各大领域均有应用。

计算机视觉

计算机视觉是深度学习技术最早实现突破性成就的领域。随着2012年深度学习算法AlexNet赢得图像分类比赛ILSVRC冠军,深度学习开始被人们熟知。ILSVRC是基于ImageNet图像数据集举办的图像识别比赛,在计算机视觉领域拥有极高的影响力。从12年15年之间,通过对深度学习算法的不断探究,ImageNet图像分类的错误率以每年4%速度递减;到15年,深度学习算法的错误率仅为4%,已经成功超过人工标注的错误率5%,实现了计算机领域的一个突破。

在ImageNet数据集上,深度学习不仅突破了图像分类的技术瓶颈,同时也突破了物体识别技术的瓶颈。物体识别比图像分类的难度更高。图像分类只需判断图片中包含了哪一种物体;但在物体识别中,不仅要给出包含了哪些物体,还要给出包含物体的具体位置。13年,在ImageNet数据集上使用传统机器算法实现物体识别的平均正确率均值(mean average precision,MAP)为0.23;而在16年时,使用了6种不同深度学习模型的集成算法将MAP提高到0.66。

技术进步的同时,工业界也将图像分类、物体识别应用于各种产品中,如无人驾驶、Youtube、地图、图像搜索等。谷歌可通过图像处理技术归纳出图片中的主要内容并实现以图搜图的功能。这些技术在国内的百度、阿里、腾讯等公司已经得到了广泛的应用。

在物体识别问题上,人脸识别是一类应用非常广泛的技术。它可以应用到娱乐行业、安防以及风控行业。在娱乐行业中,基于人脸识别的相机自动对焦、自动美颜基本已成为每款自拍软件的必备功能。在安防、风控领域,人脸识别应用更是大大提高了工作效率并节省了人力成本。除此,还可用于保证账户的登陆和资金安全,如支付宝的人脸识别登陆等等。

传统机器学习算法很难抽象出足够有效的特征,使得学习模型既可区分不同的个体,又可以尽量减少相同个体在不同环境的影响。深度学习技术可从海量数据中自动学习更加有效的人脸识别特征表达。在人脸识别数据集LFW上,基于深度学习算法的系统DeepID2可以达到99.47%的正确识别率。

在计算机识别领域,光学字符识别也是使用深度学习较早的领域之一。光学字符识别,就是使用计算机程序将计算机无法理解的图片中的字符(如数字、字母、汉字等符号),转化为计算机可以理解的文本形式。如常用的MINIST手写体字库,最新的深度学习算法可以达到99.77%的正确率。谷歌将数字识别技术应用到了谷歌地图的开发中,开发的数字识别系统可以识别任意长度的数字,在SVHN数据集上可达到96%的正确率,到2013年,谷歌利用这个系统抽取了超过1亿个门牌号码,大大加速了谷歌地图的制作过程。此外,光学字符识别在谷歌图书中也有应用,谷歌图书通过文字识别技术将扫描的图书数字化,从而实现图书内容的搜索功能。

语音识别

深度学习在语音识别领域同样取得突破性进展。2009年深度学习的概念被引入语音识别领域,并对该领域产生了重大影响。短短几年之间,深度学习的方法在TIMIT数据集上将给予传统混合高斯模型(GMM)的错误率从21.7%降低到了使用深度学习模型的17.9%。到2012年,谷歌基于深度学习建立的语音识别模型已经取代了混合高斯模型,并成功将谷歌语音识别的错误率降低了20%。随着当今数据量的加大,使用深度学习的模型无论在正确率的增长数值上还是在增长比率上都要优于混合高斯模型。这样的增长在语音识别的历史上从未出现,深度学习之所以有这样的突破性进展,最主要的原因是其可以自动的从海量数据中提取更加复杂且有效的特征,而不是如混合高斯模型中需要人工提取特征

基于深度学习的语音识别已经应用到了各个领域,如同声传译系统、苹果公司推出的Srri系统,科大讯飞的智能语音输入法、百度和腾讯也开发了相关产品。同声传译系统不仅要求计算机能够对输入的语音进行识别,还要求计算机将识别出来的结果翻译成另外一门语言,并将翻译好的结果通过语音合成的方式输出。微软研发的同声传译系统已经成功应用到Skype网络电话中。

自然语言处理

在过去几年之中,深度学习已经在语言模型、机器翻译、词性标注、实体识别、情感分析、广告推荐以及搜索排序等方向取得突出性成就。深度学习在自然语言处理问题上能够更加智能、自动地提取复杂特征。在自然语言处理领域,使用深度学习实现智能特征提取的一个非常重要的技术是单词向量。单词向量是深度学习解决很多上述自然语言处理问题的基础

传统解决自然语言所表达的语义的方法主要依靠建立大量的语料库,通过这些语料库,可以大致刻画自然语言中单词之间的关系。然而语料库的建立需要花费很多人力物力,而且扩张能力有限,单词向量提供了一种更加灵活的方式来刻画单词的含义。单词向量会将每个单词表示成一个相对较低维度的向量(比如100维),对于语义相近的单词,其对应的单词向量在空间上的距离也应该接近。因而单词的相似度可用空间距离来描述。单词向量不需要人工的方式来设定,它可以从互联网海量非标注文本中学习得到

通过对自然语言中单词更好的抽象与表达,深度学习在自然语言处理的很多核心问题上都有突破性进展,比如机器翻译。根据谷歌实验的结果,在主要的语言翻译上,使用深度学习可以讲机器翻译算法的质量提高55%到85%。

情感分析是自然语言处理问题中一个非常经典的应用。情感分析最核心的问题就是从一段自然语言中判断作者对评价的主体是好评还是差评。情感分析在工业界有着非常广泛的应用。随着互联网的发展,用户会在各种不同的地方表达对于不同产品的看法。对于服务业或制造业,及时掌握用户对其产品的 或者服务的评价是提高用户满意度非常有效的途径。在金融业,通过分析用户对不同产品和公司的态度可以对投资选择提供帮助。在情感分析问题上,深度学习可以大幅提高算法的准确率。在开源的Sentiment Treebank数据集上,使用深度学习的算法可将语句层面的情感分析正确率从80%提高到85.4%;在短语层面上,可将正确率从71%提高到80.7%。



深度学习入门

阅读数 47

图像处理入门教程

阅读数 30204

没有更多推荐了,返回首页