python 书籍推荐 大数据

2019-03-27 11:19:39 weixin_34072637 阅读数 321

导语: 我们整理出2019年4月上旬值得一读的十本云计算 + 大数据技术书籍,在文羡春,阅读愉快。

1.《KVM 实战:原理、进阶与性能调优》

KVM_

作者:任永杰 程舟

内容简介:

阿里云和 Intel 的云计算与虚拟化技术专家联合撰写。
系统性、实战性兼备的 KVM 学习手册,从基本原理、实战进阶和性能优化三个维度详细讲解 KVM 的各种技术细节

2.《Kubernetes 进阶实战》

Kubernetes_

作者:马永亮

内容简介:

马哥教育CEO马哥(马永亮)撰写。基于K8S 1.12版本,透彻解析技术架构、组件应用、扩缩容、网络与存储策略,以及技术进阶等话题。

3.《企业数据湖》

_

作者:[印] 汤姆斯·约翰(Tomcy John),潘卡·米斯拉(Pankaj M)

内容简介:

本书分为三个主要部分。第一部分介绍了数据湖的概念、企业中数据湖泊的重要性,以及 Lambda 架构的最新进展。第二部分将深入研究使用 Lambda 架构构建数据湖的主要组件,介绍了一些流行的大数据技术,如 Apache Hadoop、Spark、Sqoop、Flume 和弹性搜索。第三部分以实际操作的方式展示如何实现一个企业数据湖,并介绍了几个实际的用例,而且展示了如何将其他外围组件添加到湖中以提高效率。在本书的最后,读者将能够选择正确的大数据技术,使用 Lambda 架构模式来构建企业数据湖。

4.《Python 数据分析与挖掘实战》

Python_

作者:张良均、王路、谭立云、苏剑林等

内容简介:

10余位数据挖掘领域专家和科研人员,10余年大数据挖掘咨询与实施经验结晶。
从数据挖掘的应用出发,以电力、航空、医疗、互联网、生产制造以及公共服务等行业真实案例为主线,深入浅出介绍Python数据挖掘建模过程,实践性极强。

5.《Python 高级数据分析:机器学习、深度学习和 NLP 实例》

Python_

作者:[印] 萨扬·穆霍帕迪亚(Sayan Mukhopadhyay)

内容简介:

本书包含数据分析实例,涵盖了从基础统计学到 ETL、深度学习和物联网的广泛领域,给出了产业分析项目各个技术方面的概念。

6.《自然语言处理 Python 进阶》

_Python_

作者:[印] 克里希纳·巴夫萨(Krishna Bhavsar)

内容简介:

本书包含的实例可以让你学会使用 NLTK(处理 NLP 任务的主要 Python 平台)完成自然语言处理的各种任务,涵盖了自然语言理解、自然语言处理和句法分析等。

7.《面向自然语言处理的深度学习:用 Python 创建神经网络》

_

作者:[印] 帕拉什·戈雅尔(Palash Goyal)苏米特·潘迪(Sumit Pandey)卡兰·贾恩(Karan Jain)著

内容简介:

通过阅读本书,带你了解 NLP 中使用的深度学习概念以及神经网络模型示例,并帮助你在 TensorFlow 和 Keras 中使用叠加双向 LSTM 创建自己的聊天机器人。

8.《企业级大数据平台构建:架构与实现》

_

作者:朱凯

内容简介:

这是一部教你如何从0到1架构与实现一个企业级大数据平台的著作,是作者在大数据和系统架构领域超过20000小时的经验总结。作者从横向视角出发,手把手教你如何拉通 Hadoop 体系技术栈,以此搭建一个真实可用、安全可靠的大数据平台。通过阅读本书,一定能从本书的内容中找到灵感和思路来应对实际工作中面对的问题。

9.《大数据技术体系详解:原理、架构与实践》

_

作者:董西成

内容简介:

本书站在大数据落地应用的角度,系统阐述大数据从数据收集,到数据存储、分布式协调及资源管理、计算引擎、分析工具,再到数据可视化这一完整流程,本书既包含主要技术的实现原理及其框架,也包含了具体落地指导,是帮助企业和个人整体了解大数据框架不可多得的参考书。

10.《RocketMQ技术内幕》

RocketMQ_

作者:董西成

内容简介:

本书由 RocketMQ 社区早期的布道者和技术专家撰写,Apache RocketMQ 创始人/Linux OpenMessaging 创始人兼主席/Alibaba Messaging 开源技术负责人冯嘉对其高度评价并作序推荐。

本书对 RocketMQ 的核心技术架构,以及消息发送、消息存储、消息消费、消息过滤、顺序消息、主从同步(HA)、事务消息等主要功能模块的实现原理进行了深入分析,同时展示了源码阅读的相关技巧;总结了大量 RocketMQ 的使用技巧。通过阅读本书,读者将深入理解消息中间件和底层网络通信机制的核心知识点。

结语:以上十本书是小编联合华章图书推荐给大家干货满满的技术书籍,祝大家阅读愉快,下次见喽。

2018-05-14 09:11:11 zm_zhangmin 阅读数 321
Python玩转大数据—221人已学习
课程介绍    
jpg
    该课程采用时下后的编程语言Python讲解,囊括了当前火的大数据技术Spark/Hadoop/Hive知识,学习环境是基于Docker搭建的5个容器。通过这门课程不仅可以学到Spark/Hadoop/Hive大数据知识,还可以学到当下后的云计算技术Docker.
课程收益
    通过这门课程,带领广大学员入门大数据,胜任大数据Spark开发工作,熟悉Docker云计算容器技术,掌握Spark基于RDD的原理知识,熟练使用Spark Sql进行数据分析,挑战Spark ML机器学习。
讲师介绍
    张敏更多讲师课程
    大数据工程师/算法工程师/大数据讲师,毕业于西华大学软件工程专业。在大数据领域有着丰富的实战经验。 擅长领域:Spark/Hadoop、算法设计及系统架构、数据挖掘、机器学习~。在Spark内核方面有深入的研究,参与Scala基础入门,Spark内核及性能优化相关书籍部分内容的编写工作。
课程大纲
  第1章:课程简介
    1.课程学习路径简介  13:23
  第2章:Docker知识快速入门
    1.什么是Docker技术  8:21
    2.为什么要使用Docker  4:53
    3.Docker中的基本概念  5:42
    4.Docker安装  4:14
    5.Docker获取镜像  8:19
    6.Docker创建镜像(1)  9:06
    7.Docker创建镜像(2)  10:25
    8.Docker本地导入镜像  7:26
    9.Docker保存、载入、删除镜像  5:14
    10.Docker容器的创建、启动和停止  11:19
    11.Docker命令进入容器后台  8:59
    12.Docker命令导入导出和删除容器  7:46
    13.Docker公有仓库Docker Hub  10:26
    14.Docker私有仓库的创建  8:36
    15.Docker中的数据卷  15:26
    16.Docker制作数据卷容器  10:30
    17.Docker数据卷容器实现备份、恢复和迁移  11:06
    18.Docker容器绑定外部端口和IP  11:26
    19.容器互联  8:19
    20.一个完整的例子  35:10
    21.Dockerfile基本结构讲解  8:33
    22.Dockerfile中常见的13中指令  21:48
  第3章:Docker搭建Spark学习环境,一键部署So Easy!
    1.Spark基础核心讲解  18:59
    2.镜像制作方案和集群网络规划及子网配置和SSH无密钥登录配置  17:04
    3.Hadoop、HDFS、Yarn配置文件详解  18:04
    4.Spark及Hive配置文件详解  13:11
    5.Dockerfile制作Hadoop/Spark/Hive镜像  26:51
    6.启动5个容器并启动Hadoop/Spark/Hive集群  38:11
  第4章:pyspark基础及原理快速入门,细致详尽
    1.pyspark模块介绍  14:12
    2.SparkContext编程入口及Accumulator  17:45
    3.addFile方法和SparkFiles的get方法详解  22:24
    4.binaryFiles读取二进制文件  5:02
    5.Broadcast广播变量原理及setLogLevel设置日志级别  17:05
    6.文件的读取和保存及runJob方法和parallelize创建RDD  23:31
    7.union方法和statusTracker详解  7:16
    8.aggregate和aggregateByKey的异同  16:48
    9.collectAsMap和fold方法的立即及正确使用  16:42
    10.foreach和foreachPartitions原理及性能对比  6:16
    11.histogram和lookup方法作用及使用  17:47
    12.reduce、sampleStdev等方法详解  16:54
    13.使用sequenceFile读写序列文件  6:44
    14.takeSample,treeAggregate方法使用  17:55
    15.coalesce,repartition方法使用技巧及原理  20:41
    16.cogroup、combineByKey、aggregateByKey的异同及性能对比  17:07
    17.foldByKey,groupBy,groupWith三个方法的对比及原理  18:14
    18.集合操作intersection,subtract,union的使用  4:39
    19.join,fullOuterJoin等RDD的关联操作详解  5:58
    20.glom,mapPartions,mapValues详解  13:20
    21.pipe,randomSplit,sampleByKey等方法详解  8:03
    22.sortBy,sortByKey,values,zip等方法详解  9:25
    23.StorageLevel中常见的存储级别及使用  4:34
    24.SparkConf对象详解  11:04
    25.广播变量深入讲解  6:36
    26.Accumulator累加器详解  4:05
    27.StatusTracker对Spark作业运行状态监控  4:49
    28.Catalog对象详解  36:07
  第5章:pyspark之SparkSQL,入门到精通
    1.pyspark之SparkSQL模块介绍  14:29
    2.SparkSession编程入口  13:20
    3.掌握创建DataFrame的八种方法  21:13
    4.range和udf用户自定义函数讲解  20:39
    5.agg聚合方法及设置数据缓存  21:17
    6.colRegex及corr计算皮尔森相关系数  19:57
    7.crossJoin笛卡尔积和cube多维数据立方体  18:25
    8.explain,dropna及filter和where算子详解  19:33
    9.groupBy,intersect,join方法详解  19:22
    10.rollup,replace和randomSplit方法详解  18:22
    11.summary统计方法及toPandas转换为Pandas对象  29:56
    12.GroupedData对象  30:05
    13.Column对象(上)  30:24
    14.Column对象(下)  19:06
    15.Row对象详解  5:35
    16.DataFrameNaFunctions空数据处理  12:24
    17.DataFrameStatFunctions统计模块详解  11:05
    18.DataFrameReader读取外部数据生成DF  20:04
    19.DataFrameWriter当DF写入外部存储  22:19
    20.types类型详解  15:03
    21.functions函数模块详解  16:06
  第6章:pyspark机器学习,挑战高薪
    1.本地密集、稀疏向量和LabeledPoint向量  22:55
    2.本地矩阵和四种分布式矩阵  32:24
    3.Statistics基本的统计方法  20:18
    4.假设检验、随机数据的生成和核密度估计  13:23
    5.Piplines构建机器学习工作流  43:43
    6.TF-IDF词频逆文档数和Word2vec词向量表示  27:45
    7.CountVectorizer和Tokenizer和正则特征  14:17
    8.PCA主成分分析、多项式核函数扩展特征空间、数据正则化  34:13
    9.分桶器、向量组合器、SQL转换器及元素缩放器  17:22
    10.特征个数过滤器、缺失值处理器、类别编码器、向量类别判断器  21:26
    11.逻辑回归算法、原理、公式推导及二分类、多分类实践  28:43
    12.完全理解L1、L2正则化及其作用  22:26
    13.决策树算法原理,随机森林,梯度提升树代码实践  41:45
    14.多层感知机分类算法  13:05
    15.SVM支持向量机分类算法  21:41
    16.OneVsRest多分类算法  5:37
    17.Naive Bayes朴素贝叶斯分类器  10:03
    18.Linear Regression线性回归  24:15
    19.GLMs广义线性模型  7:00
    20.回归树  11:22
    21.K-Means聚类算法  21:06
    22.二分K均值分类  6:24
    23.GMM高斯混合模型  7:30
    24.基于ALS交替最小二乘的协同过滤推荐算法电影推荐实践  37:14
    25.FP-Growth频繁项集推荐算法  14:39
    26.超参数网格搜索  21:22
    27.大数据生态圈的十年  2:56
大家可以点击【查看详情】查看我的课程
2020-01-17 14:34:35 networkhunter 阅读数 213

python Cookbook 3rd Edition Documentation

书籍链接为:
https://python3-cookbook.readthedocs.io/zh_CN/latest/

在这里插入图片描述

《利用Python进行数据分析·第2版》

书籍访问链接为:
https://github.com/iamseancheney/python_for_data_analysis_2nd_chinese_version

《机器学习实战》

在这里插入图片描述

《机器学习实战》

在这里插入图片描述

《利用python进行数据分析》

在这里插入图片描述

《Python数据分析与挖掘实战》

在这里插入图片描述

建议买书,也可以下载pdf版本。

2018-08-08 15:33:48 qq_42914528 阅读数 5369

近年来,Python正在成为Java、C++以外的第三大语言,但事实上Python并不是一门新语言, Python第一版发行于1991年其早于1995年发行第一版的Java。随着人工智能、大数据的发展,Python的地位正在逐步提高,其相对简单的代码编写,成为众多人选择学习的原因。举例来说,一个程序用C语言写可能要1000行代码,用Java写要100行,但是用Python写只要10行,此外Python被昵称为胶水语言,能够把用其他语言制作的模块(尤其是C/C++)轻松地联结在一起。

那么更多应用Java语言的大数据技术,又是如何选择了Python呢?众所周知,并不是所有企业都能自己产生数据,从而用于决策辅助,而更多的互联网企业如电商等大部分是要靠爬虫来抓取互联网数据进行分析。而Python在网络爬虫领域有着强势地位,Python由于能够很好的支持协程(Coroutine)操作,基于此发展起来很多并发库,如Gevent,Eventlet,还有Celery之类的分布式任务框架。有了对高并发的支持,网络爬虫才真正可以达到大数据规模。所以学习Python也是成为大数据工程师的一个捷径。

尽管目前Python语言非常受欢迎,稳居编程语言前五位,但其仍旧不能撼动Java语言的地位,因此大数据学习仍旧要以Java语言作为基础,但在学习Java语言之后,学习Python会变得更加容易。且其后续将会与人工智能联系密切。

虽然Python学习简单,但是无基础的小白自学仍旧会遇到很多瓶颈,通过网络教程或者书籍可以学习基础知识,但是在缺乏经验丰富的从业人员指导的情况下,学习进程会非常缓慢。所以对于想学习python语言的朋友建议你还是找位老师或是靠谱的培训班系统学习。

在学习中有迷茫不知如何学习的朋友可以关注我们公众号。无论你是大牛还是小白,是想转行还是想入行都可以来了解一起进步一起学习!

 

                                                                    欢迎关注公众号,和我一起成长!

                                                         

2018-06-09 23:14:43 qintaiwu 阅读数 3593

【前言】

本文首发于:泰泰博客——Python计算机视觉编程,大数据、人工智能学习书籍。

今天给大家推荐一本好书——Python计算机视觉编程。如果你在寻找关于大数据相关的学习书籍或准备“进军”大数据、人工智能的朋友,那么你可以看一下今天泰泰分享的这一本书(电子书)。

该书是计算机视觉编程的权威实践指南,依赖 Python 语言讲解了基础理论与算法,并通过大量示例细致分析了对象识别、基于内容的图像搜索、光学字符识别、光流法、跟踪、三维重建、立体成像、增强现实、姿态估计、全景创建、图像分割、降噪、图像分组等技术。另外,书中附带的练习还能让读者巩固并学会应用编程知识。

这本书适合的读者是 :有一定编程与数学基础,想要了解计算机视觉的基本理论与算法的学生,以及计算机科学、信号处理、物理学、应用数学和统计学、神经生理学、认知科学等领域的研究人员和从业者。

Programming_Computer_Vision_with_Python

章节目录

第 1 章 基本的图像操作和处理 ............................................................................................ 1
1.1 PIL:Python 图像处理类库 .......................................................................................... 1
1.1.1 转换图像格式 ................................................................................................................ 2
1.1.2 创建缩略图 .................................................................................................................... 3
1.1.3 复制和粘贴图像区域 .................................................................................................... 3
1.1.4 调整尺寸和旋转 ............................................................................................................ 3
1.2  Matplotlib ....................................................................................................................... 4
1.2.1 绘制图像、点和线 ........................................................................................................ 4
1.2.2 图像轮廓和直方图 ........................................................................................................ 6
1.2.3 交互式标注 .................................................................................................................... 7
1.3  NumPy ............................................................................................................................ 8
1.3.1 图像数组表示 ................................................................................................................ 8
1.3.2 灰度变换 ........................................................................................................................ 9
1.3.3 图像缩放 ...................................................................................................................... 11
1.3.4 直方图均衡化 .............................................................................................................. 11
1.3.5 图像平均 ...................................................................................................................... 13
1.3.6 图像的主成分分析(PCA)..................................................................................... 14
1.3.7 使用 pickle 模块 ......................................................................................................... 16
1.4  SciPy .............................................................................................................................. 17
1.4.1 图像模糊 ...................................................................................................................... 18
1.4.2 图像导数 ...................................................................................................................... 19
1.4.3 形态学:对象计数 ..................................................................................................... 22
1.4.4 一些有用的 SciPy 模块 ........................................................................................... 23
1.5 高级示例:图像去噪 .................................................................................................... 24
练习 .......................................................................................................................................... 28
代码示例约定 ......................................................................................................................... 29

第 2 章 局部图像描述子 ......................................................................................................... 31
2.1 Harris 角点检测器 ............................................................................................................ 31
2.2 SIFT(尺度不变特征变换)..............................................................................................39
2.2.1 兴趣点 .......................................................................................................................... 39
2.2.2 描述子 .......................................................................................................................... 39
2.2.3 检测兴趣点 .................................................................................................................. 40
2.2.4 匹配描述子 .................................................................................................................. 43
2.3 匹配地理标记图像 ......................................................................................................... 47
2.3.1 从 Panoramio 下载地理标记图像 ......................................................................... 47
2.3.2 使用局部描述子匹配 .................................................................................................. 50
2.3.3 可视化连接的图像 ...................................................................................................... 52
练习 ............................................................................................................................................. 54

第 3 章 图像到图像的映射 ..................................................................................................57
3.1 单应性变换 .......................................................................................................................57
3.1.1 直接线性变换算法 ...................................................................................................... 59
3.1.2 仿射变换 ...................................................................................................................... 60
3.2 图像扭曲 ...........................................................................................................................61
3.2.1 图像中的图像 .............................................................................................................. 63
3.2.2 分段仿射扭曲 .............................................................................................................. 67
3.2.3 图像配准 ...................................................................................................................... 70
3.3 创建全景图 ...................................................................................................................... 76
3.3.1 RANSAC ...................................................................................................................... 77
3.3.2 稳健的单应性矩阵估计 .............................................................................................. 78
3.3.3 拼接图像 ...................................................................................................................... 81
练习 ..............................................................................................................................................84

第 4 章 照相机模型与增强现实 ..........................................................................................85
4.1 针孔照相机模型 ...............................................................................................................85
4.1.1 照相机矩阵 .................................................................................................................. 86
4.1.2 三维点的投影 .............................................................................................................. 87
4.1.3 照相机矩阵的分解 ...................................................................................................... 89
4.1.4 计算照相机中心 .......................................................................................................... 90
4.2 照相机标定 ...................................................................................................................... 91
目录 | VII
4.3 以平面和标记物进行姿态估计 .......................................................................................93
4.4 增强现实 ........................................................................................................................... 97
4.4.1 PyGame 和 PyOpenGL ............................................................................................ 97
4.4.2 从照相机矩阵到 OpenGL 格式 ................................................................................98
4.4.3 在图像中放置虚拟物体 ............................................................................................ 100
4.4.4 综合集成 .................................................................................................................... 102
4.4.5 载入模型 .................................................................................................................... 104
练习 .................................................................................................................................................. 106

第 5 章 多视图几何 ....................................................................................................................... 107
5.1 外极几何 ................................................................................................................................. 107
5.1.1 一个简单的数据集 .................................................................................................... 109
5.1.2 用 Matplotlib 绘制三维数据 ................................................................................... 111
5.1.3 计算 F:八点法 ......................................................................................................... 112
5.1.4 外极点和外极线 ........................................................................................................ 113
5.2 照相机和三维结构的计算 ............................................................................................ 116
5.2.1 三角剖分 .................................................................................................................... 116
5.2.2 由三维点计算照相机矩阵 ........................................................................................ 118
5.2.3 由基础矩阵计算照相机矩阵 .................................................................................... 120
5.3 多视图重建 ...................................................................................................................... 122
5.3.1 稳健估计基础矩阵 .................................................................................................... 123
5.3.2 三维重建示例 ............................................................................................................ 125
5.3.3 多视图的扩展示例 .................................................................................................... 129
5.4 立体图像 ...........................................................................................................................130
练习 .............................................................................................................................................. 135

第 6 章 图像聚类 ....................................................................................................................137
6.1 K-means 聚类 .................................................................................................................137
6.1.1  SciPy 聚类包 .............................................................................................................. 138
6.1.2 图像聚类 .................................................................................................................... 139
6.1.3 在主成分上可视化图像 ............................................................................................ 140
6.1.4 像素聚类 .................................................................................................................... 142
6.2 层次聚类 ................................................................................................................................. 144
6.3 谱聚类 ..................................................................................................................................... 152
练习 .................................................................................................................................................. 157

第 7 章 图像搜索 ............................................................................................................................ 159
7.1 基于内容的图像检索 ............................................................................................................. 159
7.2 视觉单词 ................................................................................................................................. 160
7.3 图像索引 ................................................................................................................................. 164
7.3.1 建立数据库 ................................................................................................................ 164
7.3.2 添加图像 .................................................................................................................... 165
7.4 在数据库中搜索图像 .................................................................................................... 167
7.4.1 利用索引获取候选图像 ............................................................................................ 168
7.4.2 用一幅图像进行查询 ................................................................................................ 169
7.4.3 确定对比基准并绘制结果 ........................................................................................ 171
7.5 使用几何特性对结果排序 ............................................................................................... 172
7.6 建立演示程序及 Web 应用 ............................................................................................. 176
7.6.1 用 CherryPy 创建 Web 应用 ...................................................................................... 176
7.6.2 图像搜索演示程序 .................................................................................................... 176
练习 .................................................................................................................................................. 179

第 8 章 图像内容分类 ................................................................................................................... 181
8.1 K 邻近分类法(KNN)......................................................................................................... 181
8.1.1 一个简单的二维示例 ................................................................................................ 182
8.1.2 用稠密 SIFT 作为图像特征 ...................................................................................... 185
8.1.3 图像分类:手势识别 ................................................................................................ 187
8.2 贝叶斯分类器 .................................................................................................................190
8.3 支持向量机 .......................................................................................................................195
8.3.1 使用 LibSVM ............................................................................................................. 196
8.3.2 再论手势识别 ............................................................................................................ 198
8.4 光学字符识别 ................................................................................................................. 199
8.4.1 训练分类器 ................................................................................................................ 200
8.4.2 选取特征 .................................................................................................................... 200
8.4.3 多类支持向量机 ........................................................................................................ 201
8.4.4 提取单元格并识别字符 ............................................................................................ 202
8.4.5 图像校正 .................................................................................................................... 205
练习 .......................................................................................................................................... 206

第 9 章 图像分割 ................................................................................................................. 209
9.1 图割(Graph Cut)......................................................................................................209
9.1.1 从图像创建图 ............................................................................................................ 211
9.1.2 用户交互式分割 ........................................................................................................ 216
9.2 利用聚类进行分割 ................................................................................................................. 218
9.3 变分法 ..................................................................................................................................... 224
练习 .................................................................................................................................................. 226

第 10 章 OpenCV .......................................................................................................................... 227
10.1 OpenCV 的 Python 接口 ...................................................................................................... 227

下载地址

网盘链接: https://pan.baidu.com/s/1n43-n0U7d1N9gNSlSylflw 密码: cfsi

 

声明:本电子书是从网络搜集过来,然后再次分享给广大的学者,意在帮助到大家。书籍所有权归作者所有,如果本站侵权,请联系联系站长,谢谢!