精华内容
下载资源
问答
  • python数据库

    2019-12-24 15:14:39
    本节为python数据库,主要讲解python中数据库的相关知识。
  • 系列一:《python数据分析基础与实践》 章节1Python概况 课时2Python简介 章节2Python安装 课时3安装Anaconda 课时4使用Anaconda 章节3数据准备 课时5数据类型 – 布尔型 课时6数据类型 – 数值型 课时7数据类型 – ...

    系列一:《python数据分析基础与实践》
    章节1Python概况
    课时2Python简介
    章节2Python安装
    课时3安装Anaconda
    课时4使用Anaconda
    章节3数据准备
    课时5数据类型 – 布尔型
    课时6数据类型 – 数值型
    课时7数据类型 – 字符型
    课时8数据结构 – List
    课时9数据结构 – Tuple
    课时10数据结构 – Set
    课时11 数据结构 – Dic
    课时12 Pandas数据结构 – Series
    课时13 Pandas数据结构 – DataFrame
    课时14程序结构 – 选择
    课时15程序结构 – 循环
    课时16函数使用
    课时17向量化运算
    章节4数据处理
    课时18数据的导入 – CSV
    课时19数据的导入 – 修改文件编码
    课时20数据的导入 – TXT
    课时21数据的导入 – Excel
    课时22数据的导出
    课时23重复值处理
    课时24 缺失值处理
    课时25空格值处理
    课时26字段抽取
    课时27字段拆分
    课时28记录抽取
    课时29随机抽样
    课时30记录合并
    课时31字段合并
    课时32字段匹配
    课时33简单计算
    课时34数据标准化
    课时35数组分组
    课时36日期转换
    课时37日期格式化
    课时38日期抽取
    章节5数据可视化
    课时39散点图
    课时40折线图
    课时41饼图
    课时42柱形图
    课时43直方图
    章节6网页数据抓取
    课时44HTML简述
    课时45JSON简述
    课时46网页结构分析
    课时47解析网页
    课时48综合案例
    章节7连接MySQL
    课时49Python & MySQL
    章节8数据分析
    课时50基本统计
    课时51分组分析
    课时52分布分析
    课时53交叉分析
    课时54结构分析
    课时55相关分析

    系列二:《Python数据分析班(视频+课件+源码)》

    第一课 Python入门 (王)
    1.Python安装
    2.常用数据分析库NumPy、Scipy、Pandas、matplotlib安装
    3.常用高级数据分析库scikit-learn、NLTK安装
    4.IPython的安装与使用
    5.Python2与Python3区别简介
    案例:Python常用科学计算

    第二课 数据准备与Numpy (应)
    1.多维数组对象
    2.元素级别处理函数
    3.利用数组进行数据处理
    4.文件输入输出
    5.线性代数相关功能以及线性代数基础知识
    6.随机数的生成
    案例:通过实际代码演示NumPy的多维数组与线性代数矩阵操作,以及数据输入输出

    第三课 Python数据分析主力Pandas (应)
    1.基本数据结构
    2.基本功能:索引,选取,过滤,排序…
    3.基本统计功能
    4.缺失数据处理
    5.层次化索引
    案例:通过实际代码演示pandas处理及统计数据

    第四课 数据获取与处理 (寒)
    1.工业界常见数据格式与形态
    2.python对不同格式的数据读写
    3.pandas数据处理复习
    4.数据简易爬取与解析
    5.正则表达式:快捷捕捉你想要的信息
    案例:简易网页爬取与数据解析处理

    第五课 数据可视化Matplotlib (冯)
    1.信息可视化和数据可视化的基本原理
    2.常见可视化的方式
    3.如何针对数据特点设计可视化方案
    案例:一典型可视化方式的实现(提供课堂ipython代码实例)

    第六课 Python文本分析NLTK (加)
    1.分词
    2.词性标注
    3.情感分析
    4.词形还原
    5.拼写检查
    6.文本分类
    案例:一个典型文本分类流程的实现

    第七课 python 社交网络分析igraph(王)
    1.社交网络分析指标介绍
    2.pagerank算法
    3.igraph中多种社区发现算法介绍
    案例:如何构造一个图,节点、边操作,以及基础图算法使用和可视化案例

    第八课 Python机器学习scikit-learn(冯)
    1.scikit-learn简介
    2.机器学习的处理流程:以scikit-learn为例
    3.scikit-learn的优化方法(并行化处理,cython的使用等)
    案例:以手写数字识别和房价预估为例,如何利用sklearn进行机器学习的特征转化、建模、可视化,以及最后的模型评估

    第九课 数据科学完整案例:学会使用你的“瑞士军刀”(寒)
    1.数据获取与解析:你爱的足球队
    2.用“数据”的眼睛去看球:“一个人完成的央视数据统计”
    3.球员数据统计与可视化:“到底谁是最好的球员?”
    案例说明:从抓取数据、解析数据、分析数据,到可视化、建模完整走一遍,从实际案例中一举窥探数学科学完整工作流程

    第十课 Python分布式计算 (王)
    1.Python多进程模块Multiprocessing
    2.Python使用Hadoop分布式计算库mrjob
    3.Python使用Spark分布式计算库PySpark
    案例:分别使用MapReduce和Spark实现wordcount

    系列三《十五周完完全全学python数据分析》:
    课程大纲:
    第一部分. Python基础
    第一课:Python的概览——Python的基本介绍、安装与基本语法、变量类型与运算符
    第二课:了解Python流程控制——条件、循环语句与其他语句
    第三课:常用函数——函数的定义与使用方法、主要内置函数的介绍
    第四课:NumPy基础——数组的创建、组合与分割

    第二部分 数据分析的准备
    第五课:了解数据——数据加载、储存与文件格式;异常值的清理与缺失值处理
    第六课:数据清洗与初步分析——数据清理、转换、合并与重塑;数据汇总与描述统计;
    第七课:绘图与可视化——基本绘图命令与图形概览、图形元素设定与实例:地震危机数据的可视化
    第八课:数据聚合与分组处理——数据聚合、分组运算与转换、透视表与交叉表

    第三部分 数据分析初探
    第九课:假设检验——常用假设检验与实例分析
    第十课:线性回归——线性回归模型、分析结果呈现与解读;实例:商品价格预测
    第十一课: logistic回归——logistic回归模型讲解;实例:电信客户流失分析
    第十二课:时间序列分析——时间序列基本处理、时间序列模型构建与结果解读;实例:未来股票价格预测

    第四部分 深入数据分析
    第十三课:分类算法——knn、决策树、贝叶斯分类器等算法介绍;实例:网页注册用户预测
    第十四课:聚类算法——k-means算法介绍;实例:通信基站聚类分析
    第十五课:降维方法——主成分分析与因子分析算法介绍;实例:地区经济指标评分

    系列四:Python可视化分析教程(新增)
    1.课程简介和环境搭建16:26
    2.Numpy简介12:47
    3.散点图12:16
    4.折线图11:14
    5.条形图10:23
    6.直方图09:30
    7.饼状图06:39
    8.箱形图07:35
    9.颜色和样式12:40
    10.面向对象 VS Matlab Style09:18
    11.子图-subplot07:46
    12.多图-figure03:03
    13.网格08:03
    14.图例_legend12:09
    15.坐标轴范围06:08
    16.坐标轴刻度14:56
    17.添加坐标轴09:15
    18.注释09:29
    19.文字10:40
    20.Tex公式16:33
    21.工具栏04:49
    22.区域填充11:20
    23.形状10:26
    24.样式-美化13:41
    25.极坐标09:03
    26.函数积分图(一)14:09
    27.函数积分图(二)17:29
    28.散点-条形图(一)14:53
    29.散点-条形图(二)14:41
    30.球员能力图(一)15:37
    31.球员能力图(二)15:34
    32.股票K线图(一)10:04
    33.股票K线图(二)12:03

    系列五:2017年5月最新数据分析升级班(视频+代码+课件)
    课程大纲:
    第一课 工作环境准备及数据分析建模理论基础 (2课时)

    1. 课程介绍
    2. Python语言基础及Python 3.x新特性
    3. 使用NumPy和SciPy进行科学计算
    4. 数据分析建模理论基础
    a. 数据分析建模过程
    b. 常用的数据分析建模工具
    5. 实战案例:科技工作者心理健康数据分析(Mental Health in Tech Survey)
    第二课 数据采集与操作 (2课时)

    1. 本地数据的采集与操作
    a. 常用格式的本地数据读写
    b. Python的数据库基本操作
    2. 网络数据的获取与表示
    a. BeautifulSoup解析网页
    b. 爬虫框架Scrapy基础
    3. 回归分析– Logistic回归
    4. 实战案例:获取国内城市空气质量指数数据
    第三课 数据分析工具Pandas (2-3课时)

    1. Pandas的数据结构
    2. Pandas的数据操作
    a. 数据的导入、导出
    b. 数据的过滤筛选
    c. 索引及多重索引
    3. Pandas统计计算和描述
    4. 数据的分组与聚合
    5. 数据清洗、合并、转化和重构
    6. 聚类模型 — K-Means
    7. 实战案例:全球食品数据分析(World Food Facts)
    第四课 数据可视化 (2课时)

    1. Matplotlib绘图
    2. Pandas绘图
    3. Seaborn绘图
    4. 交互式数据可视化 — Bokeh绘图
    5. 实战案例:世界高峰数据可视化 (World’s Highest Mountains)
    第五课 时间序列数据分析 (2课时)

    1. Python的日期和时间处理及操作
    2. Pandas的时间序列数据处理及操作
    3. 时间数据重采样
    4. 时间序列数据统计 — 滑动窗口
    5. 时序模型 — ARIMA
    6. 实战案例:股票数据分析
    第六课 文本数据分析 (2课时)

    1. Python文本分析工具NLTK
    2. 分词
    3. 情感分析
    4. 文本分类
    5. 分类与预测模型 — 朴素贝叶斯
    6. 实战案例:微博情感分析
    第七课 图像数据处理及分析 (2课时)

    1. 基本的图像操作和处理
    2. 常用的图像特征描述
    3. 分类与预测模型 — 人工神经网络
    4. 实战案例:电影口碑与海报图像的相关性分析
    第八课 机器学习基础及机器学习库scikit-learn (2课时)

    1. 机器学习基础
    2. Python机器学习库scikit-learn
    3. 特征降维 — 主成分分析
    4. 实战案例:识别Twitter用户性别 (Twitter User Gender Classification)
    第九课 项目实战:通过移动设备行为数据预测使用者的性别和年龄(2课时)

    1. 交叉验证及参数调整
    2. 特征选择
    3. 项目实操
    4. 课程总结

    系列六:2018python数据分析与机器学习实战(视频+源码+课件)
    目录
    章节1:人工智能入门指南(有基础的同学请略过!)
    课时1课程介绍(主题与大纲)10:46
    课时2AI时代首选Python09:20
    课时3Python我该怎么学04:21
    课时4人工智能的核心-机器学习10:35
    课时5机器学习怎么学?08:37
    课时6算法推导与案例08:19
    章节2:Python科学计算库-Numpy
    课时7使用Anaconda安装python环境(Python新手先看这个)13:10
    课时8课程数据,代码,PPT(在参考资料界面)
    课时9科学计算库Numpy10:32
    课时10Numpy基础结构10:41
    课时11Numpy矩阵基础05:55
    课时12Numpy常用函数12:02
    课时13矩阵常用操作10:18
    课时14不同复制操作对比10:49
    章节3:python数据分析处理库-Pandas
    课时15Pandas数据读取11:50
    课时16Pandas索引与计算10:26
    课时17Pandas数据预处理实例13:01
    课时18Pandas常用预处理方法11:11
    课时19Pandas自定义函数07:44
    课时20Series结构12:29
    章节4:Python数据可视化库-Matplotlib
    课时21折线图绘制08:25
    课时22子图操作14:05
    课时23条形图与散点图10:12
    课时24柱形图与盒图10:17
    课时25细节设置06:13
    章节5:Python可视化库Seaborn
    课时26Seaborn简介02:44
    课时27整体布局风格设置07:48
    课时28风格细节设置06:50
    课时29调色板10:40
    课时30调色板颜色设置08:18
    课时31单变量分析绘图09:38
    课时32回归分析绘图08:53
    课时33多变量分析绘图10:36
    课时34分类属性绘图09:40
    课时35Facetgrid使用方法08:50
    课时36Facetgrid绘制多变量08:30
    课时37热度图绘制14:19
    章节6:线性回归算法原理推导
    课时38线性回归算法概述14:24
    课时39误差项分析11:33
    课时40似然函数求解09:36
    课时41目标函数推导09:22
    课时42线性回归求解10:57
    章节7:梯度下降策略
    课时43梯度下降原理11:42
    课时44梯度下降方法对比07:20
    课时45学习率对结果的影响06:09
    章节8:逻辑回归算法
    课时46逻辑回归算法原理推导10:52
    课时47逻辑回归求解14:59
    章节9:案例实战:Python实现逻辑回归与梯度下降策略
    课时48Python实现逻辑回归任务概述07:34
    课时49完成梯度下降模块12:51
    课时50停止策略与梯度下降案例10:55
    课时51实验对比效果10:25
    章节10:项目实战-交易数据异常检测
    课时52案例背景和目标08:32
    课时53样本不均衡解决方案10:18
    课时54下采样策略06:36
    课时55交叉验证13:03
    课时56模型评估方法13:06
    课时57正则化惩罚08:09
    课时58逻辑回归模型07:37
    课时59混淆矩阵08:53
    课时60逻辑回归阈值对结果的影响10:01
    课时61SMOTE样本生成策略15:51
    章节11:决策树算法
    课时62决策树原理概述12:25
    课时63衡量标准-熵11:04
    课时64决策树构造实例10:09
    课时65信息增益率05:49
    课时66决策树剪枝策略15:31
    章节12:案例实战:使用sklearn构造决策树模型
    课时67决策树复习08:55
    课时68决策树涉及参数11:09
    课时69树可视化与sklearn库简介18:14
    课时70sklearn参数选择11:46
    章节13:集成算法与随机森林
    课时71集成算法-随机森林12:03
    课时72特征重要性衡量13:51
    课时73提升模型11:15
    课时74堆叠模型07:09
    章节14:案例实战:泰坦尼克获救预测
    课时75船员数据分析11:02
    课时76数据预处理11:39
    课时77使用回归算法进行预测12:13
    课时78使用随机森林改进模型13:25
    课时79随机森林特征重要性分析15:55
    章节15:贝叶斯算法
    课时80贝叶斯算法概述06:58
    课时81贝叶斯推导实例07:38
    课时82贝叶斯拼写纠错实例11:46
    课时83垃圾邮件过滤实例14:10
    课时84贝叶斯实现拼写检查器12:21
    章节16:Python文本数据分析:新闻分类任务
    课时85文本分析与关键词提取12:11
    课时86相似度计算11:44
    课时87新闻数据与任务简介10:20
    课时88TF-IDF关键词提取13:28
    课时89LDA建模09:10
    课时90基于贝叶斯算法进行新闻分类14:53
    章节17:支持向量机
    课时91支持向量机要解决的问题10:06
    课时92距离与数据的定义10:33
    课时93目标函数09:41
    课时94目标函数求解11:27
    课时95SVM求解实例13:45
    课时96支持向量的作用11:53
    课时97软间隔问题06:46
    课时98SVM核变换16:52
    章节18:案例:SVM调参实例
    课时99sklearn求解支持向量机11:24
    课时100SVM参数选择14:00
    章节19:聚类算法-Kmeans
    课时101KMEANS算法概述11:34
    课时102KMEANS工作流程09:42
    课时103KMEANS迭代可视化展示08:20
    课时104使用Kmeans进行图像压缩07:58
    章节20:聚类算法-DBSCAN
    课时105DBSCAN聚类算法11:04
    课时106DBSCAN工作流程15:03
    课时107DBSCAN可视化展示08:52
    章节21:案例实战:聚类实践
    课时108多种聚类算法概述04:34
    课时109聚类案例实战17:19
    章节22:降维算法-PCA主成分分析
    课时110PCA降维概述08:39
    课时111PCA要优化的目标12:22
    课时112PCA求解10:18
    课时113PCA实例08:34
    章节23:神经网络
    课时114初识神经网络11:28
    课时115计算机视觉所面临的挑战09:40
    课时116K近邻尝试图像分类10:01
    课时117超参数的作用10:31
    课时118线性分类原理09:35
    课时119神经网络-损失函数09:18
    课时120神经网络-正则化惩罚项07:19
    课时121神经网络-softmax分类器13:39
    课时122神经网络-最优化形象解读06:47
    课时123神经网络-梯度下降细节问题11:49
    课时124神经网络-反向传播15:17
    课时125神经网络架构10:11
    课时126神经网络实例演示10:39
    课时127神经网络过拟合解决方案15:54
    课时128感受神经网络的强大11:30
    章节24:Xgboost集成算法
    课时129集成算法思想05:35
    课时130xgboost基本原理11:07
    课时131xgboost目标函数推导12:18
    课时132xgboost求解实例11:29
    课时133xgboost安装03:32
    课时134xgboost实战演示14:44
    课时135Adaboost算法概述13:01
    章节25:自然语言处理词向量模型-Word2Vec
    课时136自然语言处理与深度学习11:58
    课时137语言模型06:16
    课时138-N-gram模型08:32
    课时139词向量09:28
    课时140神经网络模型10:03
    课时141Hierarchical Softmax10:01
    课时142CBOW模型实例11:21
    课时143CBOW求解目标05:39
    课时144梯度上升求解10:11
    课时145负采样模型07:15
    章节26:使用Gensim库构造中文维基百度数据词向量模型
    课时146使用Gensim库构造词向量06:22
    课时147维基百科中文数据处理10:27
    课时148Gensim构造word2vec模型08:52
    课时149测试模型相似度结果07:42
    章节27:scikit-learn模型建立与评估
    课时150使用python库分析汽车油耗效率15:09
    课时151使用scikit-learn库建立回归模型14:02
    课时152使用逻辑回归改进模型效果13:12
    课时153 模型效果衡量标准20:09
    课时154ROC指标与测试集的价值14:31
    课时155交叉验证15:15
    课时156多类别问题15:52
    章节28:Python库分析科比生涯数据
    课时157Kobe Bryan生涯数据读取与简介07:45
    课时158特征数据可视化展示11:41
    课时159数据预处理12:32
    课时160使用Scikit-learn建立模型10:12
    章节29:Python时间序列分析
    课时161章节简介01:03
    课时162Pandas生成时间序列11:28
    课时163Pandas数据重采样09:22
    课时164Pandas滑动窗口07:47
    课时165数据平稳性与差分法11:10
    课时166ARIMA模型10:34
    课时167相关函数评估方法10:46
    课时168建立ARIMA模型07:48
    课时169参数选择12:40
    课时170股票预测案例09:57
    课时171使用tsfresh库进行分类任务12:04
    课时172维基百科词条EDA14:30
    章节30:机器学习项目实战-贷款申请最大化利润
    课时173数据清洗过滤无用特征12:08
    课时174数据预处理10:12
    课时175获得最大利润的条件与做法13:26
    课时176预测结果并解决样本不均衡问题12:47
    章节31:机器学习项目实战-用户流失预警
    课时177数据背景介绍06:35
    课时178数据预处理10:05
    课时179尝试多种分类器效果08:32
    课时180结果衡量指标的意义19:50
    课时181应用阈值得出结果06:26
    章节32:探索性数据分析-足球赛事数据集
    课时182内容简介02:13
    课时183数据背景介绍10:30
    课时184数据读取与预处理13:09
    课时185数据切分模块14:42
    课时186缺失值可视化分析13:27
    课时187特征可视化展示12:23
    课时188多特征之间关系分析11:21
    课时189报表可视化分析10:38
    课时190红牌和肤色的关系17:16
    章节33:探索性数据分析-农粮组织数据集
    课时191数据背景简介11:05
    课时192数据切片分析17:26
    课时193单变量分析15:21
    课时194峰度与偏度11:37
    课时195数据对数变换09:43
    课时196数据分析维度06:55
    课时197变量关系可视化展示12:22
    章节34:机器学习项目实战-HTTP日志聚类分析
    课时198建立特征工程17:25
    课时199特征数据预处理10:34
    课时200应用聚类算法得出异常IP

    系列七:145课时带你完完全全成为Python数据分析师
    章节1: 如何七周成为数据分析师
    课时1:为什么需要七周 免费 16:46
    课时2:七周应该怎么学 免费 10:22
    章节2: 第一周:数据分析思维
    课时3:为什么思维重要 02:30
    课时4:数据分析的三种核心思维(结构化) 26:34
    课时5:数据分析的三种核心思维(公式化) 19:17
    课时6:数据分析的三种核心思维(业务化) 14:01
    课时7:数据分析的思维技巧(象限法) 04:37
    课时8:数据分析的思维技巧(多维法) 05:47
    课时9:数据分析的思维技巧(假设法) 07:36
    课时10:数据分析的思维技巧(指数法) 18:23
    课时11:数据分析的思维技巧(二八法) 03:24
    课时12:数据分析的思维技巧(对比法) 04:54
    课时13:数据分析的思维技巧(漏斗法) 01:28
    课时14:如何在业务时间锻炼数据分析思维 09:16
    章节3: 第二周:业务
    课时15:为什么业务重要 02:59
    课时16:经典的业务分析指标 11:47
    课时17:市场营销指标 08:54
    课时18:产品运营指标 16:23
    课时19:用户行为指标 06:24
    课时20:电子商务指标 04:06
    课时21:流量指标 07:34
    课时22:怎么生成指标 04:37
    课时23:如何建立业务分析框架 01:15
    课时24:市场营销模型 04:51
    课时25:AARRR模型 06:05
    课时26:用户行为模型 04:09
    课时27:电子商务模型 02:49
    课时28:流量模型 04:00
    课时29:如何应对各类业务场景 04:15
    课时30:如何应对各类业务场景(小练习) 18:02
    课时31:数据化管理业务 02:02
    章节4: 第三周:Excel
    课时32:为什么要学习Excel 07:18
    课时33:文本清洗函数 07:35
    课时34:常见的文本清洗函数练习 13:35
    课时35:关联匹配函数 13:57
    课时36:逻辑运算函数 07:27
    课时37:计算统计函数 11:23
    课时38:时间序列函数 05:40
    课时39:Excel的常见技巧 09:23
    课时40:Excel工具(1) 06:50
    课时41:Excel工具(2) 08:16
    课时42:用Excel进行数据分析(1) 22:50
    课时43:用Excel进行数据分析(2) 18:11
    章节5: 第四周:数据可视化
    课时44:数据可视化之美 08:23
    课时45:常见的图表类型与应用 08:34
    课时46:高级图表类型与应用 09:38
    课时47:图表绘制 08:32
    课时48:Excel绘图技巧 10:55
    课时49:散点图 10:15
    课时50:辅助列 13:25
    课时51:复合图表 17:03
    课时52:甘特图(1) 14:45
    课时53:甘特图(2) 07:59
    课时54:标靶图 10:54
    课时55:杜邦分析法 25:21
    课时56:Power BI入门 13:17
    课时57:Power BI基础功能 21:14
    课时58:Power BI操作技巧 14:21
    课时59:用BI进行数据分析(1) 21:58
    课时60:用BI进行数据分析(2) 20:00
    课时61:Dashboard 15:55
    章节6: 第五周:MySQL
    课时62:MySQL安装 05:31
    课时63:数据库 13:06
    课时64:数据库实操 15:12
    课时65:SQL select 18:18
    课时66:SQL 条件查找 06:16
    课时67:SQL group by 05:38
    课时68:SQL group by 高级 13:00
    课时69:SQL 函数 10:45
    课时70:SQL 子查询 12:50
    课时71:SQL join 23:41
    课时72:SQL leetcode 15:50
    课时73:SQL 加载 05:33
    课时74:SQL 时间 05:48
    课时75:SQL 练习(1) 21:58
    课时76:SQL 练习(2) 18:13
    课时77:SQL 连接 power bi 09:59
    章节7: 第六周:统计学
    课时78:描述统计学 08:46
    课时79:分位数 08:15
    课时80:标准差 17:31
    课时81:权重统计 20:17
    课时82:切比雪夫 13:38
    课时83:箱线图 18:35
    课时84:直方图 21:28
    课时85:概率 13:22
    课时86:贝叶斯 18:49
    课时87:二项分布1 05:17
    课时88:二项分布2 05:21
    课时89:泊松分布 10:33
    课时90:正态分布 17:32
    课时91:假设检验 33:04
    章节8: 第七周:Python
    课时92:入门 12:25
    课时93:数据类型 17:57
    课时94:变量 07:17
    课时95:列表 16:04
    课时96:列表进阶 06:30
    课时97:字典 12:34
    课时98:集合 12:36
    课时99:控制流 10:53
    课时100:Python控制流循环 14:14
    课时101:Python循环进阶 07:28
    课时102:Python函数 16:41
    课时103:高阶函数 09:36
    课时104:第三方包 08:30
    课时105:numpy 08:38
    课时106:Python series 14:55
    课时107:dataframe 17:03
    课时108:Python dataframe查找 22:09
    课时109:read_csv 13:45
    课时110:计算 24:31
    课时111:Python groupby 12:00
    课时112:Python Pandas关联 20:21
    课时113:Python Pandas 多重索引 08:58
    课时114:Python Pandas 文本函数 06:17
    课时115:Python Pandas 去重 09:51
    课时116:Python Pandas apply 10:45
    课时117:Python Pandas 聚合 apply 10:26
    课时118:Python Pandas 数据透视 14:26
    课时119:Python 连接数据库 25:40
    课时120:Python连接数据库2 10:08
    课时121:Python 连接数据库3 07:40
    课时122:Python 练习 markdown 05:32
    课时123:Python 练习(1) 11:35
    课时124:Python 练习(2) 14:49
    课时125:Python 练习(3) 23:12
    课时126:Python 练习(4) 18:30
    课时127:Python 练习(5) 13:52
    课时128:Python 练习(6) 16:29
    课时129:Python 练习(7) 15:40
    课时130:Python 练习(8) 09:50
    课时131:Python 练习(9) 08:30
    课时132:Python 可视化(1) 07:45
    课时133:Python 可视化(2) 08:51
    课时134:Python 可视化(3) 06:57
    课时135:Python 可视化(4) 12:11
    课时136:Python 可视化(5) 06:30
    课时137:Python 可视化(6) 07:52
    课时138:Python 可视化(7) 14:20
    课时139:Python 可视化(8) 15:00
    课时140:Python seaborn 01 05:37
    课时141:Python seaborn 02 07:20
    课时142:Python seaborn 03 10:26
    课时143:Python Seaborn 04 10:44
    课时144:Python Seaborn 05 08:27
    课时145:Python seaborn 06 06:20

    系列八:大型Python数据分析实战教程从入门到精通(视频+源码+课件+作业)

    第一部分:数据思维导论:如何从数据中挖掘价值?

    第一章 数据能做什么?
    1.1 用数据认识世界
    1.2 用数据改变未来
    1.3 机器学习是什么?
    1.4 一条非典型性数据可视化之路

    第二章 课前入门指南
    2.1 软件安装及资料准备

    第二部分:基础语言入门:从零开始学习Python

    第一章 关于Python你需要知道的事儿
    1.1 为什么选择Python?
    1.2 集成开发环境及Python运行
    1.3 Jupyter Notebook 与 Spyder

    第二章 变量及数值类型
    2.1 数值类型概述
    2.2 认识变量
    2.3 算数运算
    2.4 逻辑运算
    2.5 注释#

    第三章 序列及通用操作
    3.1 可变序列/不可变序列概述
    3.2 可变序列/不可变序列通用操作
    3.3 列表list常用操作
    3.4 文本序列str常用操作

    第四章 字典映射
    4.1 字典dict基本概念
    4.2 字典的元素访问及遍历
    4.3 字典常用操作

    第五章 条件判断及循环语句
    5.1 什么是语句?
    5.2 条件判断:if语句
    5.3 循环语句:for / while 循环
    5.4 多重循环

    第六章 函数
    6.1 函数的基本概念及调用
    6.2 自定义函数
    6.3 局部变量及全局变量
    6.4 匿名函数Lambda

    第七章 模块与包
    7.1 什么是模块?
    7.2 模块创建及import指令运用
    7.3 “包”的概念及python包管理工具:pip
    7.4 windows环境下的代码运行

    第八章 数据读写
    8.1 文件对象声明及基本操作
    8.2 系统模块下的路径操作
    8.3 文件的读取与写入
    8.4 pickle模块的运用

    实战项目
    项目01 商铺数据加载及存储
    项目02 基于Python的算法函数创建

    第三部分:重点工具掌握:数据解析核心技巧
    第一章 科学计算工具:Numpy
    1.1 什么是Numpy?
    1.2 Numpy基础数据结构
    1.3 Numpy通用函数
    1.4 Numpy索引及切片
    1.5 Numpy随机数
    1.6 Numpy数据的输入输出

    第二章 数据分析工具:Pandas
    2.1 什么是Pandas?
    2.2 数据结构Series:基本概念及创建
    2.3 数据结构Series:索引及切片
    2.4 数据结构Series:基本技巧
    2.5 数据结构Dataframe:基本概念及创建
    2.6 数据结构Dataframe:索引及切片
    2.7 数据结构Dataframe:基本技巧
    2.8 时间模块
    2.9 时刻数据
    2.10 时间戳索引
    2.11 时期
    2.12 时间序列 – 索引及切片
    2.13 时间序列 – 重采样
    2.14 数值计算及统计基础
    2.15 文本数据
    2.16 合并
    2.17 连接及修补
    2.18 去重及替换
    2.19 数据分组
    2.20 分组转换
    2.21 透视表及交叉表
    2.22 文件读取

    第三章 图表绘制工具:Matplotlib
    3.1 Mtplotlib简介及图表窗口
    3.2 图表的基本元素
    3.3 图表的样式参数
    3.4 刻度、注解、图表输出
    3.5 子图
    3.6 基本图表绘制
    3.7 柱状图,堆叠图
    3.8 面积图,填图,饼图
    3.9 直方图
    3.10 散点图,矩阵散点图
    3.11 极坐标图
    3.12 箱型图
    3.13 表格样式创建
    3.14 表格显示控制
    3.15 表格样式调用

    第四章 空间分析工具:GIS
    4.1 什么是空间数据?
    4.2 GIS软件操作及数据加载
    4.3 坐标系
    4.4 空间数据基本处理
    4.5 空间数据几何计算
    4.6 空间数据可视化制图
    4.7 空间划分
    4.8 空间统计

    第五章 你必须知道的数据源
    5.1 国外公开数据
    5.2 国内公开数据
    5.3 城市数据团-数据库介绍

    实战项目
    项目03 知乎数据清洗整理和结论研究
    项目04 视频网站数据清洗整理和结论研究

    第四部分:进阶算法学习:统计分析能力强化
    第一章 数据特征分析
    1.1 分布分析
    1.2 对比分析
    1.3 统计分析
    1.4 帕累托分析
    1.5 正太性检测
    1.6 相关性分析

    第二章 数据处理
    2.1 缺失值处理
    2.2 异常值处理
    2.3 数据归一化
    2.4 数据连续属性离散化

    第三章 数学建模
    3.1 回归
    3.2 分类
    3.3 聚类
    3.4 蒙塔卡罗模拟

    实战项目
    项目05 多场景下的算法构建

    第五部分:数据表达逻辑:结果输出及内容美化
    第一章 数据可视化整体概述
    1.1 什么是数据可视化?
    1.2 数据可视化技术体系及方向
    1.3 数据图表表达的逻辑原理
    1.4 设计美学

    第二章 Python图表数据可视化:Seaborn
    2.1 为什么选择Seaborn做图表可视化?
    2.2 整体风格设置
    2.3 调色盘
    2.4 分布数据可视化 – 直方图与密度图
    2.5 分布数据可视化 – 散点图
    2.6 分类数据可视化 – 分类散点图
    2.7 分类数据可视化 – 分布图
    2.8 分类数据可视化 – 统计图
    2.9 线性关系数据可视化
    2.10 时间线图表、热图
    2.11 结构化图表可视化

    第三章 关系网络数据可视化:Gephi
    3.1 什么是关系网络图?
    3.2 Gephi软件安装及配置
    3.3 Gephi基本操作
    3.4 Python数据处理
    3.5 案例研究一:公司职工关系图表
    3.6 案例研究二:导演演员关系网络可视化

    第四章 空间数据可视化
    4.1 空间数据可视化工具概述
    4.2 3D图表
    4.3 空间柱状图(1)
    4.4 空间柱状图(2)
    4.5 空间线性轨迹图(1)
    4.6 空间线性轨迹图(2)
    4.7 空间热力图

    第五章 Python交互图表可视化:Bokeh
    5.1 什么是Bokeh及其可视化交互原理?
    5.2 绘图空间基本操作
    5.3 图表辅助参数设置
    5.4 散点图
    5.5 折线图 / 面积图
    5.6 柱状图 / 堆叠图 / 直方图
    5.7 绘图表达进阶操作
    5.8 ToolBar工具栏设置
    5.9 其他交互工具设置

    实战项目
    项目06 多场景下的图表可视化表达

    第六部分:数据挖掘项目实战
    实战项目
    项目07 城市餐饮店铺选址分析
    项目08 电商打折套路解析
    项目09 中国姓氏排行研究
    项目10 房价影响因素挖掘
    项目11 国产烂片深度揭秘
    项目12 中国城市资本流动问题探索
    项目13 社会财富分配问题模拟
    项目14 婚恋配对实验
    项目15 泰坦尼克号获救问题

    第七部分:游戏:数据时代的网络游戏设计与运营
    内容简介:在当下这个数据为王的时代,无论是产品设计还是运营决策,都需要倚重于数据。本课程从实际案例出发,就如何对游戏产生的海量数据进行分析,并应用于改进游戏的设计和指导运营策略进行讲解。

    第八部分:严选:用户增长实践经验分享
    内容简介:
    1、用户发展路径——从哪里来,到哪里去?
    2、基于用户的目标构建体系与目标管理——分析三板斧中的“对比”延伸;
    3、用户增长的“量”与“质”的平衡;
    4、用户增长的曲线路径——当用户增长乏力时该如何追求流水增长?

    第九部分:教育:如何高效构建业务指标体系
    内容简介:指标体系的搭建是数据分析工作中最基础也是最重要的能力,高效搭建符合业务的指标体系将会使后续数据分析工作事半功倍,该案例结合讲师教育相关的工作经历,深入浅出的讲解业务指标体系的构建思路及方法。

    第十部分:有数:数据平台在汽车行业中的应用
    内容简介:本课时会介绍有数这款企业级的敏捷分析平台,并通过几个真实的案例,介绍传统的汽车制造业如何利用有数快速从数据中发现业务问题,定位问题原因,找到解决问题的方法,从而获得业务增长。

    第十一部分:硅谷实战:消费者行为分析机器预测

    (a)介绍Longitudinal Data的概念以及其广泛的适用范围, 例如消费者行为预测,多只股票联合预测等。
    (b)消费者有历史行为数据, 我们既可以用一个用户本身的历史行为来预测该用户未来的行为,也可以用其他类似用户的行为来预测该用户的行为
    2、Longitudinal Data 的模型以及对消费者的应用
    (a)介绍混合模型的概念。
    (b)举实例说明如何利用混合模型来预测消费者行为。例如在电商中(亚马逊, Adobe, 沃尔玛等), 哪些消费者更有倾向购买本公司的产品,哪些客户可能在来年续订(取消)本公司的服务。
    3、模型的评估以及衡量
    (a)介绍ROC曲线的概念
    (b)评估分组建模和整体建模的优劣

    系列九:《2018东东老师教你数据分析师的核心能力素养技巧(视频+课件)》

    ─章节01: 一个本质的问题:数字、数据、数据分析与数据分析工作
    │ 1. 课程简介.mp4
    │ 2. 数字与数据.mp4
    │ 3. 数据与数据分析.mp4
    │ 4. 数据分析的本质.mp4

    ├─章节02: 一个有趣的现象:为什么叫数据分析部,不叫ESP部
    │ 6. 数据分析的价值是由作用而非技能决定.mp4
    │ 7. 不能解决问题的数据分析终被淘汰.mp4

    ├─章节03: 一个成长的难题:从掌握取数技能,到完成数据分析工作,还需要补充多少能力
    │ 10. 数据分析师需要的八大能力.mp4
    │ 11. 后续的课程介绍(重要、必看).mp4
    │ 8. 数据分析师在实战中常见难题.mp4
    │ 9. 数据分析师常犯错误.mp4

    ├─章节04: 能力一:收集信息能力
    │ 12. 什么是“业务”.mp4
    │ 13. 什么是“理解”业务.mp4
    │ 14. 不理解业务的恶果是什么.mp4
    │ 15. “模型”无法拯救,那个不理解业务的你.mp4
    │ 16. 优秀的数据分析师必须自己去理解业务1.mp4
    │ 17. 优秀的数据分析师必须自己去理解业务2.mp4
    │ 18. 理解业务的起点:了解最基础的业务形态.mp4
    │ 19. 理解业务的七步成诗法.mp4
    │ 20. 七步成诗法之一 ,最核心问题:业务模式.mp4
    │ 21. 七步成诗法 ,四大角色概览.mp4
    │ 22. 七步成诗法 之二,产品.mp4
    │ 23. 七步成诗法 之三,渠道.mp4
    │ 24. 七步成诗法 之四,用户.mp4
    │ 25. 七步成诗法 之五,运营.mp4
    │ 26. 七步成诗法 之六之七,组织架构与KPI.mp4
    │ 27. 应用七步成诗法,所必需的信息收集能力(在职版).mp4
    │ 28. 应用七步成诗法,所必需的信息收集能力(面试版).mp4
    │ 29. 小练习:入职后的沟通要点.mp4
    │ 30. 小练习:面试前的准备要点.mp4
    │ 31. 特别提醒:交流业务情况时的保密原则与谈话尺度微信.mp4

    ├─章节05: 能力二:沟通需求能力
    │ 32. 什么是:“数据需求”.mp4
    │ 33. 数据需求的基本规范.mp4
    │ 34. 只做数据需求永无出头之日.mp4
    │ 35. 什么是:“数据分析需求”.mp4
    │ 36. 数据分析需求的基本规范.mp4
    │ 37. 良好的沟通是成功的起点.mp4
    │ 38. 初级需求沟通:明确任务内容.mp4
    │ 39. 中级需求沟通:需求排班管理.mp4
    │ 40. 高级需求沟通:需求挖掘与升级.mp4
    │ 41. 当业务不理不睬的时候,主动引发需求.mp4
    │ 42. 特别提醒:有一类特殊需求叫模型.mp4
    │ 43. 实战指南:编排自己的需求管理表(针对已入职数据分.mp4
    │ 44. 实战指南:设计自己的数据需求表(针对未入职的准数据.mp4

    ├─章节06: 能力三:定义问题能力
    │ 45. 第一节:什么是“定义问题”.mp4
    │ 46. 第二节:什么是数据分析中的“定义问题”.mp4
    │ 47. 第三节:为什么“定义问题”很重要.mp4
    │ 48. 第四节:如何做到“清晰描述问题”.mp4
    │ 49. 第五节:如何划分问题边界及转化问题.mp4
    │ 50. 第六节:如何细分问题,构建思路.mp4
    │ 51. 第七节:如何确认输出形式,规划资源投入.mp4
    │ 52. 第八节:实战指南:如何在日常工作中锻炼定义问题的.mp4
    │ 53. 第九节:特别提示:职场上没有标准答案,只有符合需.mp4

    ├─章节07: 能力四:梳理流程能力
    │ 54. 什么是“梳理流程”.mp4
    │ 55. “梳理流程”与“指标体系”关系.mp4
    │ 56. “梳理流程”后,如何用“指标体系”进行分析.mp4
    │ 57. “梳理流程”,总结指标体系的基本方法.mp4
    │ 58. 什么是企业工作中的“梳理流程”.mp4
    │ 59. 战略级流程梳理-经营分析指标体系.mp4
    │ 60. 战术级流程梳理——业务部门指标体系.mp4
    │ 61. 战斗级流程梳理(1)——销售流程类指标构建.mp4
    │ 62. 战斗级流程梳理(2)——用户运营类指标体系.mp4
    │ 63. 战斗级流程梳理(3)——活动策划类指标体系.mp4
    │ 64. 战斗级流程梳理(4)——网络推广指标体系.mp4
    │ 65. 战斗级流程梳理(5)——商品管理类指标体系.mp4
    │ 66. 流程梳理中常见问题.mp4
    │ 67. 实战指南:如何梳理出自己的指标体系.mp4
    │ 68. 特别提示:关于《国家2025指标体系指导纲要》的问题.mp4

    ├─章节08: 能力五:定义标准的能力
    │ 69. 什么是“标准”.mp4
    │ 70. 好的“标准”符合哪些原则.mp4
    │ 71. 什么是“定义标准”.mp4
    │ 72. 什么是企业工作中的“定义标准”.mp4
    │ 73. 一维分类:平均法、分摊法、二八法,十分位法.mp4
    │ 74. 二维分类:象限法、矩阵法.mp4
    │ 75. 三维分类:RFM、杜邦分析法、漏斗分析法.mp4
    │ 76. 多维分类:归纳法与演绎法.mp4
    │ 77. 多维分类:综合评估的常见方法.mp4
    │ 78. 一维动态分类:趋势分析法.mp4
    │ 79. 多维动态分类:层层深入的逐级分析.mp4
    │ 80. 行为指标的分类:魔法数字与交叉表.mp4
    │ 81. 实战操练:如何从平庸的工作中总结数据标准.mp4
    │ 82. 坚决克服“指标”“标准”混为一谈的恶习!.mp4

    ├─章节09: 能力六:寻找原因的能力
    │ 83. 为什么我们那么喜欢问“为什么”.mp4
    │ 84. 寻找原因的基本方法.mp4
    │ 85. 企业中“寻找原因”问题.mp4
    │ 86. 甩锅的艺术——如何把原因归罪到别人头上.mp4
    │ 87. 分析思路示例——为什么销售业绩下降了!!!.mp4
    │ 88. 分析思路示例——为什么用户活跃下降了???.mp4
    │ 89. 分析思路示例——为什么用户都流失了???.mp4
    │ 90. 分析思路示例——为什么新用户越来越少???.mp4
    │ 91. 分析思路示例——为什么活动做了不见效???.mp4
    │ 92. 更广泛的分析思路——咨询顾问的独门秘籍.mp4
    │ 93. 实战操练:让你的原因分析无懈可击.mp4
    │ 94. 拒绝无脑,找经得起检验的原因.mp4

    ├─章节10: 能力七:提出建议的能力
    │ 100. 如何提解决方案,并评估问题方案的可行性.mp4
    │ 101. 如何从多个备选方案中选优.mp4
    │ 102. 利用业务假设预测问题未来情况.mp4
    │ 103. 利用算法预测问题未来情况.mp4
    │ 104. 如何在政治上给予老板有力支持.mp4
    │ 105. 实战操练,做一个完整的建议方案.mp4
    │ 106. 数据分析与业务的边界在哪里.mp4
    │ 95. 什么是靠谱建议.mp4
    │ 96. 如何推导出靠谱建议.mp4
    │ 97. 在企业里,常见的“给点建议”的要求有哪些.mp4
    │ 98. 如何清晰梳理待建议的问题.mp4
    │ 99. 如何提目标,并评估问题目标的可行性.mp4

    └─章节11: 能力八:总结汇报的能力
    107. 汇报中常范的错误.mp4
    108. 做好汇报需要考虑的三大要素.mp4
    109. 应付差事型汇报——操作规范及注意事项.mp4
    110. 引起注意型汇报——操作规范与注意事项.mp4
    111. 推动落地型汇报——操作规范与注意事项.mp4
    112. 争取认可型汇报——操作规范与注意事项.mp4
    113. 展示能力型汇报——操作规范与注意事项.mp4
    114. 一个经典的汇报例子.mp4
    115. 实战操练:同一份报告的三种不同形态.mp4
    116. 为什么常规的数据分析报告套路不管用.mp4

    获取资料Q 2844366079

    展开全文
  • 基于Python数据分析

    万次阅读 多人点赞 2019-02-25 15:50:02
    下面来介绍一下基于Python数据分析,主要介绍数据分析的概念、数据分析流程、Python优势、常用模块的用途以及使用 Python进行数据分析的学习方法及步骤; 随着大数据和人工智能时代的到来,网络和信息技术开始...

    下面来介绍一下基于Python的数据分析,主要介绍数据分析的概念、数据分析流程、Python优势、常用模块的用途以及使用
    Python进行数据分析的学习方法及步骤;

    随着大数据和人工智能时代的到来,网络和信息技术开始渗透到人类日常生活的方方面面,产生的数据量也呈现指数级增长的态势,同时现有数据的量级已经远远超过了目前人力所能处理的范畴。在此背景下,数据分析成为数据科学领域中一个全新的研究
    课题。在数据分析的程序语言选择上,由于Python语言在数据分析和处理方面的优势,大量的数据科学领域的从业者使用Python
    来进行数据科学相关的研究工作。

    1、数据分析的概念

    数据分析是指用适当的分析方法对收集来的大量数据进行分析,提取有用信息和形成结论,对数据加以详细研究和概括总结的过程。随着信息技术的高速发展,企业生产、收集、存储和处理数据的能力大大提高,同时数据量也与日俱增。把这些繁杂的数据通过数据分析方法进行提炼,以此研究出数据的发展规律和预测趋势走向,进而帮助企业管理层做出决策。

    2、数据分析的流程

    数据分析是一种解决问题的过程和方法,主要的步骤有需求分析、数据获取、数据预处理、分析建模、模型评价与优化、部署:

    1)需求分析

    数据分析中的需求分析是数据分析环节中的第一步,也是非常重要的一步,决定了后续的分析方法和方向。主要内容是根据业务、生产和财务等部门的需要,结合现有的数据情况,提出数据分析需求的整体分析方向、分析内容,最终和需求方达成一致。

    2)数据获取

    数据获取是数据分析工作的基础,是指根据需求分析的结果提取、收集数据。数据获取主要有两种方式:网络爬虫获取和本地获取。网络爬虫获取指的是通过Python编写爬虫程序合法获取互联网中的各种文字、语音、图片和视频等信息;本地获取指的是通过计算机工具获取存储在本地数据库中的生产、营销和财务等系统的历史数据和实时数据。

    3)数据预处理

    数据预处理是指对数据进行数据合并、数据清洗、数据标准化和数据变换,并直接用于分析建模的这一过程的总称。其中,数据合并可以将多张互相关联的表格合并为一张;数据清洗可以去掉重复、缺失、异常、不一致的数据;数据标准化可以去除特征间的量纲差异;数据交换则可以通过离散化、哑变量处理等技术满足后期分析与建模的数据要求。在数据分析过程中,数据预处理的各个过程互相交叉,并没有固定的先后顺序。

    4)分析建模

    分析建模是指通过对比分析、分组分析、交叉分析、回归分析等分析方法,以及聚类模型、分类模型、关联规则、智能推荐等模型和算法,发现数据中的有价值信息,并得出结论的过程。

    5)模型评价与优化

    模型评价是指对于已经建立的一个或多个模型,根据其模型的类别,使用不同的指标评价其性能优劣的过程。模型的优化则是指模型性能在经过模型评价后已经达到了要求,但在实际生产环境应用过程中,发现模型的性能并不理想,继而对模型进行重构与优化的过程。

    6)部署

    部署是指将数据分析结果与结论应用至实际生产系统的过程。根据需求的不同,部署阶段可以是一份包含了现状具体整改措施的数据分析报告,也可以是将模型部署在整个生产系统的解决方案。在多数项目中,数据分析员提供的是一份数据分析报告或者一套解决方案,实际执行与部署的是需求方。

    3、Python是功能强大的数据分析工具

    Python具有丰富和强大的库,它常被称为胶水语言,能够把用其他语言制作的各种模块很轻松地连接在一起,是一门更易学、更严谨的程序设计语言,常用于数据分析、机器学习、矩阵运算、科学数据可视化、数字图像处理、网络爬虫、Web应用等;R语言常用于统计分析、机器学习、科学数据可视化等;MATLAB则用于矩阵运算、数值分析、科学数据可视化、机器学习、符号运算、数字图像处理及信号处理等。可以看出,以上三种语言均可进行数据分析。

    4、Python进行数据分析的优势

    Python是一门应用非常广泛的计算机语言,在数据科学领域具有无可比拟的优势。Python正在逐渐成为数据科学领域的主流语言。Python数据分析具有以下几方面优势:

    1》语法简单精炼。对于初学者来说,比起其他编程语言,Python更容易上手;

    2》有许多功能强大的库。结合在编程方面的强大实力,可以只使用Python这一种语言就可以去构建以数据为中心的应用程序;

    3》不仅适用于研究和原型构建,同时也适用于构建生产系统。研究人员和工程技术人员使用同一种编程工具,能给企业带来显著的组织效益,并降低企业的运营成本;

    4》Python程序能够以多种方式轻易地与其他语言的组件“粘接”在一起。例如,Python的C语言API可以帮助Python程序灵活地调用C程序,这意味着用户可以根据需要给Python程序添加功能,或者在其他环境系统中使用Python;

    5》Python是一个混合体,丰富的工具集使它介于系统的脚本语言和系统语言之间。Python不仅具备所有脚本语言简单和易用的特点,还提供了编译语言所具有的高级软件工程工具。

    5、Python数据分析常用类库介绍

    Python拥有IPython、Num Py、Sci Py、pandas、Matplot⁃lib、scikit-learn和Spyder等功能齐全、接口统一的库,能为数据分析工作提供极大的便利。其中,Num Py主要有以下特点:

    1)具有快速高效的多维数组对象ndarray;
    2)具有对数组执行元素级计算及直接对数组执行数学运算的函数;
    3)具有线性代数运算、傅里叶变换及随机数生成的功能;
    4)能将C、C++、Fortran代码集成到Python;
    5)可作为算法之间传递数据的容器。

     

     

     

     

     

     

     

     

     

     

     

    展开全文
  • Python数据库字段拆分数据

    千次阅读 2018-03-30 17:41:35
    7 Python案例7.2 拆分数据7.2.1 解析数据库字段里的数据需求:从数据库字段里解析得到结构化数据。解决方法:通过Python的pandas以及内置的函数完成该需求。 Python代码: import numpy as np import pandas as pd...

    7 Python案例

    7.2 拆分数据

    7.2.1 解析数据库字段里的数据

    需求:从数据库字段里解析得到结构化数据。

    解决方法:通过Python的pandas以及内置的函数完成该需求。

     

     Python代码:

     

    import numpy as np
    import pandas as pd
    import os
    from sqlalchemy import create_engine
    import pymysql
    conn = pymysql.connect(
            host='192.168.56.32',port = 3306,user='test',passwd='qwert@765',db ='mydb',charset='utf8'
    )
    
    def tidy_split(df, column, sep='|', keep=False):
        """
        Split the values of a column and expand so the new DataFrame has one split
        value per row. Filters rows where the column is missing.
    
        Params
        ------
        df : pandas.DataFrame
            dataframe with the column to split and expand
        column : str
            the column to split and expand
        sep : str
            the string used to split the column's values
        keep : bool
            whether to retain the presplit value as it's own row
    
        Returns
        -------
        pandas.DataFrame
            Returns a dataframe with the same columns as `df`.
        """
        indexes = list()
        new_values = list()
        df = df.dropna(subset=[column])
        for i, presplit in enumerate(df[column].astype(str)):
            values = presplit.split(sep)
            if keep and len(values) > 1:
                indexes.append(i)
                new_values.append(presplit)
            for value in values:
                indexes.append(i)
                new_values.append(value)
        new_df = df.iloc[indexes, :].copy()
        new_df[column] = new_values
        return new_df
    
    def read_table(cur, sql_order):
        try:
            cur.execute(sql_order)  
            data = cur.fetchall()
            frame = pd.DataFrame(list(data))
        except:  # , e:
            frame = pd.DataFrame()
            # print e
            # continue
        return frame
    
    def splitRFIDLog(cur, sql_order):
        rfidLogtab=read_table(cur, sql_order)
        rfidLogtab.columns = ['skuid', 'rfid','deviceid','records']
        ### 设置列的最大长度
        pd.set_option('max_colwidth', 1000)
        newtab1=tidy_split(rfidLogtab.iloc[1:4,0:4], 'records', sep='<br >') ###仅取3行
        newtab1.columns=['skuid', 'rfid','deviceid','records']
        newtab1=newtab1[newtab1.records.str.contains("入库") == False]
        newtab1['records'] = newtab1.records.str.replace(' 已售 ', '')
        newtab1['records'] = newtab1.records.str.replace(' 入柜 ', '')
        newtab2=tidy_split(newtab1,'records', sep='[')
        newtab3 = tidy_split(newtab2.iloc[1::2, :], 'records', sep='-')
        newtab4 = tidy_split(newtab3, 'records', sep=']')
        newtab4 = pd.DataFrame(newtab4.records.str.replace('deviceid=', ''))
        newtab5=newtab4.records.str.slice(0,21)
        newtab5=pd.DataFrame(newtab5,columns=['records'])
        print(newtab5)
        df = pd.DataFrame(newtab5.records.values.reshape(-1, 3),
        columns=['prestatus', 'endstatus','deviceid'])
        df = df.reset_index(drop=True)
        print(df)
        timedf=newtab2[newtab2.iloc[0::1, :].records.str.contains("deviceid") == False]#.iloc[0::1, :]
        timedf = timedf.reset_index(drop=True)
        splitRFIDLogTab=pd.concat([timedf,df],axis=1, join='inner')
        #将拆分的RFID的数据分到CSV中
        splitRFIDLogTab.to_csv('E:\\a.csv', sep=',', header=True, index=False)
        conn.commit()
        conn.close()
    if __name__ == '__main__':
        cur = conn.cursor()
        sql_order = "SELECT skuid, rfid, deviceid, records FROM main_log limit 20;"
        splitRFIDLog(cur,sql_order)
    
    


    将生成的结果写入到csv中,见如下示例结果:

    skuid

    rfid

    deviceid

    records

    prestatus

    endstatus

    deviceid

    1

    5133C90F30DCC1EE00005133C90F30DCC1EE0000

    898602c9981730091839

    2017/11/2 10:52

    3

    4

    898602c9981730091839


    展开全文
  • python数据分析数据库基本操作(SQLite) SQLite: 关系型数据库管理系统 嵌入式数据库,适用于嵌入式设备 SQLite不是C/S的数据库引擎 集成在用户程序中 实现了大多数SQL标准 连接数据库: conn = sqlite3....

    python数据分析:数据库基本操作(SQLite)

    SQLite:
    • 关系型数据库管理系统
    • 嵌入式数据库,适用于嵌入式设备
    • SQLite不是C/S的数据库引擎
    • 集成在用户程序中
    • 实现了大多数SQL标准
    连接数据库:
    • conn = sqlite3.connect(db_name)
      • 如果db_name存在,则读取数据库
      • 若不存在,则新建数据库
    获取游标:
    • conn.cursor()
    • 一段私有的SQL工作区,用于暂时存放受SQL语句影响的数据(类似于指针)
    CRUD操作:
    • cursor.execute(sql_str) 执行单条SQL语句
    • cursor.executemany(sql_str) SQL语句批量操作

    fetchone() 接收一条返回结果行

    fetchall() 接收全部返回结果行

    conn.commit() 提交操作

    关闭连接:
    • conn.close()
    import sqlite3
    
    db_path = 'test.sqlite'
    
    conn = sqlite3.connect(db_path)
    cur = conn.cursor()
    conn.text_factory = str  # 处理中文,指定文本工厂为str类型
    cur.execute('SELECT SQLITE_VERSION()')
    
    print('SQLite版本:', str(cur.fetchone()[0]))
    

    执行结果:
    在这里插入图片描述

    # 判断表是否存在
    cur.execute("DROP TABLE IF EXISTS book")
    # 新建表
    cur.execute("CREATE TABLE book(id INT, name TEXT, price DOUBLE)")
    # 逐行插入数据
    cur.execute("INSERT INTO book VALUES(1,'肖秀荣考研书系列:肖秀荣(2017)考研政治命题人终极预测4套卷',14.40)")
    cur.execute("INSERT INTO book VALUES(2,'法医秦明作品集:幸存者+清道夫+尸语者+无声的证词+第十一根手指(套装共5册) (两种封面随机发货)',100.00)")
    cur.execute("INSERT INTO book VALUES(3,'活着本来单纯:丰子恺散文漫画精品集(收藏本)',30.90)")
    cur.execute("INSERT INTO book VALUES(4,'自在独行:贾平凹的独行世界',26.80)")
    cur.execute("INSERT INTO book VALUES(5,'当你的才华还撑不起你的梦想时',23.00)")
    cur.execute("INSERT INTO book VALUES(6,'巨人的陨落(套装共3册)',84.90)")
    cur.execute("INSERT INTO book VALUES(7,'孤独深处(收录雨果奖获奖作品《北京折叠》)',21.90)")
    cur.execute("INSERT INTO book VALUES(8,'世界知名企业员工指定培训教材:所谓情商高,就是会说话',22.00)")
    
    # 批量插入数据
    books = (
        (9, '人间草木', 30.00),
        (10,'你的善良必须有点锋芒', 20.50),
        (11, '这么慢,那么美', 24.80),
        (12, '考拉小巫的英语学习日记:写给为梦想而奋斗的人(全新修订版)', 23.90)
    )
    # 问号为占位符,用books进行填充
    cur.executemany("INSERT INTO book VALUES(?, ?, ?)", books)
    
    # 提交操作
    conn.commit()
    
    # 查询操作
    cur.execute('SELECT * FROM book')
    # 接收全部返回结果行
    rows = cur.fetchall()
    
    # 通过索引号访问
    for row in rows:
        print('序号: {}, 书名: {}, 价格: {}'.format(row[0], row[1], row[2]))
    

    运行结果:
    在这里插入图片描述

    # 查询操作(通过列名形式访问)
    conn.row_factory = sqlite3.Row
    cur = conn.cursor() 
    cur.execute('SELECT * FROM book')
    rows = cur.fetchall()
    
    # 通过列名访问
    for row in rows:
        print('序号: {}, 书名: {}, 价格: {}'.format(row['id'], row['name'], row['price']))
        
    #关闭连接
    conn.close()
    

    执行结果:
    在这里插入图片描述

    其他常用数据库:
    展开全文
  • 数据分析总结七:python数据分析

    千次阅读 2019-01-03 09:44:05
    3.Python数据分析相关如下 Python的数据科学环境 Python基础 Numpy和Pandas 数据可视化(Matplotlib) 数据分析案例 数据分析平台(轻量级BI) 2.Numpy和pandas 1.Python groupby mysql不支持...
  • python数据分析之后处理的数据入什么数据库比较好 mysql?Oracle?python数据分析之后处理的数据入什么数据库比较好 mysql?Oracle?python数据分析之后处理的数据入什么数据库比较好 mysql?Oracle?python数据分析...
  • Python数据分析数据库多表连接(SQLite) 多表连接: 将多个表中的记录连接并返回结果 join方式 交叉连接(cross join) 内连接(inner join) 外连接(outer join) cross join: 生成两张表的笛卡尔积 ...
  • 给大家带来的一篇关于Python3.6相关的电子书资源,介绍了关于Python数据分析、利用python数据分析方面的内容,本书是由机械工业出版社出版,格式为PDF,资源大小91.7 MB,韦斯?麦金尼编写,目前豆瓣、亚马逊、当当、...
  • Python实现数据库数据导入Excel

    千次阅读 2017-03-06 18:53:47
    之前已经使用SchemaSpy工具分析数据库的结构,之后就可以比较方便的将数据数据库导出到Excel等文件中,这次我选择使用Python来完成这个工作。
  • 利用Python进行数据分析——数据导入导出

    万次阅读 多人点赞 2017-08-07 09:02:18
    python数据分析之数据导入导出
  • 在之前的文章中【爬取天气信息】我们已经将昆明二月份的气温爬取到数据库了,那么现在我们需要对这些数据进行一些分析操作,下面是使用matplotlib对这些数据的一些操作 折线图 首先我们读取数据库中的数据:日期、...
  • 基于Python建立于clickhouse列式数据库的连接(附踩坑记录)
  • 不同的数据库你需要下载不同的DB API模块,例如你需要访问Oracle数据库和Mysql数据,你需要下载Oracle和MySQL数据库模块。 DB-API 是一个规范. 它定义了一系列必须的对象和数据库存取方式, 以便为各种各样的底层...
  • python数据分析(应用数据库

    千次阅读 2017-11-29 19:27:43
    基于sqlite3的轻量级访问通过pandas访问数据库SQLAlchemy的安装与配置通过SQLAlchemy填充数据库通过SQLAlchemy查询数据库Pony ORMDataset:懒人数据库PyMongo与MongoDB利用Redis存储数据Apache Cassandra ...
  • 本课程是一个串讲课。当您学会了Python,并且了解了MySQL数据库以后,我们就可以使用Python去操作他们了,一个纯Python的MySQL客户端,通过它我们可以很容易的通过python代码进行MySQL的数据增删改查操作。
  • 1、数据库介绍、使用sqlite3模块创建数据表 1)数据库介绍 说明: Python 操作不同数据库使用不同的模块,但这些模块遵守 Python 制定的DB API协议,该协议目前最新版本是2.0,被称为 Python DB API 2.0。 ...
  • USDA食品数据库:from pandas import DataFrame,Series from pylab import * import pandas as pd import json def groupby(ndata): result = ndata.groupby(['nutrient','groupp'])['value'].quantile(0.5) ...
  • Python 爬虫和数据分析实战

    万次阅读 多人点赞 2018-04-12 10:41:43
    本课程是 Python 爬虫和数据分析项目实战课程,主要分 3 部分: 第 1 部分是 Python 爬虫,主要使用 Urllib 3 和 BeautifulSoup 抓取天猫商城和京东商城胸罩销售数据,并保存到 SQLite 数据库中; 第 2 部分是对...
  • Python数据分析实战(1)数据分析概述

    千次阅读 多人点赞 2020-08-23 21:51:03
    成为数据分析师必须具备多种技能,利用好Python等工具。Python有多个版本;根据不同系统安装;需要添加环境变量;需要安装pip;可以选择PyCharm开发。Anaconda是科学计算工具;安装后会附带很多工具;conda是包管理...
  • 本专栏是以杨秀璋老师爬虫著作《Python网络数据爬取及分析「从入门到精通」》为主线、个人学习理解为主要内容,以学习笔记形式编写的。 本专栏不光是自己的一个学习分享,也希望能给您普及一些关于爬虫的相关知识...
  • python 数据库操作以及一个GUI界面

    万次阅读 多人点赞 2015-12-23 16:27:58
    python 数据库操作以及一个GUI界面
  • 本系列文章主要讲解SQL Server 2017实现Python数据分析的文章,同时对比两者的优劣。前一篇文章主要讲解SQL Server开发Python环境的安装过程及基本的数据分析代码实现,本文主要讲解T-SQL实现表的查询及简单的数据...
  • Python-数据库

    万人学习 2017-08-24 09:30:54
    Python数据库编程视频教程,数据库是MySQL,讲解Python链接MySQL数据库,并对数据库进行增删改查操作。
  • 作者丨编程新视野来源丨简书1为什么选择Python进行数据分析?Python是一门动态的、面向对象的脚本语言,同时也是一门简约,通俗易懂的编程语言。Python入门简单,代码可读性强,一...
  • 利用Python进行数据分析笔记(一

    千次阅读 2016-04-13 22:59:03
    一 利用Python进行数据分析  这是一本2013年出的书,所以已经落后了三年,在阅读时我需要注意这一点。Python拥有一个巨大的活跃的科学计算社区,拥有Pandas等一些不断改良的。而且Python可以作为粘合剂,如Cython...
  • python数据分析学习框架

    千次阅读 2018-08-05 09:54:28
    利用Python进行数据分析学习框架 要用Python进行数据分析、机器学习解决实际问题,那么我们该如何去做呢?整个流程的思路:1、思考要分析场景所涉及的数据;2、想办法获取数据(excel、数据库、网页爬虫等);3、...
  • 数据分析师都干什么:数据挖掘(数据工程师,数据科学家)数据库处理报告/文案数据可视化(可视化工程师)3.数据分析要求:强逻辑 数理思维自由 灵活“码农化”4.为什么选择python:Python设计哲学:用一种方法,...
  • 本章是对推荐算法进行python实战,也是第一次用到较大的数据集,利用python数据库进行连接。 本文主要分为以下几个部分: 数据库连接 逐块统计 数据清洗 数据转换 网页分类 模型构建 总结 数据库连接 在...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 144,921
精华内容 57,968
关键字:

python数据库数据分析

python 订阅