精华内容
下载资源
问答
  • 纽约社区商业数据分析实战,贯穿数据获取,数据清晰,数据分析,数据可视化等全过程,代码用python完成
  • 商业数据分析从入门到入职(1)商业数据分析综述

    千次阅读 多人点赞 2020-09-10 17:33:07
    商业数据分析的从业要求包括基础知识、工具、业务能力和软技能;在数据获取、数据处理等5个阶段有各自所需要的技能;评价一个事务需要从多个角度衡量,基本的分析流程包括理解商业问题、准备阶段、数据分析和解释...

    一、商业数据分析概念

    1.商业数据分析引入

    先列举几个案例:
    (1)请估计一下2020年八月份在北京卖出有多少双鞋子?
    显然,这是一个很开放的问题,并不像在学校里的题目都有标准答案,是需要经过自己的思考、定义和分析的。

    (2)Corley主营在网上卖手机壳,根据销售数据,发现8月份比7月份购买手机壳的顾客数量下降了10%,怎么回事?
    这也是一个开放的问题,可以从内部和外部两方面来思考问题:

    • 外部
      是手机销售量下降了还是同行业竞争对手出现了,或者经济不景气?物流延迟?
    • 内部
      销售环节出了问题?哪一类用户下降?

    重点需要分析背后的原因,因此需要分析问题的能力。
    很多时候我们觉得学校学到的东西都没用,那只是因为我们没有将学校的知识与实际应用结合起来。

    2.什么是商业数据分析?

    商业数据分析从业要求:

    • 基础知识
    • 工具
    • 业务能力
    • 软技能

    举一个例子,拿学武功来说,武功秘籍就是基础知识,宝剑就是工具,在实际练武过程中就得到了面对不同武功和不同对手所需要的方法和技巧,慢慢培养出了业务能力,出神入化之后形成了自己的软技能。

    基于数据通过分析手段挖掘出商业价值,解决商业问题,并通过分析商业问题建立相应的分析模型。
    上面的几个案例都可以通过数据分析的手段得出结论。

    3.所需技能

    数据分析大致分为5个阶段:数据获取、数据处理、数据分析与建模、数据解释与呈现、验证及优化。
    这五个阶段在上述的基础知识、工具和业务能力方面又有不同的要求,具体如下:
    所需技能

    4.基本分析流程和供应链各个环节

    再举一个案例:
    (3)Corley卖鞋,2020年9月前10天就完成了本月计划的80%,业绩是好还是不好?

    可能有人会觉得好,毕竟三分之一的时间就卖出了大部分,但是实际上并不一定好:
    要看整个月的销售情况,如果前10天销量处于上升趋势,剩下的时间处于快速下降并保持很低的水平,有可能是完成不了计划的;
    还好看以前的销售情况,比如说同比销售额,是不是可能比现在还好;
    和其他竞争对手相比,是否比他们好。

    销量好或者不好需要从多个维度进行衡量,而不是单纯地给出一个答案;
    每个行业不同,相应的分析方法和思路也千差万别。

    一个基本的分析流程如下:

    • 理解商业问题
      根据具体的商业场景理解商业问题。
    • 准备阶段
      根据相应的商业场景进行计划和准备,需要哪些数据、怎么进行分析。
    • 数据分析
    • 解释结果

    供应链的各个环节如下:

    原材料供应商
    生产商
    经销商
    销售商
    终端客户

    分析时,不仅要从销售价格来分析,也要从源头即成本进行分析,处于供应链的哪个位置;
    找整个商业供应链出现问题的主要环节,找出问题。

    5.商业理解

    对于一个事件,会有很多因素,可能都会影响到结果。

    在商业数据分析中,需要进行多维度思考,包括产品、位置、时间等角度,比如零售业中有人、货、场的概念,如下:
    多维度思考

    从点、线、面的角度评价销售业绩:
    分析自己9月份业绩即为点;
    分析与去年同期相比即为线;
    与其他人相比即为面。

    获取知识的金字塔DIKW如下:
    DIKW

    从原始数据中提取出信息,并通过总结得到知识,逐渐积累成为智慧。

    6.需要用到的工具

    (1)Excel是最普及的数据处理和分析工具,作为Office三件套之一,受到各行业广泛的使用,也很容易上手。

    (2)思维导图工具,如XMind、Mind Master等,可以整理知识体系、梳理思维。

    (3)专业的Python数据分析工具Anaconda,可以进行Python基础编程、数据分析、建模计算等,自带了很多包,可以直接点击加QQ群 Python极客部落963624318 在群文件夹Python相关安装包中下载安装。

    (4)关系型数据库软件MySQL,是最常见的的数据库之一,个人一般直接使用社区版即可,可以到MySQL官网https://dev.mysql.com/downloads/mysql/中下载,由于官网下载较慢也点击加QQ群 Python极客部落963624318 在群文件夹数据库软件中下载,然后解压并执行安装配置即可,具体可参考https://www.cnblogs.com/zhangkanghui/p/9613844.html

    除此之外,还可以充分利用Github开源平台https://github.com/,可以查询一些开源项目、查看源码,是一个学习的平台。

    二、数据特性

    1.数据粒度

    数据存在特定的特点,其中之一为粒度
    较标准的定义为:
    数据粒度是指数据仓库中数据的细化和综合程度
    根据数据粒度细化标准:细化程度越高,粒度越小;细化程度越低,粒度越大。

    很多时候得到的数据为汇总的数据,比如对于电商来说,得到了每个月的销售情况,要预测每天的销售情况是不现实的;
    汇总数据可以获取整体趋势。

    而对于原始数据,可以为每一种商业模式确定相应的指标KPI,比如电商行业的常见指标如下:
    电商指标

    并且可以使用杜邦分析法评价指标组合进而确定经营业绩,示意如下:
    杜邦分析法

    对于Leader来说,很重要的一个要求是用户体验好,好的用户体验好主要包括以下方面:
    好的用户体验

    分析流程可以进一步细分如下:

    • 目标
      比如设定PV、DAU(日活)等指标。
    • 收集数据
      根据需求、按照指定的方法获取数据,并过滤掉无用的信息。
    • 数据探索
      发现收集到的数据的特点、分布特征,并探索数据间的关系。
    • 特征工程
      数据中哪些重要。
    • 开发计算
      进行建模计算、并产生结果,如线性回归、逻辑回归。
    • 评估

    假如有一个JSON格式的电影评分数据如下:
    计算相似性

    现在需要计算谁和谁更相似,对两部电影建立坐标系如下:
    电影坐标系

    每个人的评分都以坐标的形式体现出来,可以通过两者之间的距离计算出来,距离越近则相似度越高,最简单的方式是通过勾股定理计算;
    有多部电影则计算多维距离。

    2.数据质量与形式

    数据有一个很重要的特性是数据质量。
    根据定义,数据质量是指在业务环境下,数据符合数据消费者的使用目的,能满足业务场景具体需求的程度。

    比如说,调查问卷因为设计不好而导致收集到的结果有失客观性,这就是数据质量有问题。

    衡量数据质量有一定的衡量指标:

    • 重复
      数据重复是否有意义。
    • 完整
      数据探索时判断数据是否完整。
    • 一致
      数据之间是否一致,比如问卷数据前后部分是否符合。
    • 时效
      数据一般在某个时间区间内有效。

    数据还有一个特性是数据形式,主要包括:

    • 结构数据
      具有一定结构的数据,如MySQL数据库中的数据,对数据类型有一定的限制。
    • 半结构数据
      具有特定的格式,如之前的json数据就是半结构数据,一般来自网站。
    • 非结构数据
      文本、图片等文件,没有特定的结构,不能使用常规方法分析。
      对于图片文件,图都是有由像素组成的点阵,每一个像素点由RGB值确定,组成一个矩阵进行处理。

    不同格式的数据也有不同的来源。

    3.数据隐性

    可以从数据中挖掘出信息和价值。

    再举一个案例:
    (4)对于电商行业,怎么分析客户的男女比例:
    假如有一个客户叫孙悦,昵称是小悦悦,最近老是频繁登录公司的APP,并且总是浏览美妆产品,而且最近三个月购买了大量女鞋和美妆。
    那么孙悦是男还是女呢?

    要判断一个客户是男性还是女性,可以从以下指标出发:
    性别判断指标

    最简单的方法:

    男性概率=姓名倒数第一个字男性概率×权重1+姓名倒数第二个男性概率×权重2
    女性=1–男性概率

    这个模型只是依据姓名来判断的,较为单一。

    更进一步的分析:
    在姓名判断性别概率的基础上,再依据消费行为(如购买剃须刀)的特征判断性别概率,并确定权重计算加权概率。
    这是一个分类问题。

    进行数据分析的好处:

    • 搞清事实
      分析事情的好坏。
    • 接近真相
      可以发现真相的可能情况。
    • 预测未知
      比如预测消费曲线。
    • 帮助决策
      如智能投顾。

    三、数据分析类型、可视化与数据驱动开发团队

    1.不同类型的分析

    不同类型分析的复杂度和价值如下:
    不同类型的分析

    其中,描述性分析用于描述当前情况,比如分布、曲线等;
    诊断分析主要分析问题原因,可能需要进行可视化;
    预测分析主要预测未知,包括自动化推荐系统、销量预测;
    指导分析用于指导行动。

    随着难度的加大,所需要的数据也越来越多工具越来越复杂

    常见的分析框架如下:
    数据分析框架

    具体包括SVM、决策树、逻辑回归、神经网络、线性回归、K-means、分层聚类等理论模型。

    2.数据可视化

    有了分析的结果,需要进行报告,其中可视化不可缺少,需要将结果呈现出来。
    同时在数据探索时,数据可视化可以让我们更加直观地了解数据所呈现出的特点。

    一个图表示意如下:
    数据可视化反面示例

    显然,左右两部分都是有问题的:
    标题不规范;
    刻度不一致,不协调;
    坐标轴起点;
    两个表的差距感觉不同,但实际上差别是一样的。

    3.数据驱动开发团队

    一个典型的数据驱动开发团队的成员如下:
    典型数据驱动开发团队
    左侧负责数据分析,右侧负责项目开发,需要相互协调和配合。

    展开全文
  • 案例分析 92 5. 客户细分 98 5.1 客户细分的背景 98 5 .2 客户细分的概念 98 5.3 客户细分模型 99 5.4 客户细分模型的基本流程 101 5.5 细分方法介绍 102 5.6 客户细分实例 102 6. 客户满意度 106 6.1 结构方程模型...
  • 本书以功能强大且较易上手的Python语言为编程环境,全面讲解了大数据分析与机器学习技术的商业应用实战。全书共16章,讲解了线性回归模型、逻辑回归模型、决策树模型、朴素贝叶斯模型、K近邻算法模型、随机森林模型...

    大数据分析与机器学习技术已成为各行各业实现数字化变革的关键驱动力。本书以功能强大且较易上手的Python语言为编程环境,全面讲解了大数据分析与机器学习技术的商业应用实战。全书共16章,讲解了线性回归模型、逻辑回归模型、决策树模型、朴素贝叶斯模型、K近邻算法模型、随机森林模型、AdaBoost与GBDT模型、XGBoost与LightGBM模型、PCA(主成分分析)模型、聚类与分群模型(KMeans与DBSCAN算法)、协同过滤算法模型、Apriori关联分析模型、神经网络模型等十余种机器学习模型的原理和代码实现,每种模型都配有一到两个典型案例,涵盖金融、营销、医疗、社会科学、企业办公与管理等多个领域。本书适合具备一定数学知识和编程基础、希望快速在工作中应用大数据分析与机器学习技术的读者阅读,也适合Python编程爱好者或对大数据分析与机器学习技术感兴趣的读者参考。

    前言如何获取学习资源章 Python与数据科学1.1 大数据分析与机器学习概述131.1.1 大数据分析与机器学习的应用领域131.1.2 机器学习的基本概念141.1.3 Python在数据科学中的作用161.2 Python编程环境部署与基本操作161.2.1 Python的安装161.2.2 Pycharm的安装与设置181.2.3 Jupyter Notebook的使用221.3 Python基础知识概要28第2章 数据分析利器:NumPy、pandas与Matplotlib库2.1 NumPy库基础292.1.1 NumPy库与数组292.1.2 数组与列表的区别302.1.3 创建数组的几种方式312.2 pandas库基础332.2.1 二维数据表格DataFrame的创建332.2.2 Excel工作簿等文件的读取和写入382.2.3 数据的选取与处理412.2.4 数据表拼接472.3 Matplotlib库基础512.3.1 基本图表绘制512.3.2 数据可视化常用技巧562.4 案例实战:股票数据读取与K线图绘制612.4.1 初步尝试:股票数据读取与可视化622.4.2 进阶实战:股票K线图绘制65第3章 线性回归模型3.1 一元线性回归733.1.1 一元线性回归的数学原理733.1.2 一元线性回归的代码实现753.1.3 案例实战:不同行业工龄与薪水的线性回归模型773.2 线性回归模型评估833.2.1 模型评估的编程实现833.2.2 模型评估的数学原理843.3 多元线性回归873.3.1 多元线性回归的数学原理和代码实现873.3.2 案例实战:客户价值预测模型88第4章 逻辑回归模型4.1 逻辑回归模型的算法原理924.1.1 逻辑回归模型的数学原理924.1.2 逻辑回归模型的代码实现944.1.3 逻辑回归模型的深入理解954.2 案例实战:客户流失预警模型984.2.1 案例背景984.2.2 数据读取与变量划分984.2.3 模型的搭建与使用994.3 模型评估方法:ROC曲线与KS曲线1044.3.1 ROC曲线的基本原理1054.3.2 案例实战:用ROC曲线评估客户流失预警模型1084.3.3 KS曲线的基本原理1114.3.4 案例实战:用KS曲线评估客户流失预警模型112第5章 决策树模型5.1 决策树模型的基本原理1155.1.1 决策树模型简介1155.1.2 决策树模型的建树依据1165.1.3 决策树模型的代码实现1195.2 案例实战:员工离职预测模型1235.2.1 模型搭建1235.2.2 模型预测及评估1265.2.3 决策树模型可视化呈现及决策树要点理解1315.3 参数调优:K折交叉验证与GridSearch网格搜索1385.3.1 K折交叉验证1385.3.2 GridSearch网格搜索139第6章 朴素贝叶斯模型6.1 朴素贝叶斯模型的算法原理1456.1.1 一维特征变量下的贝叶斯模型1456.1.2 二维特征变量下的贝叶斯模型1466.1.3 n维特征变量下的贝叶斯模型1476.1.4 朴素贝叶斯模型的简单代码实现1476.2 案例实战:肿瘤预测模型1486.2.1 案例背景1486.2.2 数据读取与划分1486.2.3 模型的搭建与使用149第7章 K近邻算法7.1 K近邻算法的原理和代码实现1527.1.1 K近邻算法的基本原理1527.1.2 K近邻算法的计算步骤1537.1.3 K近邻算法的代码实现1557.2 案例实战:手写数字识别模型1577.2.1 案例背景1577.2.2 手写数字识别的原理1577.2.3 手写数字识别的代码实现1597.3 图像识别原理详解162第8章 随机森林模型8.1 随机森林模型的原理和代码实现1668.1.1 集成模型简介1668.1.2 随机森林模型的基本原理1678.1.3 随机森林模型的代码实现1688.2 案例实战:股票涨跌预测模型1708.2.1 股票基本数据获取1708.2.2 股票衍生变量生成1738.2.3 多因子模型搭建1818.2.4 模型使用与评估1848.2.5 参数调优1868.2.6 收益回测曲线绘制188第9章 AdaBoost与GBDT模型9.1 AdaBoost算法原理1909.1.1 AdaBoost算法的核心思想1909.1.2 AdaBoost算法的数学原理概述1919.1.3 AdaBoost算法的数学原理举例1949.1.4 AdaBoost算法的简单代码实现2009.2 AdaBoost算法案例实战:信用卡精准营销模型2019.2.1 案例背景2019.2.2 模型搭建2019.2.3 模型预测及评估2029.2.4 模型参数介绍2059.3 GBDT算法原理2069.3.1 GBDT算法的核心思想2069.3.2 GBDT算法的数学原理概述2089.3.3 GBDT算法的数学原理举例2089.3.4 GBDT算法的简单代码实现2139.4 GBDT算法案例实战:产品定价模型2149.4.1 案例背景2149.4.2 模型搭建2149.4.3 模型预测及评估2179.4.4 模型参数介绍2190章 机器学习神器:XGBoost与LightGBM算法10.1 XGBoost算法原理22310.1.1 XGBoost算法的核心思想22410.1.2 XGBoost算法的数学原理概述22410.1.3 XGBoost算法的简单代码实现22510.2 XGBoost算法案例实战1:金融反欺诈模型22610.2.1 案例背景22610.2.2 模型搭建22610.2.3 模型预测及评估22810.2.4 模型参数调优23010.3 XGBoost算法案例实战2:信用评分卡模型23310.3.1 案例背景23310.3.2 多元线性回归模型23410.3.3 GBDT回归模型23510.3.4 XGBoost回归模型23710.4 LightGBM算法原理24110.4.1 LightGBM

    展开全文
  • 【网站数据分析】 Why 为什么要做数据分析 How 怎么做数据分析 Cases 典型案例 Tools 常用工具 我们最终需要的并不是数据 而是数据分析之后产生的有意义的信息 这样的信息可以帮助我们决策 让我们了解自己往何处去 ...
  • 商业数据分析,共包含39页ppt。对商业数据的计算、建模,可解释性,以及应用场景做了广泛的分析。欢迎感兴趣的研究者一起学习。
  • Python数据分析案例教程,不仅介绍了使用Python进行数据分析所涉及的常用知识,而且介绍了6个流行的数据分析方面的项目。包括数据分析基础、NumPy模块实现数值计算、Pandas模块实现统计分析、Matplotlib模块实现...
  • 商业数据分析》读书笔记(一)

    千次阅读 2019-01-07 11:10:24
    这本书重点在于讲解商业数据分析背后的重点原则。帮助人形成一套科学的应用数据分析的流程。 对于有数据分析基础知识的人来说,可以作为一种融会贯通的思维练习。 前言 1.介绍:数据分析思考 数据机会的普遍...

    https://learning.oreilly.com/library/view/data-science-for/9781449374273/

    这本书重点在于讲解商业数据分析背后的重点原则。帮助人形成一套科学的应用数据分析的流程。

    对于有数据分析基础知识的人来说,可以作为一种融会贯通的思维练习。

     

    前言

     

    1.介绍:数据分析思考

    数据机会的普遍存在

    案例:法国飓风

    案例:预测客户流失

    数据科学,工程,和数据驱动决策制定

    数据处理和“大数据”

    从大数据1.0到大数据2.0

    作为战略资产的数据和数据科学能力

    数据分析思考

    这本书

    数据挖掘和数据科学,再访

    化学不是关于试管的:数据科学VS数据科学家的工作

    总结

     

    前言

     

    这本书适合:

    与数据科学家共事的商务人士,主导数据科学导向的项目和数据科学相关的风投人士。

    试图用数据科学解决商务问题的开发者

    有抱负的数据科学家

     

    这本书重点在于介绍商务数据科学背后的原则,而非算法细节。

    读者不需要深厚的数学素养,但是内容依旧具有技术性。因为它不是一个全局概览性的树。

     

    这本书横跨展望问题,到应用数据科学技巧,到部署结果提升决策制定水平的整个过程。

     

    概念适合三大类:

    1.关于数据科学如何植入到组织中的概念,包括吸引,构建,培养数据科学团队;数据科学如何转化为竞争优势的方法;与数据科学团队相处的战术概念

    2.数据分析思维的大体方法。帮助人识别合适的数据和考虑合适的方法。概念包括数据挖掘过程以及不同复杂度的数据挖掘任务

    3.真正从数据中挖掘知识的整体概念。

     

     

    这本书不光被本系的MBA喜欢,其他理工学生也喜欢。还被其他几个学校作为教材。

     

     

    第一章 介绍:数据分析思考

     

    要有大大的梦想,小梦想不能驱动人心——歌德

     

    过去十五年在商务基础设施方面有了广阔的投资,这改善了在企业各方面手机数据的能力实质上商业的各个方面现在都对数据收集敞开大门而且经常甚至配备了数据收集装备:运营,制造,供应链管理,消费者行为,营销表现,工作流程等等。与此同时,信息正在诸如市场趋向,行业新闻,和竞争者运动方面有更广泛的可用性。这种对数据广泛的可用性让人对从信息中抽取有用信息的理论更感兴趣,那就是——数据科学领域。

     

    **

    商业的各个层级都有数据,而且可用性日趋增大,数据科学就是从数据中抽取有用信息。

    **

     

    数据机会普遍存在

     

    随着大量数据可用,几乎各行各业的公司都在应用数据提高竞争优势。过去,公司会雇佣统计学家,建模师和分析师手动探索数据集,但是数据的体量和多样性已经远远手动分析的能力。同时,计算机已经更强大,网络无处不在,可以连接数据集和更广更深分析的算法已经开发出来。种种现象的汇聚让数据科学原则和数据挖掘技术的商业应用大大扩展。

     

    营销领域现主要用于目标营销,线上广告,交叉销售推广。客户关系管理,管理消耗和最大化期望客户价值。

    金融领域用于信用评分和交易

    运营领域欺诈侦测和劳工管理

    主要零售商沃尔玛和亚马逊在从营销到供应链管理方方面面应用数据科学。

     

    本书首要目标是帮助你从数据角度看待商业问题和理解从数据中抽取有用信息的基本原则。当然,这并不是说,阅读这本书以后就会拥有商务或数据科学意识,师傅领进门,修行在个人。

     

    两个例子

     

    法国飓风

    沃尔玛首席信息官在飓风来临前一个星期通过历史数据分析在接下来一周的货物需求量,来管理库存。挖掘出什么信息?不仅是显而易见的瓶装水会大卖,而且草莓和啤酒也会大卖。如果不进行数据挖掘,就得不到这个信息,到时候会断货。导致销售损失。

     

    **

    商业数据分析,目标是解决商务问题。卖更多东西。

    对于任何人,处在任何位置,都需要做决策,决策背后能否用数据支持呢?

    **

     

    预测客户流失

    这些数据分析表现如何?考虑第二个,一个更典型的商业行动方案,如何通过数据视角看待它。这个问题会作为一个动态例子来阐明这本书提出的主要问题并且提供一个参考通用模型。

     

    数据无处不在。

    数据科学的核心作用是预测,发现背后的规律,用这种规律来预测将来发生的事情

    这就引出来一个问题,我想知道什么,或是别人特别想知道什么,这个东西可不可以被预测。

    mege公司面临用户流失问题,假设你就是分析员。

    他们打算给客户提供一项激励以保留现有客户,你的任务就是在细节上决定把这些激励给哪些客户(要知道,营销预算有限,保留老客户比吸引新客户更省钱,而且也不能给所有人这项激励,必须充分运用这些预算)

     

    仔细思考你需要什么数据以及如何利用他们?

    描述客户的特征向量,包括最终是否流失,带来的利润等等历史数据。

     

    电信和金融领域的客户保留中大量应用数据挖掘

     

    数据科学,工程,和数据驱动决策制定

     

    数据科学在通过(自动)分析理解现象中包括原则,流程和技巧。这本书中,我们将数据科学的根本目标设定为改善决策制定,因为它通常在商业中带来直接利益。

     

    数据驱动决策并不完全依赖于经验和直觉或是抽象的数据分析,而是两者的结合。

    数据驱动决策已经被科学家确证了可以显著提高决策水平。

     

    沃尔玛的对手瞄准(TARGET)从历史数据中分析预测谁会怀孕,以便进行精准营销。

    从历史数据中带着发现一些有用的东西的希望去挖掘,而非简单测验一个假设。

     

    对于客户管理中的数据科学(以下简称DS)应用,关键目的是保留客户。预测哪些客户会流失,预测每个客户的可能消费是多少,决定要在他身上投入多少。无论是否有DS的参与,营销活动都必须进行,显然,DS让营销更有效了。

     

    同样的逻辑可以应用于许多领域,在直接营销,线上广告,信用评分,金融交易,服务台管理,欺诈侦测,艘多排序,产品推荐等等领域都有DS的大量集中应用。

     

    数据驱动决策(data driving decision making,DDD)支持决策制定,并且商业决策由计算机系统自动制定的情况越来越多。

     

    自动决策在不同行业有不同的应用率。在电信和金融领域内最早被采纳,很大程度上是因为它们较早具备数据网络和大范围计算的应用,这允许他们对大数据聚合和建模以及应用决策咨询模型。

     

    **

    自动决策以后就像机器一样越来越被人信赖和依赖,因为人的决策过程,说到底就是数学,既然是数学,就有可能被程序执行。这是比机电设备更高一级别的自动化。

    但是人的直觉,人的无意识或是潜意识,也就是现在还无法用逻辑解释的创造灵感,目前来看还无法用算法代替。

    因此,自我实现,在算法时代,更凸显了重要性。不能把人当做工具。应该把人当做具有创造性和主观能动性的人。不要试图完全掌控别人,要给予别人充分的自主性。企业不是军队。

    **

     

    上世纪90年代金融电信行业就部署了大数据决策系统。接着是零售业,然后是网络营销,如亚马逊和网飞,因为越来越多的人在网上消费,这要求系统有作出瞬间线上商业决策的能力。

     

    数据科学的核心在于发现规律和预测。

    基础设施铺设——》数据科学的个性化应用

    信息社会,数据越来越多,数据科学能力成为战略能力。

    培养数据科学思维:从数据分析的角度看待问题。

    这是在只觉得基础上,增加这一种能力,能让人成为更为完善,更为整合的人。

    注意:也千万不要忽视直觉力,这是我们作为人最珍贵的能力。

    数据科学对我来说是一种有力的工具。它可以用来解决我关心的问题。


     

    直觉,是走向和谐完满的唯一途径。

    自我实现,是我唯一神圣使命。

    大数据的个性化应用,是现在的主流。


     

    数据处理和大数据

     

    有必要离题一下。数据处理不是DS,数据工程(DE)和数据处理(DP)对支持DS很重要,但是他们更广泛。DS需要DE/DP出来的数据,但他们不是DS本身。DS是从数据中抽取知识,实现DDD。

     

    热门的Hadoop /HBase/MongoDB都是属于数据处理和数据工程领域。

     

    DS的本质,是从数据中获取知识。

     

    从大数据1.0到大数据2.0

     

    作者将数据科技类比成互联网科技。当你有了基本的通讯网络之后,你会想干更多的事情。

    你就从web1.0跨越到了为web2.0,当你有了更多的数据之后,你就会对数据有更多思考,考虑现在能不能做以前从未做过的事情,或者能不能比以前做得更好?这就开始了跨越。

     

    亚马逊在网络和数据技术应用方面都走在了最前线。

    意思就是有了更深入或是更细分的应用?

     

    数据和数据科技能力作为一种战略资产

    持有这种观点,可以让决策者进行清楚明确的思考。注重在这方面的投资。

    数据和数据科学能力缺一不可。建造拔尖的数据科学团队不是平凡的事业,但是可以在决策领域产生巨大的改变。

     

    西奈银行是一个经典案例。上世纪80年代数据科技给它带来巨变。给失约概率建模将这个行业从个人失信可能性评估改变到战略性的大规模评估,这随之带来了大量的经济效益。虽然现在看起来很奇怪,但是在那是,信用卡有同样定价,因为:1)公司没有足够的信息系统处理大规模不同定价, 2)银行管理层认为顾客不接受区别定价

     

    **

    真让我有些吃惊,也有些受到启发。现在存在的东西,只适合它创造的时候,并不适合现在。万事万物都在不断的发展变化着,对待事情就像对待人一样,不能有成见,保持开放的胸怀和头脑。

    邓小平和李光耀都具有这种魄力。无论自己犯了多么大的错误,损失了多少东西,一旦自己发现方向错了或走错了路,就会毫不犹豫的

     

    上个世纪八九十年代,银行的信用卡定价系统从统一变革到了个性化!

    因为当时没有足够强大的的信息系统对每个客户进行个个性化信用评估,甚至银行认为人们根本不会接受区别定价?!

    事情应该怎么做?这是独立理性思考的范畴。而事情的现状是什么样则不一定合理。所谓的变革,就是从发现这种不合理开始。

    “存在即合理”是一句没用的废话。这只不过是理论家们为了自圆其说发明的狗屁不通的屁话。目的就是让人们看不懂,想不通。

    银行本质上就是借贷。

    当然需要考量借贷人的信用?傻子才不这么想!

    但是,从技术角度做不到。

    现在有许多行业其实也到了启动这项变革的节点。是什么呢?有数据的地方就有知识和预见。有预见能力就可以更好的决策。

     

    这个西奈银行的案例很有趣,值得反复研习。

     

    **

     

     

    大约1990年,richard faribanks and morris nigel 认为信息技术已经足够强大到计算个性化信用(个性化应用已经成为了一种趋势,正在被实践)。他们跑遍各大银行没有得到高管的支持,最后在一家区域性银行——西奈银行得到了支持。他们要对每个客户的赢利性和失约性进行建模。

     

    开始西奈前了几年的数据筹集过程,导致了可观的损失,但是他们把这些损失看作是对数据科学的投资。因此,在股东抱怨重重的时候坚持下来。

     

    开始信用评级之应用到了银行内客户数据,后来又引入了社会统计数据,更多的数据让交易表现获得了惊人的成长。

    亚马逊收集数据,给客户进行个性化推荐让营业额显著增长。

     

     

    脸书上有海量的个人和他们的喜好数据。但是这些数据能否被充分应用还是个问题。小扎不是接受国会质询了吗?

     

    **

    大量的行业应用案例,确实说明了数据和数据科学大有用武之地。

    **

     

    作者的观点是数据科技的个性化应用。

     

    这本书

    这本书偏重于理念。但也不是不注重技术。技术承载了种种理念。

    这本书奉献很多注意力在从大数据中抽取有用的(何为有用?非凡的,能指导实际行动的)模型或模式,或说规律(也就是道)

    比如,在客户流失案例中,是发现模式,行为模式,帮助我们预测哪些人不会与我们再续约。

     

    数据分析思维

    分析类似客户流失问题的案例提高了我们用数据分析解决问题的能力。推广扩大这种视角是这本书的目的之一。当我们面临一个业务问题时,应该能够评估是否和如何用数据来解决改善这个问题。我们讨论了一系列促进仔细思考的基本概念和原则。我们开发了一个框架让分析成为一个系统。

     

    DDD在商业活动中扮演越来越重要的角色。所以,不管你是否要直接参与到DDD中,都应该对它有所了解,这样才能有能力与其互动,或者发掘它的威胁。

    当你的咨询师说要挖掘一个数据集时,你能够进行基本的判断,该不该这么做;

     

    从较小的方面说,一个雇员要能和数据科学团队互动,也需要知道基本的原则和概念。这种不理解对数据团队伤害很大。种种不理解会浪费数据科学团队的时间,甚至作出错误决策。

     

    **

    作为一个商业数据科学工作者,就有义务向别人(任何人)解释为什么你做的事情重要。。。它有什么实际作用。数据科学人员必须具有说服力,才能让别人心甘情愿协助工作。

    作者提出了一个重要且清晰的观点:从数据中提取有用信息,什么是有用?非凡的——有些东西即使不做数据分析也可以得到,那就不是有用的;可执行的——发现了知识,但是根本与商业问题联系不起来,没法指导商业决策或商业行为,这也叫无用。

    **

     

     

    以下是本书中的基本理念,它们以及更多的理念会在后续章节中详细说明。

    基本理念:

    从数据中抽取有用知识可以系统的有逻辑的按照定义好的步骤完成。跨行业数据挖掘标准流程,缩写是CRISP-DM(2000年),是这个过程的一个成典。

     

    **

    简言之,数据挖掘有章可循。

    2015年,IBM发行了新版本。缩写ASUM-DM。

    **

     

    基本理念:

    信息技术可以发现信息丰富的描述性属性。

    拿客户流失案例说,一个客户对应多个属性,如使用,服务历史,和其他。那么哪个属性给我们提供了它要停止续约的信息,提供了多少信息。有时候,这个过程涉及到粗略的找到与“流失”相关的变量。分析师或许会进行一些假设检验,并且还有一些工具帮助我们推进这个实验。或者,分析师可以将信息技术应用到自动发现重要属性——本质上是做大规模自动筛选。更进一步,这个理念可以一再应用到进行多属性模型构建。

     

    **

    简言之,自动化特征工程。甚至,自动化模型构建。作者应该是要告诉我们,应该有用程序自动化一些东西这个理念,并且应用这个理念。学会应用自动化工具甚至创造自动化工具。

    **

     

    基本理念:

    如果你使劲儿审视一个数据集,你会发现一些东西,但会失去泛化能力。过拟合是个重要概念,尤其在实际问题中。它渗透到了数据科学处理,算法和评估的各个部分。

     

    基本理念:

    规划数据挖掘解法和评估结果包含仔细思考它将要被应用到的环境。

    如果我们的目标是抽取潜在有用知识,我们如何具体定义有用?它关键取决于应用。以流失管理为例,我们如何应用从历史数据中抽取出来的模式?应不应该把客户价值加入到离开可能性的考量中?宽泛一点说,这个模式相对于一些其他选择能带来更好的决策吗?如果随机决策效果怎么样?

     

    **

    这个理念是最重要的,就是切合具体商务问题情景。思考DS能不能解决问题。能解决什么问题。又没有更好的其他方式解决问题。。。。这些问题需要我们思考,使劲而思考。

    **

     

    化学不是关于试管的:数据科学VS 数据科学家的工作

    再继续进行之前,我得在简要说一下数据科学的工程一面。就如同一个化学家一定是一个称职的实验室技师一样,一个数据科学家或数据科学工作者一定是能够应用软件工具的。

     

    说了这一点,这本书关注通用原则与理念。技术发展迅速,但是这些理念过去二十年和未来几十年不会变化太大。

     

    总结

     

     

    展开全文
  • 商务数据分析与应用 江苏经贸职业技术学院 其他数据分析 中国移动社交应用商业案例分析 中国独立移动社交商业案例分析 唱吧线上与线下结合以音乐+社交为核心打造娱乐生态 唱吧结合自身的优势和布局从虚拟礼物/...
  • 商业分析师负责利用数据分析将IT技术和商业联系起来,通过数据分析帮助企业优化生产流程,产品,服务和软件,评估生产流程,确定产品需求并向管理层和投资者提供数据驱动的建议和报告。敏锐的分析师们填补了技术与...

    什么是商业分析师?

    商业分析师负责利用数据分析将IT技术和商业联系起来,通过数据分析帮助企业优化生产流程,产品,服务和软件,评估生产流程,确定产品需求并向管理层和投资者提供数据驱动的建议和报告。

    敏锐的分析师们填补了技术与商业之间的鸿沟,提高生产效率并实现技术的商业价值。

    国际商业分析协会(IIBA),定义商业分析师是“变革的推动者”,他们认为商业分析“是一种为组织引入和管理变革的规范方法,无论他们是营利性企业,政府或非营利组织。“

    商业分析师需要兼具硬软技能。商业分析师需要知道如何获取,分析和报告数据趋势,并能够与其他人分享这些信息并将其运用于商业之中。并非所有的商业分析师都需要IT方面的背景知识,只要他们对信息系统,产品和工具的工作方式有一个基础的了解即可。另外,还有一些商业分析师是具有强大的IT背景但较少的商业经验,他们也有兴趣从IT技术岗位转型到这种混合角色。

    核心商业分析师的职责

    商业分析师们要与营销团队和用户交流,基于数据分析变革生产流程,优化产品,服务,软件和硬件,实现提高效率和增加价值。他们在设计和阐明的优化方案的同时要平衡这些方案在技术,资金成本和功能上的可行性。很多商业分析师,需要通过处理大量数据库来确定最终方案,改进产品,硬件,工具,软件,服务和流程。

    贝佛大学商业分析和管理学位教授兼学术项目主任Bob Gregory说,确定技术和功能需求并确定其优先顺序是商业分析师的首要职责。

    “引发需求并使用这些需求来实现相应的IT技术上线,了解客户真正想要的是什么,这是商业分析师最大的责任之一。他们必须从产品所有者角度出发思考。”Gregory说。

    “他们需要问:系统需要做什么,要如何做,我们需要从哪些方面获得意见,以及如何让所有人就我们需要做的事达成一致?商业分析师的工作围绕着定义需求和确定需求的优先级以及获取需求的反馈和批准,“Forrester Research副总裁兼首席分析师Jeffrey Hammond说。

    商业分析师的角色不断发展变化 - 特别是随着公司更多地依靠数据为业务运营提供建议。每个公司都有需要商业分析师来处理的不同问题,其中可能涉及到处理过时的传统系统,改革技术,打破旧生产流程,提高客户或消费者满意度,和重组分离部门。

    商业分析师技能要求

    IIBA认为一位商业分析师最重要的技能和经验包括:

    • 口头和书面沟通技巧

    • 社交和咨询技能分析思维和解决问题的能力

    • 注重细节和准确性

    • 组织能力

    • 有关业务结构的知识

    • 利益相关者分析

    • 成本收益分析

    • 流程建模了解网络,数据库和其他技术

    商业分析师薪资

    商业分析师职位在多个行业和部门存在。根据Robert Half Technology的2018年薪资指南,下面是一些IT行业最常见的与分析师相关的职位。Robert Half Technology根据经验,技能,职能的复杂性以及地理位置和行业的竞争力来划分平均薪资水平。入门级工作人员通常在第25百分位,而那些处于职业生涯上升阶段或竞争激烈或职能复杂的职位通常落在第50至第75百分位。第95百分位是最高级的分析师或那些在最具竞争力的行业工作或者职能复杂度非常高的工作人员。

    商业分析工具和软件

    商业分析师通常依靠诸如Microsoft Excel,Microsoft PowerPoint,Microsoft Access,SQL,Google Analytics和Tableau等软件。这些工具帮助分析师收集和分类数据,创建图表,编写文档和设计可视化来阐明发现。你不一定需要具备非常出色的编程或数据库技能,但如果你已具备这些技能,是锦上添花。你需要使用的软件和工具类型取决于你的职位和组织要求的内容。

    商业分析师在软件开发中的角色

    商业分析师使用实时用户数据和分析程序来识别用户趋势,优秀的产品功能以及潜在用户的开发问题。随着数据对组织越来越有价值,商业分析师也越来越重要。

    鉴于职责范围不断扩大,一些组织已经设置产品经理职位,与商业分析师一起工作,或者成立有多个商业分析师的团队完成商业建议报告

    随着软件开发的扩张和迭代速度加快,商业分析师们参与项目开发的时间进程也改变了。在经典瀑布式开发环境中工作的商业分析师在收集,分析和优先考虑用户需求之前,更多地涉足前端,然后将这些需求交给开发人员,然后转到另一个软件开发项目。与此同时,从事尖端项目的商业分析师可能参与到产品的发行甚至跟进后续多个版本的更新。


    文中提到的商业分析师必备技能和分析工具,你是否全都掌握了呢?或是刚刚开启商业分析师的修炼之路,或许下面的内容能给你一些帮助!

    零基础入门,适合小白的最全面实用的实验 ,推荐

    【MySQL 基础课程】

    本课程实验内容从 SQL 概念开始,在 MySQL 数据库中学习并实践了 SQL 常用语法及约束、索引、视图、SELECT 查询、修改与删除等基本操作。课程包含两部分,基础部分学习 SQL 基本操作实验,进阶部分基于 MySQL 官方参考手册制作,学习 MySQL 的进阶操作。课程链接:https://www.shiyanlou.com/courses/9

    【Spark 基础之 SQL 快速上手】

    在本课程中,你将可以学习到 Spark SQL 的基础概念,了解如何利用 SQL Context 及相关的 API 进行统计分析。最后还将通过一个分析股票价格与石油价格关系的实例,进一步学习如何利用 Spark SQL 分析数据。本课程难度为一般,属于初级级别课程,适合具有 Spark 基础的用户,学习 Spark SQL 的基础知识。课程链接:https://www.shiyanlou.com/courses/586

    大数据工程师

    大数据学习路径中会学习并实践 Java、Scala、Hadoop、HBase、Mahout、Sqoop及Spark等大数据技术,本路径通过大量的动手实验,在实验数据集上实践各种大数据工具,帮助你成长为具备动手能力的大数据工程师。

    R数据分析师

    R语言学习路径将首先学习入门知识和R语言基础知识,然后通过数据统计分析、计量经济建模分析、量化金融投资分析、市场研究分析、数据挖掘五个模块的动手操作实践,深入强化R语言知识。完成本路径的实验课,将具备独立运用R语言进行各类数据分析的能力。

    点击 小程序 或进入 实验楼主页,点击「学习路径」,即可免费加入这两条学习路径~

    文章节选自CIO

    作者:Mary K. Pratt & Sarah K. White

    翻译:Julyzheng

    原文链接:https://www.cio.com/article/2436638/careers-staffing/project-management-what-do-business-analysts-actually-do-for-software-implementation-projects.html

    展开全文
  • 商业分析导论 1、商业分析是什么 2、商业分析师在做什么 3、为什么要学习商业分析 4、商业分析师的能力要求 ...案例:盒马鲜生中的商业分析 “吃-转-送”三步法重新定义门店 ...
  • 商业数据分析--思路总结

    千次阅读 2020-12-11 21:03:24
    一、概念 什么是商业 B2B/B2C/B2B2C/C2B/B2VC 什么是商业运作供应链-产品/服务-销售渠道-(营销/风控)-用户-售后客服->... 权力-魅力-创造力-协调力-执行力-数据分析能力 什么是商业分析? 用数
  • 大数据时代的商业数据分析管理主讲邹红伟 直面挑战 授课方式 方法体系讲解+案例分析与讨论+现场模拟理论结合实践课程简介 大数据时代企业积累的数据战略资源如何发挥最大价值如何让BI部门不再被企业看作一个成本中心...
  • 有趣的数据分析案例

    千次阅读 2019-08-16 10:06:16
    数据分析在我们的日常生活中起到的作用越来越重要,应用的场景也越来越多,在各个行业,都有数据分析的...数据分析案例 1.医疗行业 在加拿大多伦多的一家医院,针对早产婴儿,每秒钟有超过3000次的数据读取。通...
  • spss数据分析实例

    热门讨论 2010-09-19 11:58:36
    很好的实例教程 1.1 数据的输入和保存 1.1.1 SPSS的界面 1.1.2 定义变量 1.1.3 输入数据 1.1.4 保存数据 1.2 数据的预分析 1.2.1 数据的简单描述 1.2.2 绘制直方图 1.3 按题目要求进行统计分析 1.4 保存和导出分析...
  • 作为一名商业数据分析师,应该如何成长,学习哪些技能。我的回答是,除了数据分析技能的学习之外,你要比产品经理更懂产品,比业务更懂业务,甚至还需要对整个行业有一定的思考。如果你做到了,那么你可能成为一个...
  • 使用最新的 Tableau 2018.1 版本对分析过程重新截图,而且按照高校的教学目标匹配了案例的广度与深度。书中的案例,部分选自 Tableau 原厂的演示数据,其他绝大多数则由国内的真实案例修改而来。
  • 大数据时代的商业数据分析管理; 直面挑战 ;培训收益 ;课程大纲 ; 2.2 基于指标\总体统计数据的运营现状探索维度方法 2.3如何通过指标数据验证商业理解阶段的分析思路 2.4 如何定义数据分析对象(如群体) 2.5和老师...
  • 淘宝大数据分析案例

    千次阅读 2021-01-01 23:55:17
    本次结合的是一份淘宝大数据数据,数据集的大小共177MB,数据一共有3182261份(三百多万份数据集),一般的软件是无法计算和分析的,比如Excel,MySQL,Python这些都无法较好的完成相关数据分析。 1.Excel一般是一...
  • 数据处理案例分析 帮助顾客成功 Kingdee 内容 报表 成本计算 Q&A kingdee 案例 案例 此帐套采用自定义会计期间,1期2005-1-1至2005-1-25 22005-1-26至2005-2-25.12期2005-11-26-2005-12-31,错误现象是查询商 品收发...
  • 本书全面详尽地论述了Excel 2007强大的数据处理功能,结构独具匠心,以生动案例组织每个主题,介绍了Excel中与数据分析和业务建模密切相关的众多重要函数 ... 会计和销售等人员使用,尤其是利用Excel进行数据分析以...
  • 数据分析案例

    千次阅读 2018-09-12 22:22:18
    数据分析报告撰写  ———手机APP数据 背景介绍 2015年1月5日,人民银行批准八家机构进行数据的收集。此后,中国个人征信行业进入高速发展期,征信人口覆盖率达50%,每人每年查询个人征信报告的次数为5,查询...
  • 什么是商业数据分析师?

    千次阅读 2019-07-27 16:33:13
    现在显然已经是数据智能时代了,传统商业和智能商业的本质区别可以用一个字来概括:“活的闭环”。 数据是“活”的,用户的每一次行为都转化为新的数据汇入数据的大海,而每一个新数据的汇入都实时 引发各个数据集的...
  • 彻底了解Power Pivot的运行原理,建立科学合理的数据分析模型,能快速的掌握DAX编写思路,实例数据分析的智能化。
  • 数据挖掘在商业管理与决策分析实例应用
  • 
 
 
 
 
 
 
 关注「实验楼」,每天分享一个项目教程 数据分析师们填补了技术与商业之间的鸿沟,提高生产效率并实现...
  • 数据分析商业逻辑模型图谱:通用分析模型、战略分析模型、目标管理、产品分析、用户分析、营销分析等。 往后会将对每一个模块不断丰富细化,并结合实战案例进行使用。 (数据分析能力图 X 数据分析逻辑模型图 X ...
  • 课程背景基于数据分析与机器学习领域,使用python作为课程的实战语言,随着大数据与人工智能领域日益火爆,数据分析和机器学习建模成了当下最热门的技术,课程旨在帮助同学们快速掌握python数据分析包以及经典机器学习...
  • 综合案例二 移动端店铺数据分析与应用 浅析微商形态和发展形势 移动端店铺数据分析与应用 越来越多的企业开始讨论微商无论是传统企业还是新型产业他们越来越将目光聚焦在微商这一全新的商业生态上从朋友圈代购到微信...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 97,809
精华内容 39,123
关键字:

商业数据分析案例