精华内容
下载资源
问答
  • 数据分析工作到底在什么

    万次阅读 2018-10-28 22:40:00
    今天是2018年10月28日,仔细一算,已经工作两年多了,从16年7月毕业到现在一直都在数据分析工作,总结一下这两年的工作历程和对数据分析工作的一些看法。 目前已经是就职的第三家公司了,某外卖公司城市分公司--...

           今天是2018年10月28日,仔细一算,已经工作两年多了,从16年7月毕业到现在一直都在做数据分析工作,总结一下这两年的工作历程和对数据分析工作的一些看法。

           目前已经是就职的第三家公司了,某外卖公司城市分公司---某快递公司--某体育社区公司,(由于互联网环境变化快,所以有时候换工作真的很无奈),就我个人感受,所对应的工作情况是大公司小团队---大公司大团队---小公司小团队。

            对于数据分析这个工作我们先看下招聘要求都会怎么写,以上海的1-3年本科要求的岗位为例:

     

     

     

    一、工作历程

          1、某外卖的工作应该是业务分析,主要工作:

                              日常数据报表报告制作,基本操作就是数据平台直接取数据,然后加工,写简单分析,形式表格、PPT  

                              销售部门KPI制定,监控,最后计算总结

                              线上活动部门的数据输出,就是活动部门需要的数据提取,然后看活动效果,基本就是对比分析下

               主要工具:impala、html+hive、Excel、pp,tableau

               主要收获:业务逻辑怎么理解,怎么和业务沟通,优秀的数据平台是什么样子

           2 、某快递公司做后台数据处理比较多,主要工作:

                            后台数据清洗,做的是ETL的工作,就是写大段的hive清洗出一个业务逻辑

                            数据产品对接,主要是报表上线,报表的形式和生产逻辑文档化,和业务方沟通

                            简单数据提取,数据预测项目

                主要工具:hive,dataX,Azkaban,Python,少量shell,Excel,ppt,tableau,帆软,presto

                主要收获:真正接触到数据后台,了解数仓构建流程,知道了大数据工作都是在做什么,主要技术都用在哪里

           3、某体育社区公司目前仍在做数据清洗工作,刚入职不久,后期再总结吧

    二、岗位JD要求

             office软件,SQL(hive),数据分析能力,产品和研发的对接沟通这几项是普遍会要求的,理工科背景优先。

             现在很多公司都会用spark,会Mllib比较加分(当然还是大公司用的多)

    三、 个人看法

             从实际工作来说,如果你的工作汇报对象是业务方,做的其实更多的是数据运营的工作,也就是你用到的是比较完整的数据,数据的口径和生产逻辑都不需要注意,所做的工作和业务高度相关,比如解释业务波动情况,业务策略调整了做数据测算,做报表,写分析报告等。如果工作汇报对象是技术部门,工作可能包括后台数据逻辑开发,跟进数据产品类工作,公司整体业务动态把控等。一般来说数据分析师汇报对象是业务方的比较多。

             从大数据和技术范畴来讲,我觉得数据分析不算是很技术的工作,而且工资很容易到上限且平均水平略低于开发(大厂另说),这是一个易通不易精的工作。数据分析能力不是一个很好量化的东西(可能我没见过大牛,理解不到具体是什么样子),可能就像武侠里面的修心的过程,普通人很难到这个境界。

             数据分析工作主要困境:分析不出什么东西,大多数时候对于一个成熟的商业模式,分析的维度和场景就那么多,都是描述性的统计分析,也不是每次都能给出建设性的意见,且能够实行下去,大多数时候会让人没有成就感。

    四、提升空间

          基本工具类,excel,ppt,tableau都熟练应用

          数据库类,这个看具体工作,有的会用到mysql,Oracle之类的生产库,有必要学习一下存取过程,主键等基础知识,如果是使用数仓有必要学习下HIVE基础操作及数据仓库的知识

          机器学习算法类,这个也要看具体工作内容

    五、数据分析和数据挖掘、机器学习的关系

           这两个职位在实际的工作中做的完全是不同的工作。数据挖掘类工作一般都和线上的项目的高度相关,一般是有C端用户的应用较多,工作以算法构建和逻辑处理相关(个人了解后瞎猜的),数据分析是简单处理数据后数据体现业务的过程。从这个角度来说从数据分析转到数据挖掘还是有一定难度的,看几个机器学习的视频就能转到机器学习对普通人来说不太可能,做数据分析大多数是数学和统计专业的,没有web编程的经验,机器学习算法学通学透还是难度较大的。

    展开全文
  • 还在担心没工作岗位么,爬取271W条数据,开发了一个大数据分析平台,为你精准分析

    前言

    市场需求量过大:
    在这里插入图片描述
    如何超越别人?
    在这里插入图片描述

    招聘的也不少,但是符合自己的少之又少
    在这里插入图片描述

    说明:
    是以大数据、深度学习为基础的服务应用。

    依托大数据、深度学习建立一套完整的体系。根据合法的数据进行数据的实时分析,从而为用户提供决策服务。本平台分为移动端和PC端,移动端更方便的为用户提供服务。

    本服务可提供:多维数据分析、数据预测、数据对比等功能。把最新的、最符合用户的数据推送给用户;海量的IT行业数据,智能的分类,详细的招聘信息,优越的体验,帮助应聘人员有效的找到更合适的岗位。

    一、数据材料准备

    有很详细的资料
    在这里插入图片描述

    (一)爬取的数据

    爬取了将近5个G的数据

    在这里插入图片描述

    经过数据清洗:
    在这里插入图片描述

    在数据清洗阶段,把重复、杂乱的数据给去除掉等

    合并到数据库中:

    在这里插入图片描述

    (二)SpringBoot项目

    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述

    这些数据不方便公开,如果需要,可以私聊我,我可以提供给大家学习

    二、项目演示

    在这里插入图片描述

    在这里插入图片描述

    (一)项目背景

    在这里插入图片描述

    备注:

    智能招聘数据分析平台能够进行在线行业查询,分析,预测等功能。

    如行业概况可以对整个IT行业的各个职业进行直观的数据展示,不在局限去文字的形式进行展示数据,对用户更有效的分析数据库,直观的看数据。数据预测功能可以对未来的行业状况进行预测、推测等功能,帮助行业内的人进行分析、预测当前或者未来的行业情况,更有利于以后的就业等。多功能数据分析平台为用户提供了多条件的查询,更随心所欲的查询自己想要查询的招聘信息,查询到后还可以进行报名应聘。可以针对多个应聘信息进行对比,相中哪个就去哪个。

    智能招聘数据分析平台特别对国内IT行业设计,其完善的功能、简便的操作、灵活的部署以及众多独到的设计可以满足各类IT行业的不同需求,为用户提供完善的个性化的方案。

    智能招聘数据分析平台在开发时主要是注重了:多维数据分析、数据预测、数据对比等功能。思考把握最新的、最符合用户的数据推送给用户;海量的IT行业数据,智能的分类,详细的招聘信息,优越的体验,帮助应聘人员有效的找到更合适的岗位。

    (二)系统概述

    在这里插入图片描述

    (三)系统设计

    在这里插入图片描述

    (四)技术亮点

    1、数据清洗

    在这里插入图片描述
    在这里插入图片描述

    思想:因为我有公司名称、省份或市、区或县三个字段的数据。直接由公司名称获取的经纬度相对来说比较准确。从而引入这段代码的核心思想:先常识使用公司名称获取经纬度,如果不成功就省份或市+区或县+公司名称获取经纬度,如果还不成功就直接获取省份或市+区或县,如果还不成功就没办法了。成功不成功我是用异常捕捉进行判断的。因为数组会越界。

    ————————————————
    版权声明:本文为CSDN博主「TrueDei」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/qq_17623363/article/details/100531588

    2、数据库设计

    在这里插入图片描述

    3、实时数据推送技术

    在这里插入图片描述

    Python+java+websocket+SpringMVC实时监控数据库中的表

    4、数据预测算法

    在这里插入图片描述

    5、协同过滤算法

    在这里插入图片描述

    6、多维度分析

    在这里插入图片描述

    7、丰富的图表

    在这里插入图片描述

    8、GIS可视化

    在这里插入图片描述

    9、多维度数据对比

    在这里插入图片描述

    10、手机App端(推荐职位)

    在这里插入图片描述

    动图演示:
    在这里插入图片描述

    三、结果分析

    在这里插入图片描述

    (一)分析背景与分析目的

    随着科技的迅速发展,计算机的普及及对人类生活的渗透,越来越多的高校 开设“计算机科学技术”专业及其他相关专业,使其成为了全国热门专业之一,同时伴随着大量创新的计算机职业岗位的出现。岗位的出现必然对人才提出了充分的需求。

    但是,就目前而言,计算机专业就业整体下滑。当前社会就业竞争激烈,IT行业虽然发展速度快、人才缺口逐渐增大,但是很多IT行业求职者求职目标不明确、不了解就业行情,大学毕业生的就业压力更是空前扩大,面对一个自己心仪的公司,可能要和很多人竞争一个岗位。对于有些专业技能硬和综合素质高的应聘者,由于不了解就业行情以及企业招聘需求、缺乏应聘经验和策略,屡次与自己理想的企业擦肩而过,而企业也不易招聘到所需的可靠型人才。

    针对这一日益突出的就业问题,我们想到应用当今热门的大数据分析与应用技术,对计算机行业招聘信息做一些比较详细的分析。“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,近年来互联网和信息行业的发展而引起人们关注。随着计算机和信息技术的迅猛发展和普及应用,行业应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业,企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力。因此,寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。人们将越来越多的意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。

    我们这一项目研究能够帮助应聘者以及即将步入社会的大学生大体了解策略和方法,在求职时有更清晰、明确的目的性和针对性。我们通过爬取各企业招聘信息,立足于帮助应聘者们明确企业需要什么样的技术型人才、各种职位的薪资水平以及热门程度、竞争力大小等等,对有关IT行业最新的的招聘信息进行统计和分析,并以网页和微信小程序等形式可视化呈现出来,力求帮助求职者更多地了解企业招聘的动向、职场信息的变化、当今社会最紧缺、最热门的技术等等。我们希望通过我们的数据分析,可以帮助学生或者准备跻身于IT行业的学习者们明确学习动向、确立更清晰的学习目标和努力方向;帮助求职者们在职场清晰完美的展现风采,增加就业竞争力;帮助企业招聘者了解国内各知名企业招聘的大体趋势,以便做好招聘方向的调整。

    (二)分析思路

    在进行数据分析之前,我们团队已经对51Job人才招聘网等国内各招聘网站进行了招聘信息的爬取,我们主要利用Python爬虫技术获取到了网站上各计算机行业相关的不同地区的详细招聘信息,我们获取的信息属性主要包括信息来源、发布时间、招聘岗位名称、工作所在的省市、地区、对求职者工作经验的要求、学历要求、岗位职责要求、其他要求、员工福利、员工上限、员工下限、员工均值、招聘人数、工作所属公司、公司主要经营类别、公司性质、公司介绍、薪资区间、薪资上限、薪资下限、薪资均值,总计上百万条数据。

    随后,我们又使用Kettle对这些数据进行了数据清洗。这些具有规模性、真实性、时效性、结构性的数据为我们团队的数据分析奠定了良好的基础。

    我们团队人员通过共同协商,最终决定先从各省市职位需求量及平均薪资水平、招聘信息中出现的热门技术关键词和福利关键词、编程语言热度等方面进行数据分析,然后再进行较为深度的时间序列预测、协同过滤推荐等算法分析。分析的工具主要选用Python3,因为Python中含有大量如同Pandas、Numpy、Matplotlib等第三方模块,非常方便数据的归类分析处理以及可视化展现。为了使数据分析的结果以更直观的形式展现,我们又使用了Tableau和java。

    最终我们选择了通过网页前端以及手机客户端用户App两种软件形式比较完美地将数据展示出来。我们拟定的数据分析主要内容层次结构如下图所示:

    在这里插入图片描述

    图1:数据分析层次结构图

    (三)分析内容

    1、我们首先从整体分析,从全国各地区计算机相关职位需求量的分布情况入手进行分析,主要分为三个步骤,层层递进。

    1)第一步,我们首先做了对各个城市职位需求量的统计,得到了存放相关数据的表格,并选择了职位需求量排名最多的前十名城市通过matplotlib进行展示,如下图所示:
    在这里插入图片描述

    图2:排名前十城市的职位需求量

    2)那么各个地区都需要招聘什么岗位呢?于是我们将各地区的招聘信息按照职位不同进行分类,统计各地区不同职位的招聘需求量,侧面反映出就职岗位的热度。图3所示以广州市为例,最热门的职位招聘需求量统计。由于这条分析内容较为复杂,为了更有层次感地完成这项分析任务,我们创建了数据库,并在自己开发的网站上利用SpringBoot、Mybatis连接高德地图API进行经纬度匹配,利用多维度GIS方式展示,效果图如图4所示:
    在这里插入图片描述

    图3:各地区不同职位的招聘需求量
    图4:多维度GIS展示最热门的职位招聘需求量

    3)每个岗位的薪资水平又如何呢?这些职位的最高薪资和最低薪资的差距有如何?对此,我们进行了稍微更深层次的分析。根据较为科学的统计方式,平均水我们选用算术平均数来表示,薪资上下限的差距属于数据的离散程度,因此我们选用了标准差这一指标,数学理论计算公式如下:

    在这里插入图片描述

    图5:标准差计算公式

    其中,N代表自由度,xi表示不同样本的值,这里指各个职位的薪资均值,r表示样本均值,这里指所有职位薪资均值的平均值。根据公式我们进一步编写了python程序并得到了进一步分析之后的数据,用Tableau呈现的效果图如图6。

    在这里插入图片描述

    图6:广州市各职位薪资均值及标准差

    2、最热门的几种编程语言,根据招聘信息中编程语言出现次数而统计热门度。
    在这里插入图片描述

    图7:最热门的几种编程语言及出现频次

    3、我们利用python3的jieba模块对招聘信息进行关键字提取,最热门的技术,统计出几种最热门的技术关键词,所占比重如下图:

    在这里插入图片描述

    图8:最热门的几种技术关键词及出现频次

    4、求职者非常关心工作的福利待遇,因此我们又对各企业对招聘职位的福利进行了关键词提取分析,各关键词占比如下图。

    在这里插入图片描述

    图9:招聘职位的福利关键词

    **5、以上数据分析结果只是能展示出来,没有明显的实用效益。为此,我们更深入地探究了一下,采用了数据预测算法预测趋势数据预测采用ARIMA模型(Autoregressive Integrated Moving Average model),差分整合移动平均自回归模型,见图10,通过数据与本身之间的关系进行对未来数据走向的预测。 **

    在这里插入图片描述

    图10:ARIMA模型

    6、我们还进行了一项深入分析——基于皮尔逊相关系数的协同过滤算法。根据这个算法,我们就可以为不同用户推荐他们各自感兴趣、适合他们的招聘信息。皮尔逊相关系数( Pearson correlation coefficient),又称皮尔逊积矩相关系数(Pearson product-moment correlation coefficient,简称 PPMCC或PCCs),是用于度量两个变量X和Y之间的相关(线性相关),其值介于-1与1之间。

    在这里插入图片描述

    图11:皮尔逊相关系数模型

    (四)结论与总结

    通过对采集到的计算机相关招聘信息的较为详细的分析,我们团队总结出了以下几点结论:

    1、总体而言,我国计算机行业相关的职位需求量很大,尤其广州、上海、深圳等科技发达的沿海城市,对计算机类人才的需求还是很的。其中职位需求量最大的为广州市,在本次统计中累计达到148737

    2、从计算机相关的各职位而言,开发类工程师的人才需求量非常多,且薪资水平是相当高的。此外,由于如架构师这样的职位必须具备非常广泛的专业技能,所以这类职位薪资水平相对较高,本次我队统计的架构师薪资均值高达约2.4万人民币/月。计算机类的工程师、开发人员的薪资水平一般是远高于计算机类讲师的。一般企业中管理者经理的薪资都要普通员工、实习生的薪资,分析结果符合职场形势

    3、从编程语言的热门度而言,根据我们采集到的这些数据中显示结果,Java还处于企业招聘最看重的一门语言,因为Java语言的功能强大,很多企业运营的软件项目都离不开Java相关的程序编写,而且继承了多年以来的Java在项目开发中的重要作用,这种大的趋势潮流不易被突破。其次,由分析结果可知,企业招聘中Python、SQL、C/C++、JavaScript的出场率也是非常高的。毕竟据官方统计,Python和JavaScript近年来热度不断上升,随着用途的不断增加,功能不断增强,根据ARIMA算法预测将来这两种语言热度还会呈上升趋势。而SQL、C/C++则是非常经典、稳定的语言,在很多开发项目中具有不可替代的作用,因此公司招聘对其非常重视。

    4、大部分企业都会拿“五险”、“ 一金”、“ 年终奖金”等福利待遇来吸引求职者,而这些福利恰好也是大部分求职者渴望得到的。

    附:
    在这里插入图片描述
    在这里插入图片描述

    总而言之,我们团队通过自己采集国内计算机相关招聘信息,并对这些数据并进行一系列分析,从各方面把我国当前计算机行业就业情况做了一定的了解和汇报,而得到的结果总体而言符合实际,基本与官方权威统计一致。虽然我们进行数据分析的方案和做法还存在很多不足,但这一过程中我们获益匪浅,进步了很多,我们仍会继续努力,力求统计更具规模性、多样性、及时性的数据,采用更加有效的分析方式,研究更高性能、更深层次的数据挖掘算法,这样才能总结、展示出更加真实、有效的分析成果。

    展开全文
  • 工作总结③——数据分析师到底该如何分析

    千次阅读 多人点赞 2019-07-24 22:33:32
    数据分析师到底是什么的?微信读书上也有很多教你如何成为数据分析师的书籍,但是很多人看了后仍然云里雾里。 本篇我就站在数据分析师的角度,来总结一下我对数据分析的理解,以及一些通用的分析理论,希望能够帮...

    工作总结系列目录:
    工作积累⑥——从留存下降看小红书的精细化运营
    工作积累⑦——从新零售和漏斗模型解读亚马逊增长策略
    工作积累⑧——从星巴克送外卖看新零售的线下战争
    工作积累⑨——从丁香医生增长看地推的重要性
    工作积累10——推荐一本看过最好的数据分析的书

    经常在知乎上看到别人提问:该如何进行数据分析?数据分析有哪些方法?数据分析师到底是做什么的?微信读书上也有很多教你如何成为数据分析师的书籍,但是很多人看了后仍然云里雾里。

    本篇我就站在数据分析师的角度,来总结一下我对数据分析的理解,以及一些通用的分析理论,希望能够帮大家播开云雾见月明~

    一、数据分析师的工作内容

    在我看来,数据分析师主要有4件工作:
    1、日常数据监控
    这是最基础也是最重要的工作,每天都要对核心数据指标进行监控,如果有异常及时定位原因,会输出日报,周报和月报给到运营人员,帮助运营人员了解产品运营状况
    2、专题分析
    也叫诊断性分析,所谓专题,就是针对某一个模块进行深入挖掘分析。通常分析的模块有:新增,活跃,留存,付费,充值(首充)等,每一个模块还可以往下细分。比如,新增用户数增多的原因?留存下降的原因?充值人数连续上涨的原因等等,这些问题都要从多维度细分,不断深挖,才能找到最本质的原因
    3、版本分析
    也就是产品功能分析,及时追踪产品新功能的数据并输出结论,为产品迭代优化提供数据支撑
    4、预测性分析
    这是最有价值也最难的工作,主要通过统计学,数据挖掘或机器学习的方法,对未来用户的行为进行预测。比如,用户流失预测分析,未来两年内流水预测,新活动的参与人数预测等等。

    二、数据分析的通用指标

    虽说隔行如隔山,但是对于数据分析而言,有很多指标却是可以互通的。我接触过游戏,直播和电商行业,因此总结一下这三者通用的一些指标。

    1、新增用户数
    首次激活或注册产品的用户数,按日期可分为当天新增,当月新增等。新增用户数与市场推广和品牌宣传有较大关联。围绕新增用户的有新增用户注册率,留存,ROI,充值转化率等。电商比较特殊,一般以下过订单的用户才叫新增用户,而未下单的只叫访客或流量

    2、活跃用户数
    特定时间内登录产品的用户数,可以是日活,周活,月活等,活跃用户又分为新注册用户和老用户,两者的比例会随着市场推广以及产品的不同重合周期发生变化

    3、留存率
    在某段时间内开始使用,过了一段时间仍在使用的比例,常用的有次留,3留,7留,14留和月留等,留存可以衡量产品是否能让用户满意并且持续使用。不同行业产品留存率有较大差别,游戏行业可能会到40%,直播行业可能不到20%,电商行业可能不到10%。留存率越高,活跃用户中老用户的占比就会越高。

    4、付费指标
    一般会看充值人数,充值率,充值金额(电商叫GMV),充值ARPPU(电商叫客单价),充值ARPU等。有一个二八法则,就是说20%的头部付费用户贡献了80%的收入,这个比例在电商行业可以会是25%/75%,在直播行业可能会是30%/70%。通过这几个指标,可以了解一个产品付费用户的结构

    三、数据分析的分析思路

    数据分析常用的方法有:对比分析,分类分析,多维度分析,相关分析,回归分析等,通常是多种分析方法结合使用。下面整理了一些我常用的分析思路

    1、充值人数分析
    ① 按注册时间分为注册当日充值,注册1-7日充值,注册7-30充值,注册1个月以上充值,注册2-3月充值……,采用分类和对比分析,找到哪个注册时间段充值人数变化最大
    ② 按是否首充,分为首充用户和非首充用户,如果是首充用户,下一条会详细讲解;如果是非首充用户,则可以按①中看是哪个注册时间段变化
    ③ 按充值金额区间,分为大中小R三类,看哪个区间充值人数变化最明显
    ④ 按充值用户渠道,看是哪些渠道充值用户变化最明显,如华为,vivo等
    ⑤ 按充值渠道,看是哪个渠道的充值人数变化,如微信公众号,支付宝等
    ⑥ 按设备分为ios,andriod,web,H5等,看是哪种设备充值人数变化等

    2、首充人数分析
    ① 按注册时间分为注册当日首充,注册1日后首充……,看哪个注册时间首充人数变化
    ② 按首充金额分为1元,1-5元,5-10元……,看哪个区间人数变化
    ③ 按设备分为ios,andriod,web,H5等,看是哪种设备首充人数变化
    ④ 也可以按充值渠道,用户渠道来看,与充值人数一致
    ⑤ 按首充后续充情况可分为首充后当日二次充值,次日二次充值,三日二次充值……
    ⑥ 按首充后续登录情况可分为首充后次日登录,首充后三日登录……

    3、流失分析
    ① 不同节点的流失分析,比如进入首页流失,进入详情页流失,加入购物车流失,下订单流失,购买1次流失等
    ② 流失用户构成分析,比如按注册时间维度分,按充值金额区间分,按累计登录天数分等
    ③ 建立流失预测模型,通过分析流失用户的群体特征,建立流失用户画像,提前预测哪些用户会流失进行预警,采取运营手段挽回

    4、新玩法分析
    ① 从宏观层面,新玩法对全平台的指标有没有造成影响
    ② 从产品层面,了解新玩法的参与情况,比如参与人数,占活跃用户比例,人均参与次数,人均参与时长等,以及新玩法的产出和消耗情况
    ③ 从用户行为,了解新老用户对新玩法和新页面的接受程度,探究用户的心理

    5、流量分析
    ① 看不同来源的流量数量,如果是直播,可以看从什么途径进房的流量变化;如果是电商,可以看是从搜索引擎,微信公众号链接,平台自有流量等
    ② 看不同来源的流量质量,比如直播,看观看时长,送礼人数和送礼金额;如果是电商,看访问页面数,加购商品数,购买商品数,购买金额等

    附上一张整理的直播分析框架图:
    在这里插入图片描述
    如果对你有帮助,点个赞再走呗

    展开全文
  •  初级的数据分析中最常见的工作有三种:数据提取、报表开发、撰写分析报告。  数据提取将会是你的主要工作,也是一切分析的基础。  不夸张的说,大部分分析项目中80%的精力都在数据获取和加工的阶段。  ...

           每一个数据分析师都有这样的理想,通过自己慧眼在数据的沙漠中找出宝贵的金子,或者自己的分析结果被决策层作为依据成功创造了大把利润。

      但此时我们离这些目标依然有很长的路。

      初级的数据分析中最常见的工作有三种:数据提取、报表开发、撰写分析报告。

      数据提取将会是你的主要工作,也是一切分析的基础。

      不夸张的说,大部分分析项目中80%的精力都在数据获取和加工的阶段。

      从数据库中想尽一切办法把数据提取出来,看似并不复杂,但对你的SQL功力是个考验。

      有时候一个over函数可以节省几百行的代码,一段SQL的优化可以提高十倍以上的效率。所以踏踏实实的把数据提取做好,不要认为这个毫无意义。

      当你可以高效准确的把数据提取做好之后,就可以着手进行报表开发的学习:将常用的数据提取固化下来,形成表格或可视化的图表。

      这时候你会发现之前学习的Excel和数据库设计等知识要发挥作用了。

      需要进一步学习BI方面的基础知识,了解什么是星型模型、数据仓库、Cube等。推荐一本《数据科学与大数据分析》。

      Excel也是可视化工具,但只能在单机上查看,所以更多时候会学习一些报表开发工具或可视化分析工具,比如:PowerBI、Tableau等。在网上可以搜到这些工具的视频教学,下载试用版自行练习就行。

      撰写分析报告,就是把众多报表组合成一篇可以让人读懂的PPT。

      这时候考验的就是你的PPT功力了。一份好的分析报告除了简洁和漂亮的PPT,更重要的抓住主题、清晰的分析思路和有价值的结论。如果你还能够生动的把PPT的内容讲出来,那就更完美了。

      做好了以上三个方面,恭喜你,你应该已经成为了一名略有小成的数据分析师。


    1.大数据分析,主要有哪些核心技术?
    http://www.duozhishidai.com/article-1938-1.html
    2.构建一个企业的大数据分析平台 ,主要分为哪几步?
    http://www.duozhishidai.com/article-8017-1.html
    3.数据科学,数据分析和机器学习之间,有什么本质区别?
    http://www.duozhishidai.com/article-7892-1.html

     

    展开全文
  • 作为一个在找工作的人,最主要的必然是海投简历,但是作为一名数据人,能否用数据分析的思路帮助自己去更好、更快地找工作呢?
  • 我和我们数据分析师总监深入聊了一下...数据分析师,工作职责是什么?我从我们官网扒了一份官方的JD,给大家看下:我用“人话”简单概括一下,其实就是,能对某个行业的数据分析有所了解,知道这个行业需要分析什...
  • 但是尽管如此,还是不能直接外接大功率器件,须加大功率及隔离电路驱动,防止烧坏芯片或者外接器件无法正常工作。 P-MOS管和N-MOS管:由P-MOS管和N-MOS管组成的单元电路使得GPIO具有“推挽输出”和“开漏输出”的...
  • 也是问我数据分析岗位前景的问题,看在妹子长得实在好看的份上,我花了一晚上时间,去智联招聘上面爬了一下数据分析岗位的招聘数据,对数据分析岗位的薪水,需求情况,以及要求的工作年限了个分析。 python数据...
  • SaberRD之直流工作分析

    千次阅读 2015-12-15 17:32:05
    在电路分析中,直流工作分析(DC Operating Point Analysis)用于确定电路的静态工作点。设置合适的静态工作点,可以保证放大电路不产生失真。静态工作点不仅影响着放大电路是否会产生失真,而且影响着放大电路...
  • 个人工作状态分析

    千次阅读 2013-01-31 16:15:58
    每一个人的在工作中不从工作岗位上看,从个人的态度和习惯就可以看出这个人到底能混到啥程度,个人的努力可以从工作的微观和宏观上来说,但即使个人的宏观和微观都得很正确,能发展到啥程度还要看有没有那样的机遇...
  • ArcGIS缓冲区分析停止工作

    千次阅读 2019-04-27 11:22:59
    ArcGIS缓冲区分析时停止工作,不知道哪里的问题呀
  • 领域驱动实践总结一:基本理论总结与分析 一、领域驱动设计两大设计:战略设计和战术设计 二、理解和分析领域+子域+核心域+通用域+支撑域 三、理解和分析界限上下文,定义领域边界 四、理解和分析实体和值...
  • 如何需求分析

    万次阅读 多人点赞 2018-01-31 16:32:26
    那么软件需求说明书到底是怎么来的,软件的需求分析到底怎么?今天我就针对这个话题结合我自己的一些理解和经历来梳理一下。  需求分析的目标是将产品的需求功能梳理,并且用通俗易懂的文字描述,为开发人员和...
  • text += p.get_text() text += '\n' return text # 词频分析 def word_frequency(text): from collections import Counter words = [word for word in jieba.cut(text, cut_all=True) if len(word) >= 2] c = ...
  • 第一讲 Python语言及工作环境准备 一、数据分析 1 数据分析的基本概念 1.用适当的统计分析方法对收集来的大量数据进行分析 2.提取有用信息和形成结论 3.对数据加以详细研究和概况总结 目的:从数据中挖掘规则、验证...
  • 六轴机器人matlab工作空间分析

    万次阅读 热门讨论 2018-07-04 14:20:57
    将机器人工作空间转化为相应关节的随机概率模型,通过随机取值,使机器人的各个关节在其取值范围内离散化。 2.matlab程序 模型在之前博客已给出。 clear; clc; %建立机器人模型 % theta d a alpha offset ML1=...
  • 算法分析工作分配问题

    千次阅读 2017-03-28 10:36:27
    下面就这个问题好好分析下。 问题描述:  设有n件工作分配给n个人。为第i个人分配工作j所需的费用为c[i][j] 。试设计一个算法,计算最佳工作分配方案,为每一个人都分配1 件不同的工作,并使总费用达到最小。 ...
  • Nutch1.7学习笔记2:基本工作流程分析 作者:雨水,时间:2013-11-13博客地址:http://blog.csdn.net/gobitan 说明:本文的工作流程分析基于1.x的最新版Nutch1.7。 找到分析源头 分析软件的基本工作流程,通常都是...
  • 数据分析师的工作职责是什么?

    千次阅读 2020-07-27 06:45:00
    “我可能干了个假的数据分析师!”经常有同学发出这种感慨,然后到处发《数据分析师是干什么的》《数据分析师、数据工程师、数据运营、数据挖掘工程师、商业数据分析师、我随便写个什么分析师之间到底...
  • 用Excel相关性分析

    万次阅读 多人点赞 2019-01-04 22:51:44
    相关性分析:对变量之间相关关系的分析,即相关性分析。其中比较常用的是线性相关分析,用来衡量它的指标是线性相关系数,又叫皮尔逊相关系数,通常用r表示,取值范围是[-1,1], r取值范围 相关...
  • 数据分析师的岗位要求和工作流程

    千次阅读 多人点赞 2019-05-06 14:42:24
    要明确学习的路径,最有效的方式就是看具体的职业、工作岗位对于技能的具体需求。 从各大招聘网站上找了一些最具有代表性的数据分析师职位信息,来看看数据分析师到底需要哪些技能。 其实企业对数据分析师的...
  •  客户需求分析:嘉昊信息是一家IT创业型公司,由于公司初创,有较多的招聘员工的需求,公司最近购买了Office 365,由于招聘工作繁琐,HR人员需要很多重复繁琐工作,HR主管提议开发一个招聘的小系统,来完成...
  • 曾经有朋友在某网上书城这样评价《火球——UML大战需求分析》:此书不知所云,不知道想写需求还是UML?...可能有一些朋友对UML有一定的误区,不清楚UML还能用来需求分析,本节就是专门针对这个点来说明的。
  • 领域驱动实践总结三:具体应用设计分析 领域驱动设计DDD是一种设计思想,它可以同时指导中台业务建模和微服务设计(中台本质是业务模型,微服务是业务模型的系统落地),领域驱动设计强调领域模型和微服务设计的一体性...
  • 电话机工作原理分析

    千次阅读 2013-02-20 10:26:18
    回想大学时候,最遗憾的就是的电子设计之类的东西没有写博客,现在都无从查起。   首先,总结下电话机的工作原理:  电话通信是通过声能与电能相互转换、并利用“电”这个媒介来传输语言的一种通信技术。两个...
  • SQL应用于简单的数据分析工作

    千次阅读 2018-05-03 15:26:17
    从事数据分析工作基本上离不开SQL的使用,如果不知道如何写SQL,很多数据清洗,包括分析都会困难。一、SQL语言在数据分析行业的学习知识框架​在计算机行业,工程师基本的业务也就是对数据的增删查改,在数据分析...
  • Excel在数据分析和日常工作的运用

    万次阅读 多人点赞 2019-06-11 16:15:28
    Excel作为日常使用率较高的工具,不仅提供了强大的数据处理函数,同时也提供了编程功能,实现定制化的数据处理能力,下面将简要介绍excel在我们日常工作中涉及到的数据处理功能,欢迎大家补充;我常用的处理方法是...
  • FTP工作过程的抓包分析

    万次阅读 2011-06-15 23:57:00
    第一次使用抓包工具,暂且简单的分析吧我在本机登陆ftp,输入用户名,密码进行登录。对该过程,使用 CommView获得抓包数据如下。(点击图片查看大图)看来整个过程还是比较复杂的,进行了这么多次通信。那么就逐条...
  • 而我希望只通过一个章节能向你讲清楚需求分析工作的基本道理,让你认清需求分析工作的根本,并且明白到要做好需求分析工作并没有捷径,只有切实提高自身水平。下面我们一起来回顾一下本章的主要内容,并且一些练习...
  • Android源码分析—属性动画的工作原理

    万次阅读 多人点赞 2014-01-05 00:05:50
    本文为Android动画系列的最后一篇文章,通过对源码的分析,能够让大家更深刻地理解属性动画的工作原理,这有助于我们更好地使用属性动画。但是,由于动画的底层实现已经深入到jni层,并且涉及到显示子系统,因此,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,316,936
精华内容 526,774
关键字:

如何做工作分析