精华内容
下载资源
问答
  • 关于做好燃气基本数据统计上报工作的.docx
  • 一般来说,是需要制定市场研究的计划、明确数据的来源、明确抽样方案、明确数据采集方法、做好数据处理分析工作这四项工作。 1.制定市场调研的计划 在进行数据分析之前,数据采集工作是一项最重要的工作,数据采集的...


    数据分析离不开数据采集。数据采集包括历史数据的采集和当前市场数据的采集,是科学进行数据分析的基础。数据采集准确性决定了数据分析的价值。那么数据采集是怎么做的呢?一般来说,是需要制定市场研究的计划、明确数据的来源、明确抽样方案、明确数据采集方法、做好数据处理分析工作这四项工作。

    1.制定市场调研的计划

    在进行数据分析之前,数据采集工作是一项最重要的工作,数据采集的工作能够解决企业经营中在数据分析中的决策问题。因此很多企业非常重视数据采集,但是数据采集是需要花费大量的金钱人力以及物力,不过数据采集能够给数据带来极大的好处,这是因为数据采集能够给大数据分析带来极大的好处。所以,在数据采集工作的时候一定要让资金花到有用的地方,对于每一分钱都有一个清楚的去向。所以,在数据采集的时候一定要控制好成本,在做数据采集工作之前一定要控制到成本,只有做好周密的市场调研计划,才能够好好的做好数据采集这一个工作。

    2.明确数据来源

    在数据采集前,就需要选择好数据,选择一些干净的数据才能够使得数据分析工作变得更加精准。通常来说,数据的资料一般分为第一手资料和第二手资料。这是根据数据资料的来源不同来决定。什么是第一手资料呢?第二手资料是什么呢?第一手资料就是未来某种目的采集所得的原始材料。一般来说,采集第一手资料所需要的费用比较高,但是第一手的资料的准确性很高,这是因为第一手资料的针对性强。第二手资料是指采集的现成资料。现成资料就是包括互联网上面的信息,各种报刊书本上的资料,还有各类权威机构发布的统计和研究报告等。

    3.明确抽样方案

    在一手数据的采集中,许多数据可以直接采集,由于对于成本费用等可控制的要素,以及数据的采集范围很广,这样很难直接获取全部数据。这时,我们常用抽样技术对样本进行调查,并根据样本统计量估计总量。

    4.明确数据采集方法

    数据采集方法现在常见的有三种,分别是访问调查法、实验法和观察法。访问调查法通过访问代表性的样本而获得数据,而观察法强调非语言方式,这一点和访问调查法不一样。观察法是通过调查人员在进行时和过去时记录中采集信息。而实验法可以有效控制调查的环境。这样在实际项目数据采集中可以根据项目特点、成本费用、时间及精度的要求,从而使用不同的方法。

    5.数据处理及分析

    在进行数据处理工作时,原始数据收集回来很大概率会出现虚假、错误、冗余等现象,如果直接把这些数据进行预测分析,极大概率会带来错误的分析结论,那么数据分析就完全没有了意义。不过只要做好数据处理以及数据分析,就能避免上面出现的现象。而数据的处理是需要运用科学正确客观的方法,将调查所得的原始资料按调查目的来去粗取精,这样才能够做好数据分析。

    通过上面的内容,大家已经知道了数据采集是怎么做的了吧?数据采集程序就是上面提到的5点,分别是制定市场研究的计划、明确数据的来源、明确抽样方案、明确数据采集方法、做好数据处理分析工作。只要集齐这些步骤一步一步走下去,那么数据采集工作就可以更高效率地完成了。希望阅读完的朋友对你们的职业生涯有一些帮助,这将是我莫大的荣幸!

    展开全文
  • 做好电力系统统计工作的几点探索.pdf
  • 数据统计埋点工作框架及细节规范

    千次阅读 2019-08-09 21:56:15
    明确定位与工作重心 数据产品经理是让数据产生价值(决策、增长、收入)的设计者、实现者和推行者。如何理解这样的定位呢? 首先,最基础的是要熟悉数据工具平台与产品业务,其次,要学会逐步建立产品完整的数据...

    明确定位与工作重心

    数据产品经理是让数据产生价值(决策、增长、收入)的设计者、实现者和推行者。如何理解这样的定位呢?

    首先,最基础的是要熟悉数据工具平台与产品业务,其次,要学会逐步建立产品完整的数据指标体系,最后,是能够通过数据分析解读驱动业务发展。

    具体拆解来看,主要包含:

    (1)数据层面

    1. 源数据层:数据源的采集、埋点(客户端访问日志、服务端业务数据库表、sdk等)
    2. 数据加工层:结合业务,对收集到的数据进行加工、清洗(join)等操作
    3. 数据仓库层:依赖结构化规范的数据表,建设和维护数据仓库
    4. 数据应用层:规划与设计数据指标体系(构建核心指标框架;产品、运营等指标建设)
    5. 数据访问层:结合平台及应用产品,支撑业务方数据需求(如:统计平台、数据可视化平台、资源调度平台、渠道后台、用户画像平台、abtest平台等)

    (2)产品层面

    1. 明确产品形态及定位,熟知业务功能(数据异动跟踪分析、数据解读与答疑)
    2. 数据驱动产品发展规划(版本迭代、数据反馈推进)。

    根据基础数据体系,数据产品的工作基本上需要涵盖从数据源到最终数据应用、访问层的各个环节。做好产品上线前数据指标的统计埋点工作,以及产品上线后的版本分析,侧重点主要在于:数据应用层面(规划和设计项目核心指标,满足各业务方的数据需求);数据访问层面(做好数据分析与解读,对上线数据进行监测以及效果分析)对数据源的处理、数据加工及数据仓库,本文暂不展开说明。

    熟悉业务逻辑与流程

    1. 工作流程

    数据统计埋点工作流程说明

    step1:梳理产品需求

    作为数据产品经理,在版本迭代阶段,主要是从数据的角度出发去思考业务需求和问题点

    在产品需求文档的梳理过程中,可以就之前版本发现的问题参与需求的收集与讨论。通过数据论证,提出相关的优化改进方案或建议,给出更加合理的产品规划和需求优先级。

    step2:产品需求评审

    产品需求文档一般包含:

    • 文档说明(功能优先级、修改历史)
    • 需求分析(需求背景、需求价值或、预期目标、数据参考)
    • 结构流程(业务流程和产品框架)
    • 原型交互(客户端逻辑、服务端逻辑)
    • 数据埋点

    业务产品经理主导当前版本的功能规划及需求输出。数据产品经理则主要是负责数据埋点部分,需要我们全程参与需求文档的评审,理解产品功能结构和开发实现逻辑

    ps:由于各公司逐步重视 “通过数据驱动业务决策”。数据相关工作,部分公司会将其单独拆解出来,作为数据产品经理或数据分析师的主要职责。

    step3:分析产品逻辑

    当产品需求文档完成最终评审,意味着当前版本需求不会再做大的改动。此时就需要开始分析产品逻辑,理解产品核心目标和当下主要的问题点。

    除了需要弄明白产品承载了哪些重要的信息和功能,以及这些信息和功能的想要达到的需求目标。还要通过深入的分析,挖掘各业务方重点关注的数据指标是什么,确立产品的第一关键指标。(即分析是在什么样的场景下要解决什么业务问题,为了解决这个业务问题,要通过什么样的数据指标衡量),项目中不同的角色关注的问题不同,我们可以更好地给出他们最想看的数据。

    • 产品(功能点击量、使用率、功能留存、核心路径转化、改版效果、用户行为等)
    • 运营(用户新增、活跃、流失、付费转化、分享等)
    • 渠道(渠道新增、落地页pv/uv、渠道转化、渠道留存率、ROI等)

    step4:统计需求评审

    统计需评阶段,主要是进行统计事件的设计和给出数据采集埋点方案。一般情况下,在做统计需求评审时,可以优先梳理产品功能结构图,将产品的功能模块及跳转流程梳理出来,想清楚上游入口和下游出口是什么。这样做的目的也是在进行更加合理的数据指标体系的设计,以及避免埋点的重复。

    ps:由于项目迭代节奏较快,推行敏捷开发(“小步快跑模式”),有时统计需求评审会和产品需求评审同时进行,就需要和业务产品保持紧密的信息对接。

    step5:跟进需求开发

    当产品和统计需求评审完成后,接下来会进入需求研发阶段。在开发实现产品功能需求时需要我们高频沟通,这样做的目的是为了保证数据采集的质量及数据分析的准确性。

    step6:功能验收核对

    除了产品功能的核对,数据层面主要核对内容是:

    • 数据上报节点或时机是否准确
    • 数据采集的结果是否真实有效/重复上报
    • 新增/修改的统计项是否会影响到其他功能的上报规则

    step7:上线数据监测

    发版后,随着版本覆盖率的提升数据会逐渐起势。一般情况下,需要密切监测上线前3d的数据情况,并在3d后给出一份初步的数据波动趋势分析文档,主要目的是:发现是否存在统计上报异常的数据指标,产品功能若出现较大问题,也要及时关注可能会影响到的统计点。根据问题紧急程度,采取发紧急修复包或其他方式解决。

    step8:数据分析总结

    上线后若不存在什么问题。即可输出当前新版本的数据分析报告,主要用于向项目组成员同步该版本的数据分析结论和迭代优化建议,建议在发版2周后再拉取数据指标进行分析总结。因为时间越短,覆盖率越低,数据量级小,就不太能够说明问题。

    2. 细节规范

    # 上线前:数据统计埋点

    (1)理解产品需求文档与业务目标

    在上线前做好数据统计埋点工作,最重要的就是需要理解项目产品和业务体系。梳理产品需求、参与产品需求评审、分析产品逻辑的工作必不可少。

    如何更好地理解呢?

    除了深入沟通理解产品需求文档(prd),我们自己可以去整理当前产品功能结构图、核心业务流程图或用户使用路径图。

    如图为美图秀秀v6.9.6版本-美化功能用户使用路径图(参考)。通过梳理,主要目的是对产品的功能结构、核心业务流程及信息框架有清晰的认知,帮助我们更好的进行数据相关工作。

    (2)设计统计事件及数据埋点规范

    做好了准备工作,接下来最主要的就是进行统计事件的设计和给出数据采集埋点方案。本文暂不讨论接入第三方统计sdk的方式进行埋点的相关内容。统计事件的设计,就是做到针对某个具体页面,定义当前页面中用户的点击或其他触发行为并准确上报,从而提取数据进行分析,主要从用户行为角度出发。

    比如页面中出现的某个按钮,想知道用户是否点击该按钮或点击的频次,统计事件就要记录用户点击该按钮的行为数据(消息数/设备数)。

    如何通过用户行为找到统计事件的对应关系?

    • 用户行为:分析用户行为,找到该行为相关的信息;
    • 事件定义:根据相关信息,定义该行为对应的事件及参数。

    说明一下,在版本迭代的过程中,新版本的事件无需全部重新埋点。

    历史已有的统计事件只要有涉及到的,可列入测试check事件,版本新增的统计事件列入本期统计项。最终可汇总一份整体的数据统计事件库,每次只需在历史已有的内容里新增或修改补充当前新版本的统计项,也方便我们进行长期迭代与维护。通过用户行为找到统计事件的对应关系后,即可整理出我们最重要的统计埋点文档。

    统计埋点文档主要包含:

    • 更新说明(文档更新时间、更新内容记录)
    • 本期统计项(新增/修改的统计事件list)
    • 本期check事件(新增/修改的统计事件check+可能影响到的统计事件check)
    • 后台全部展示事件(整体的数据统计事件库)

    #举个例子#

    产品功能:美化图片主功能中,新增马赛克

    用户行为:用户在美图秀秀首页点击“美化图片”按钮-点击“马赛克”功能-选择素材使用-保存

    用户行为与统计事件的对应关系(参考):

    统计文档,本期统计项sheet表(参考):

    (3)需求研发测试跟进及校验数据统计项

    根据我们输出的统计文档,统计文档中“统计规则”的描述,就要求清晰定义该统计事件采集的节点和上报逻辑,需要及时和开发跟进沟通;而统计文档中“本期统计check事件”则需要详细和测试进行核对。通常,公司优秀的开发和测试也可以更好的协助我们,对事件统计的规则做优化调整,提高数据存储及读取的效率。

    # 上线后:版本分析思路

    (4)数据指标上报监测及数据提取、可视化操作

    学会使用公司提供的数据平台产品及工具,帮助业务或数据负责人更快速高效的获取数据。在我们进行版本迭代的过程中,数据指标体系的日益完善会帮助我们更好的开展数据分析。

    数据后台支持产品新增活跃留存、自定义事件等数据指标的快速提取,也可以自主配置。同时,平台上直观、友好的项目数据可视化设计也能提升我们的分析效率,更快驱动业务发展。

    (5)数据跟踪与分析解读、抽象业务痛点

    数据分析的最终价值体现在能够通过数据发现问题,抽象出业务痛点和需求。并不是项目中的每个人都能给出专业全面的分析及结论。数据产品则需要长期跟踪产品核心数据指标以及产品迭代功能数据指标,产出版本迭代数据报告、以及其他阶段性的数据报告。

    版本分析报告的主要思路是:

    • 基础指标上线前后变化趋势(大盘新增活跃留存波动)
    • 功能指标上线前后变化趋势
    • 版本主要更新点数据
    • 主要数据结论及优化建议

    最后

    数据统计埋点工作的基础还是在于对业务的深度理解。我们要做的不仅是完成一个数据指标的上报,更重要的是通过不同纬度的数据指标,更加全面具体的去分析业务情况。

    展开全文
  • PHP做数据统计分析

    千次阅读 2019-03-25 14:45:31
    前段时间的主要工作是开发统计系统, 统计公司产品的安装量和回访量,统计数据则由客户端调用C接口写入mysql数据库,即我们只需要分析客户端写入的原始数据即可。下面是对这个项目的一个总结: 系统评估 1、预估...

    前段时间的主要工作是开发统计系统, 统计公司产品的安装量和回访量,统计数据则由客户端调用C接口写入mysql数据库,即我们只需要分析客户端写入的原始数据即可。下面是对这个项目的一个总结:

    系统评估

    • 1、预估当前每天的回访量有大几百万,随着其它产品的不断推广, 要统计的数据可能越来越多。
    • 2、统计的数据有比较强的约束关系。对于一条安装数据,必须判断之前唯一安装表中是否存在该记录, 若存在则再根据版本判断升级或重装,否则为新装数据,回访数据类似逻辑。所以,如果要出按小时统计数据,则必须把前一个小时数据处理完之后才可以处理后面的数据;前一天的数据处理完之后才可以处理后一天的数据。
    • 3、团队中都擅长的是PHP。hadoop或其他大数据处理方式经验薄弱,面临学习成本和一些未知因素。

    所以最终还是选择用PHP+Mysql来统计,前期应该可以撑一撑。

    整体思路

    接下来对每个步骤进行梳理:

    • 1、C接口直接写数据到安装表和回访表,原始数据的表采用按年分表,按天分区。原始数据量比较大,也不适合PHP写入。
    • 2、转移数据。原始表记录数比较多,为了尽可能的减少与原始表的耦合,这里做了一个转移的动作,将原始表的最新安装、回访数据转移到近期安装、回访表中。近期表只保留3天的数据,即近期回访表的数据会维持在2000w左右。这个动作是否可以用触发器来完成?这里没有采用触发器,个人始终认为触发器和业务依赖太紧,当原始数据需要调整时触发器也要相应调整,觉得不是很方便,因为修改触发器势必会影响写入操作。
    • 3、数据更新。因为需要一条一条判断数据为新装、重装或者新用户、老用户,区域等,所以有这个更新的过程,更新每一条记录的状态。这里将可能是系统瓶颈所在。
    • 4、小时报表。 数据更新完之后即可根据该数据出报表,因为统计的字段8个左右,所以累计到一定时间之后,这个表的数据也将会很多,前台不适合直接从这里取报表数据。
    • 5、其他报表。 可根据小时报表出天的报表,或者出特定字段的报表等等,这是很方便的,同时数据量也将成倍的减少。

    系统实现

    项目使用CI开发,实现的步骤就没太多说的,查询的时候注意下索引的先后顺序就行了,系统到目前还没出现因不中索引而引起的问题。不过程序上的一些调整可以记录下:

    • 1、 报表采用highchart实现,但最开始是直接在控制器获取到报表数据后传到视图,当一个页面有多个报表的时候需要把这些数据一次性读取出来之后页面才会显示。运行了一段时间发现打开慢,也不方便扩展,所以把报表统一改成了ajax调用。
    • 2、 菜单的调整。最开始未意识到后面有更多的产品移植过来,所以对菜单也进行过一次调整。
    • 3、 crontab的调整。最开始所有的crontab脚本都放置在一个控制器中,随着不断的增加发现越来越难控了,难以按产品区分,有些也不用了。为了理清这些脚本以及执行频率,对这里- 进行了一次调整。
    • 4、主从调整。运行一段时间后增加了个从库(32G),所有查询的操作从从库拿,调整之后前台报表表现明显。
    • 5、模型的调整。 这个还未深入调整^_^,因为有新老系统的原因, 模型太多,以及很多业务逻辑写在模型中,模型很重。

    上面的每一个调整并不需要多少时间, 但对不段增长的系统是很有好处的,每当它要倾斜时,我们就把它扶正,希望它能坚持更久一点。

    系统新增功能和调整

    调整用户唯一ID。

    IOS产品原先用uuid来判断唯一性,但7.0之后发现uuid不唯一了,所以统计系统部分产品要将唯一值由uuid替换为序列号,但一直以来都是uuid为唯一ID,统计这边也直接以uuid为唯一键了。这意味着唯一键要调整,大部分表结构都需要调整了。

    原始表有的有序列号,有的没有,所以首先是原始表统一增加序列号字段,因为转移的数据只将特定的字段值写进去,所以原始表的调整对统计不会有影响。同时原始表已有2.5亿数据,直接调整表结构基本不可能。所以采取新建一张调整后的表,rename一下即可,rename的过程是很快的,rename之前的几千条未转移的数据再手动转移一下。

    统计这边将在近期表新增一个唯一字段, 唯一字段不依赖固定值。因为即便调整了, 有一些产品还是以uuid为准,唯一值在转移的过程中判断即可。 统计系统调整时先停下所有的脚本,近期表直接删除重建即可,唯一表因为需要处理,边转移边处理一下即可,报表数据保留原有。所以整个过程下来调整并不算大,只是因为数据量比较大,处理觉得麻烦一点而已。

    增加一个产品

    系统中已经增加了好几个产品了, 这里增加产品的接口是用php实现的。即客户端调用php页面,php写数据库,回访数据大概每天100w左右。运行几天后发现php接口机器挂了, nignx进程数太多。原因就是统计系统比较忙时,数据库压力比较大,php一条一条写入很慢, 很多进程都在等待,于是爆了。。。

    针对这个问题的处理方法是,php接口直接写数据到文本,然后脚本定时load数据到数据库。

    历史数据处理

    有个产品需要对历史数据进行重新统计,历史数据有1亿多。因为历史数据和新数据之间的字段、值等需要进行一次处理,所以采用 SELECT INTO OUTFILE的方式导出,1.6亿数据中导出1.2亿大概5分钟左右。导出之后的的文件有9G左右,直接一次LOAD mysql会超出binlog的限制。所以设置了binglog为3G,然后对原数据按每1000w行进行切割,在一个个导入。

    如果导入的表已经建好索引,开始导入1000w要半个多小时,导入了4000w数据后发现奇慢无比。后来重新导,导入的表未建立索引,1000w数据大概需要9分钟左右。不过后来增加索引花了大概2个半小时。

    对原始数据的处理也是一个问题,为了提升效率,比较大的数据采用多进程跑,比如开10多个进程同时跑一个小时的数据,二三十万数据3分钟就搞定。但当系统中的这些进程碰到一起时,系统就开始慢了, 所以只能用程序去控制下。

    系统总结

    1、 到目前位置系统运行还算正常,但随着新功能的不断增加,这也是个挑战。如果只是针对单个产品,一般的业务,用php来处理,日2000w数据问题应该不是很大。

    2、系统监控。到目前位置做个几个统计系统了,前面一个是最完善的,有很多监控,可以很快发现问题。当前这个系统数据量是比较大的,但监控还比较薄弱,或者已经有很多潜在的问题被忽略,所以做好监控是有必要的。

    3、 使用php运行crontab要防止脚本重复执行,限制起来也很简单,可以用php的exec函数去查看一下当前脚本是否正在执行(需要服务器未限制exec函数),如果正在执行就直接退出,给个简单的判断方法:

    function get_process_num($process_name) { return exec('ps -ef | grep "'.$process_name.'" | grep -v "grep" | wc -l'); }

     

    展开全文
  • 如何做好数据分析

    千次阅读 2019-04-30 12:02:18
    专业一点讲:数据分析就是适当的统计分析方法对收集来的大量数据进行分析,将他们加以汇总、理解和消化,以求最大化的开发数据的功能,发挥数据的作用。 那么,我们做数据 分析的目的是什么呢? 事实上,数据分析...

    首先,我们要明确数据分析的概念和含义,清楚地理解什么是数据分析;

    什么是数据分析呢,浅层面讲就是通过数据,查找其中蕴含的能够反映现实状况的规律。

    专业一点讲:数据分析就是适当的统计分析方法对收集来的大量数据进行分析,将他们加以汇总、理解和消化,以求最大化的开发数据的功能,发挥数据的作用。

    那么,我们做数据 分析的目的是什么呢?

    事实上,数据分析就是为了提取有用的信息和形成结论而对数据加以详细的研究和概括总结的过程。

    数据分析可以分为:描述性数据分析、探索性数据分析、验证性数据分析

    工作中我们运用数据分析的作用有哪些?

    1、现状分析:就是企业运营状况的分析,主要是各项指标的监控以及日报、周报、月报等

    2、原因分析:需求分析,多数是针对运营中出现的问题进行剖析,找出出现问题的因素以便于解决问题

    3、预测分析:针对以后的运营情况做出分析报告,对公司以后的发展趋势做出有效的预测,对公司的发展目标和策略制定做出有力的支撑。

    最重要的一点:

    我们如何做数据分析呢,换一句话说就是如何进行数据分析,是怎样的流程?

    然后,我们来看数据分析的六部曲

    1、明确分析目的和思路:

    这一定很重要,你想通过数据分析得到什么,你想通过数据分析告诉别人什么,这是你做数据分析的首要问题,分析不能是漫无目的的,一定要明确思路,有目的性、有计划性的去做数据分析。找好角度、指标、以及分析逻辑尤为重要。

    2、数据收集,这里不做过多的说明,一般情况下,数据来源都会可靠有效。我们要做的只是把我们需求的数据get即可。

    3、数据处理:

    主要包括数据清洗、数据转化、数据提取、数据计算等方法,数据分析的前提是要保证数据质量,如果数据质量无法保证,分析出来的结果也没法得到有效的利用,甚至会对决策者造成误导的行为。

    4、数据分析:

    首先要明确数据处理和数据分析的区别:数据处理只是数据分析的基础,我们做数据处理就是为了保证数据形式合适,保证数据的一致性和有效性。

    5、数据展现:

    数据展现就是把数据分析的结果,用可视化的图标形式展现出来,用一种简单易懂的方式表达出你分析的观点

    6、撰写报告:

    数据分析报告其实就是对整个数据分析过程的一个总结与呈现,通过报告把数据分析的起因、过程、结果及建议完整的呈现出来,供决策者参考。

     

     

    展开全文
  • Android产品研发(八)-->App数据统计

    万次阅读 2016-06-07 19:30:35
    上一篇文章中我们介绍了android社区中很火的热修复功能,主流的热修复原理上其实分为两种,一种是通过利用dex的加载...App数据统计的意义在于通过统计用户的行为方式有针对性的更新展示算法,根据用户的行为习惯更新
  • 4个关键,如何清晰的做好数据分析

    千次阅读 2017-07-10 09:45:43
    数据分析就近几年看来,越来越有一种像通用技能发展的趋势,从生产、研发、市场、销售到运营,多多少会存在数据分析的需求。关于数据分析,网络上有不少分析报告案例,但细细读来,好多都缺少辨证,逻辑不严谨,又...
  • 财务、会计、人力、运营这些“报表侠”们估计是公司里最忙的人,堆成山的报表要统计数据要录入,而最让报表人们感到头疼的事情,应该就是数据填报了。 对于报表人来说,把数据从数据库中抽取...
  • 年终将至,不少人都在赶自己的年终报告吧? 身边有这样一位财务的朋友向我吐槽: ...工作量大,基础工作得有人做,重复工作多,尾大不掉,根本没有时间做分析。自己尝试做过费用、生产利用率分析,但因...
  • 国外数据平台统计分析sdk

    千次阅读 2020-02-04 22:01:04
    1.Appsee 2.Mixpanel 3.Google Mobile Analytics 4.Countly 5.Flurry 6.Localytics 7.Yandex.Metrica 8.Distimo 9.AppFigures ...国外的统计有: Flurry(https://developer.yahoo.com) ...
  • Druid (大数据实时统计分析数据存储)

    万次阅读 2016-12-18 09:48:14
    原文见此 : Druid White PaperDruid 是一个为在大数据集之上做实时统计分析而设计的开源数据存储。这个系统集合了一个面向列存储的层,一个分布式、shared-nothing的架构,和一个高级的索引结构,来达成在秒级...
  • 爬取国家统计数据正式篇

    千次阅读 多人点赞 2020-06-21 11:50:34
    我们的目标是尽量爬取近20年所有的分省年度数据,并且按照国家统计局的父/子文件夹方式,把每一项数据写入excel文件中按指定的路径顺序排好。 这里代码不全部发出,会逐步讲解 首先导入requests(请求网站相应并打印...
  • 自从BDP个人版能够对接百度统计之后,小莉就能实时轻松获取网站的流量数据。而且在BDP中,小莉只需轻松点击鼠标就可以将多个平台的数据进行关联分析,不仅能够自动获取最新数据,还能够深度分析网站数据~
  • 数据仓库工作总结

    千次阅读 2008-08-20 16:52:00
    1. 概述 本文作为我这些年实施数据仓库的总结,如有错误,请各位同仁指正。文档条理不是很清楚,而且也有很多口水话,我不想搞成一个真正的官方文档,所以很随意,符合我的性格。很多问题我只是提出来了,解决方案...
  • Druid 是一个为在大数据集之上做实时统计分析而设计的开源数据存储。这个系统集合了一个面向列存储的层,一个分布式、shared-nothing的架构,和一个高级的索引结构,来达成在秒级以内对十亿行级别的表进行任意的...
  • 由于系统改版,最近两个月在做数据迁移工作,由于业务的特殊,基本将数据迁移所能踩的坑都踩了一遍,决定好好做个总结。
  • 还在担心没工作岗位么,爬取271W条数据,开发了一个大数据分析平台,为你做精准分析
  • 3大领域,4大方向,做好数据分析岗位的职业规划

    万次阅读 多人点赞 2018-03-15 11:09:05
    最近有不少同学在后台问我数据分析的职业发展相关,这里先列一个简易大纲。它更多是以我所在的互联网行业展开的。入门和职业规划应该从两个角度考虑:领域和路线。领域是不少新人常忽略的要素,其实数据分析不会脱离...
  • 如何做好数据分析师的职业规划?

    万次阅读 2018-04-13 16:56:25
    一、为什么要学习数据分析?近几年来,无论是科研院所,商业巨头还是初创企业,各行各业都在大力开发或者引进人工智能,由于储备不足,导致人工智能人才出现巨大缺口,根据领英2018年发布的全球 AI 领域技术人才分布...
  • 数据挖掘工作的要求是什么?

    千次阅读 2019-01-21 16:34:04
    数据挖掘工作是一个要求比较高的工作,这是由于数据挖掘是为数据服务的,因此必须做到万无一失才能使得结果符合真正的客观实际,那么数据挖掘工作的要求都有哪些呢?下面我们就给大家解答一下这个问题。 首先我们给...
  • 1. 概述 本文作为我这些年实施数据仓库的总结,如有错误,请各位同仁指正。...文档原本想讨论的元数据管理、数据质量和监控工具的内容,由于时间关系,没有添加,以后有空补上吧。 1.1.阅读方法
  • 我是一名女IT工程师,毕业于某985理科专业,画过数据地图,写过代码,热爱统计。 作为“高大上”的数据人,虽然职位title很响亮:数据/BI/报表工程师,但是做的事情却很多很杂:做做报表和业务需求分析,很多时候...
  • Python 与 Excel 表格综合实例:处理校运会报名 Excel 表格,多表整合、数据汇总及统计实例前言:需求:主要思路及实现代码:1、先获取目标文件路径下的所有Excel文件:2、读取所有Excel表格数据:3、按需求汇总数据...
  • 爬取国家统计局城乡数据1 准备工作 1.1 使用的jar包: 1.2 思路 1.3 准备数据库表 1.4 准备model类 1.5 mybatis批插入2 初始化工作 2.1 初始化配置信息 2.2 初始化Http 2.3 发送http请求,获取数据...
  • 数据仓库工作总结(转自CSDN的转载)

    万次阅读 2012-08-23 10:11:18
    本文作为我这些年实施数据仓库的总结,如有错误,请各位同仁指正。 文档条理不是很清楚,而且也有很多口水话,我不想搞成一个真正的官方文档,所以很随意,符合我的性格。很多问题我只是提出来了,解决方案没有想好...
  • 导语: 在终端店铺的经营过程中,我们要不断找到问题、解决问题,才能提高我们的经营和管理效率,而终端销售数据分析就是我们的重要工具。如何运用好这个工具呢,我们就单店货品销售数据分析来进行一下分解。  1、畅...
  • 数据科学家-为大数据时代做好准备

    千次阅读 2013-03-13 09:56:38
    原文链接:为大数据时代做好...此外,像Hadoop这样能够在通用性服务器上工作的分布式处理技术的出现,也使得对庞大的非结构化数据进行统计处理的工作比以往更快速且更廉价。 然而,就算所拥有的工具再完美,它本身是

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 50,812
精华内容 20,324
关键字:

如何做好数据统计工作