2016-01-14 11:53:53 yuanziok 阅读数 42
  • 使用Apache Kylin搭建企业级开源大数据分析平台

    1024大数据技术峰会邀请到11位来自一线互联网企业的大数据核心研发团队骨干成员,针对选型开源技术搭建大数据平台、持续运维、优化提升大数据平台的各项性能,技术架构演进以及实现应用大数据支持业务创新发展,这几大核心展开深入的分享和交流。

    6450 人正在学习 去看看 互联网技术联盟

连锁百货企业数据分析系统建设方案

数据系统建设方案

 

FineReport数据系统的总体流程为:整合和获取数据,将数据应用于报表的开发,将开发完的报表进行逻辑展示处理和部署,最后呈现给使用者使用。

开发报表的过程中,必须结合企业流程和企业内部的系统数据,进行统一搭建,最终要求开发出一个结合了各个系统数据的报表决策平台。开发过程中坚持“契合需求,方便高效”的原则,为企业员工、管理者以及决策者提供一个实用、方便、高效的工具。

 

1.1方案概述

 

本章将按照建设目标,从业务展示对象和BI分析对象两部分对整个数据系统进行阐述, 包括门店业务主题、库存主题、财务主题、人事主题、客户主题等。围绕需要哪些数据、如何整合数据、从哪些维度展示和分析、需要什么交互条件等主要问题。

wKiom1aXEwaxQRVrAAVzpTKYZpk918.png 

1.2业务展示对象

业务展示类报表主要面向企业各门店的员工以及管理者,可以有效减轻企业员工及管理者在数据录入、处理上的工作量,优化并流畅各门店的运营。

1.2.1门店业务主题

门店是连锁行业的基本组成单元,其重要性不言而喻。专业、系统及标准化的门店管理是连锁企业持续赢利、发展的根基,是门店竞争力的核心禀赋。所以针对各门店的业务报表也是其它报表以及分析工具的基础。

 

1.2.1.1店付款填报单

 

根据调研,企业各门店的收入款项不仅需要在Hairdes System中录入,而且还需要填写“XX中心XX月工作汇总表”中的多个sheet。这样导致查询历史数据非常麻烦、不利于数据的存档规整、制作成本太高,浪费有效人力资源等很多弊端。

FineReport支持多源展示,多源填报功能,一张填报单的数据可以应用于“门店业务月报”、“收入明细表”、“员工绩效考核表”等所有报表,达到“一次填报,随意取用”的效果。轻松解决以上弊端。

 

信息部门只需根据企业需要统计的付款项目,设计一个填报表单,就可以轻松解决填报烦、查询难、分析复杂等问题。

wKiom1aXEyiw1XqZAAAy8Ujaw2U798.png

 

填报项目包括:

 付款编号(自动填报)

 付款时间(自动填报)

 客户名称

 会员ID

 付款数额

 付款方式(下拉框)

 咨询主任(自动填报/下拉框)

 造型师(自动填报/下拉框)

 店长(自动填报)

 门店(自动填报)

 付款项目(下拉框)

 ……

 

填报的数据存入统一的数据库,企业根据自己关心的数据项目,利用Finereport,只需拖拽等简单操作,就能轻松制作“门店业务月报”、“收入明细表”、“员工绩效考核表”等报表。

 

1.2.1.2门店业务月(年 周)报

 

企业根据自己的业务需求,对各门店的业务进行统计

统计层次可包括:

   发片发套

   洗发染发

   护理用品

   客户数量

   会员数量

   ……

 

统计内容可包括:

   销售金额

   上月环比

   占比

   排名

wKioL1aXE6Oy98q6AAEFFm0WnsE651.png   ……

 

 

当业务进一步扩大,门店增多时,为方便统计查询,还可以根据具体需求设定参数

可选参数包括:

   地区

   城市

   门店

   日期

   产品类型

   ……

 

FineReport提供包括“文本控件”“下拉数控件”“下拉复选框控件”“日期控件”在内的18种参数控件,并且可以根据需求设定下拉框参数联动、复选框参数联动、动态列查询、模糊查询等多种查询方式,完全满足企业的个性化需求。

wKioL1aXE7rgxX2HAABJaa73cB8981.png

wKioL1aXFEnANCJJAABFugBt2ts037.png

报表权限:

当数据涉及权限时,可以对不同模版,模版的不同行、列设定权限参数(FR的权限可以具体到每个单元格),工作人员只能看到自己权限范围的内容。

wKiom1aXFASAXHvYAABoIxZy5SQ816.png

(江苏的门店只能看到江苏地区的销售人员)

wKioL1aXFFiTH9uSAAEhXLdfFMY184.png

 

数据钻取:

当需要查看门店的详细信息时,可设置数据钻取

FR支持包括“多维数据钻取”,“无限层次钻取”,“不浏览模版直接导出”等多种钻取方式。

wKiom1aXFEbBil0gAANsOs2AmEg700.png(点击具体门店,可钻取该门店的收入明细表、咨询记录表、员工考勤表……)

 

1.2.1.3门店收入明细表 咨询记录表:

 

XXXX月收入明细表:

 wKioL1aXFI2gsFJ7AAClK9tMS0g702.png

 

XXXX月咨询记录表:

wKiom1aXFIORAlHnAACRrQ3jcbs108.png

1.2.2 库存主题

在任何企业的运营管理中,库存管理永远是一个重要的主题。

库存过高将占用企业运转资金增加企业负担并有报废贬值风险。
库存过低无法满足订单的灵活性,订单交货周期将加长,降低企业竞争力。
所有企业都希望库存是零或接近零

因此企业必须对库存进行实时的监控和管理。对于库存的展示及分析,必须是整体而且细致的,需要同时掌握库存静态数据、动态变化和价值结构。

 

 

1.2.2.1发片库存表

 

wKioL1aXFPuCblQOAACaFh_442s815.png 

1.2.2.2辅助产品库存表

 

wKioL1aXFQax3_qZAADHBxAhXPY617.png 

 

1.2.3财务主题

 

在企业内部的管理及业务营运过程中,除了最基本的进、销、存三个基元,财务主题更是最直接反应企业的营运状况。随着企业的不断发展,其传统的 Excel 制作财务报表方式已经 进入瓶颈,表现在如下几点:

1) Excel 直接操作数据的方式受人为因素影响过大

财务数据反映的是企业最基本的财务运营状态,一个小的数据出错往往对企业照成不可估量的损失。

2 耗费大量人力财力和时间

由于 Excel 操作方式零散、复杂的特点,使得往往简单的计算要耗费掉财务人员无数的时间和精力。

3 重复工作量大 

企业的发展要求财务人员每个周期内需要出来不同指标的数据,随着企业的不断发展, 该周期不断被缩小,造成财务人员每天在耗费大量的精力去做重复的工作。

 

FineReport 采用系统计算的方式,将财务报表的各项指标通过逻辑算法纳入系统中,减少财务人员的重复工作量,避免出现人工的数据错误,从最大程度上,减少财务人员的负担,增加企业财务数据处理效率。

财务主题包含企业营运的各个方面,渗透在本文档所写的所有主题中,因此本节仅描述一些财务方面特有的几个模板例子,展示一些常用的财务报表。

 

1 增值税明细账

将增值税的各项指标展示在web报表页面,并通过设定好的算法由系统计算出增值税明细。

wKiom1aXFRDgLNZbAAEAQO6hvcM992.png 

1) 总分类账

通过数据分类重复工作量得。

wKioL1aXFVGQPgdtAACYqrTipGg858.png 

3 明细分类账

在总化分容,以 web高使效率。

wKiom1aXFUvw-PtNAACUKzGZ8R8854.png

 

4 科目余额报表

以月基准汇总,并上月情况,便比。

wKioL1aXFbfA5IV4AABzFhfof_4668.png 

5 付款凭证

以付系统存数输出,方便并可出  ExcelwordPDF 

wKioL1aXFcnD86iHAACdpPd3WY4802.png 

 

6 记帐凭证

通过、月记账不断 操作

wKiom1aXFajxLB0bAACAfkIyNCI637.png 

 

 

1.2.4人事主题

随着企业人员的不断扩大,如何合理搭建完善的人事制度、调整人力资源结构、规划企业员工职业发展等问题对企业的长远发展将产生巨大的影响。

利用FineReport强大功能,可以轻松制作多项目、交互的人事报表。

 

 

1.2.4.1员工基本信息表

 

FineReport操作界面:

wKiom1aXFc-R0TXyAABnvwrlvE4470.png 

 

wKiom1aXFfKDjFf2AAEGeITzpIk404.pngWeb浏览器展示界面:

 

 

1.2.4.2人事变更月报

 

人事变动月报涵盖维度包括:

 招聘相关招聘职位

 招聘相关招聘人数

 招聘相关应聘人数

 招聘相关报道人数

 招聘相关起讫时间

 人员流动相关流动类型

 人员流动相关试用期

 人员流动相关时间范围

 人员流动相关合计人数

出勤考察状况可供选择的条件为:月份

 

展示效果如下:

wKioL1aXFk2BjWAsAAGFJvZb2B4625.png 

1.2.4.3员工考勤表

 

基本员工考勤表:

wKiom1aXFiySBQKTAACUpeULV8M987.png 

 

 

1.2.4.4员工薪资表

 

“员工薪资表”可以直接抽取数据库数据,通过公式自动计算,免除了多次填报计算的麻烦。

 

wKiom1aXFm7DJ98QAACMSLpiSoY178.png

wKioL1aXFveinBxgAABPag5Bc38153.png 

1.2.4.5店总绩效考核表

企业可以根据自己的店总或高管考核标准,使用FineReport,轻松制作KPI考核表。

 

分店总经理KPI考核表:

wKioL1aXFtnDCUqgAAPdUq1TeBc929.png 

参考维度

 财务层面

 客户层面

 内部运营层面

 学习成长层面

 ……

 

 

1.3 BI分析对象

 

FineReport 不仅是一款高效的数据展示工具,而且是一款高端的数据分析工具。FineReport 数据系统通过集成企业门户平台、规范企业信息资源,为企业提供了良好的信息获取渠道,帮助企业从不同维度把握企业现状,并且通过高端的分析工具,辅助决策者合理预测企业发展。

 

决策中心——CEO桌面

 

wKiom1aXFvjBusknAAFgrasbdt8379.png

 

 

 

 

1.3.1销售分析

 

销售分析结构图(仅供参考):

 

wKiom1aXF1CgMxtAAAa7M3ifYss131.png 

 

 

1.3.1.1销售总体概况

wKioL1aXF5zxWdHXAAK_n6463G0614.png 

1.3.1.2时间维度统计销售

 

wKiom1aXF5STshjXAAE4h_WZ1sk810.png

1.3.1.3地区维度统计销售

 

 

wKiom1aXF9Pj9qUeAAD5JLNk5io279.png1.3.1.4具体门店销售情况

wKiom1aXF_HR2iTkAAJhqnSRRmk595.png

 

1.3.2财务分析

财务分析结构图(仅供参考):

 

 

wKioL1aXGFvweJ-IAAZcE3eVG5g688.png 

1.3.2.1财务分析首界面

wKioL1aXGG6gXo_FAAFbE_4A7bA721.png

1.3.2.2财务分析——盈利能力分析

wKiom1aXGF6yuFfTAAgCNU4-s1A117.png

 

1.3.2.3标准收益分析

wKioL1aXGKmwYSfUAAJSay2b_qo263.png

 

1.3.3 人事分析

 

人事分析结构(仅供参考):

 

wKiom1aXGJmzVxMqAAGyCxS-9rg106.png

1.3.3.1各部门年龄分析

 

FineReport操作界面:

wKiom1aXGNHz2daVAACno6l3KJE891.png 

 

Web浏览器展示界面:

wKiom1aXGN7z57xIAADqEzBSXeY355.png 

1.3.3.2各部门员工考勤分析

 

动态折叠树分析查看各部门员工考勤:

A:

wKiom1aXGO3x1Ga6AABiNvfIi9s101.png 

 

B:

wKiom1aXGPzgCyCLAABlJjKKmzk210.png 

 

C:

wKiom1aXGRPSTFHbAACYVjfB4p8340.png

1.3.3.3各部门员工学历/工资分析

 

wKioL1aXGXTyf4ueAAVQy4Rd3Oo092.png 

 

1.3.3.4优秀销售员分析

 

wKiom1aXGVOzxoZRAADIkokTVR4784.png 

 

1.3.4 客户分析

 

分析纬度:

 客户年龄结构分析

 性别分析

 会员/非会员

 消费区间分析

 消费结构分析

 ……

 

客户年龄结构分析:

wKiom1aXGZiBFaeYAABeBB1Vvzk701.png 

 

客户性别分析:

 

wKioL1aXGdfDeOMWAAA1cgi-Xhk913.png 

 

 

 

 

2019-04-17 10:35:01 yuanziok 阅读数 255
  • 使用Apache Kylin搭建企业级开源大数据分析平台

    1024大数据技术峰会邀请到11位来自一线互联网企业的大数据核心研发团队骨干成员,针对选型开源技术搭建大数据平台、持续运维、优化提升大数据平台的各项性能,技术架构演进以及实现应用大数据支持业务创新发展,这几大核心展开深入的分享和交流。

    6450 人正在学习 去看看 互联网技术联盟

引言:这两年,大数据把“数据分析”炒火了。很多企业都开始重视并着手业务数据分析,并视为信息化建设的下一个大目标。以前收集、处理、分析数据可能是IT部门和数据库员的专属,现在很多业务都急切的开始用数据分析的思维来分析业务问题,催着IT、DBA要数据,求分析。如此甚嚣尘上的数据分析,到底对企业的价值何在? 在公司营运过程中,数据分析到底是如何给企业带来价值的,数据分析师是如何帮助公司创收的?在这里分享我们一个客户的故事,这里暂且叫老X,是某大型器件制造厂的信息部经理。

2017年之前,该公司的生产管理十分粗糙混乱:员工谎报工时,私自夹带产品外卖,零部件数量常常对不上账。多年且一系列的管理脱节,导致该公司利润率持续下降,一度陷入管理绝境。好在公司产品还占领着较高的市场份额,才勉强不亏损。

该公司现如今有2000多人,但公司的信息化还处于原始的数据库阶段,数据分布混乱,也没有所谓数据治理的概念。车间操作工的生产业绩都是通过人工审核统计到Excel表,耗时耗力,并且存在人为篡改的可能。

意识到这样的管理不能单单靠人,还需要依靠技术来客观公正的考量。老X打算携团队梳理企业数据,通过数据的呈现以及分析,优化管理,为生产增效降本。

由于希望快速产生效益,项目初期,公司采购了一整套BI商业智能FineBI,整合数据,数据展现自动化,督促业务分析优化业务。不仅盘活了公司的生产管理流程,还为公司带来了经济创收。

老X一脸兴奋地向我们讲诉了他的战绩,依靠BI工具的数据关联、多维透视分析和探索式分析三个功能实现了数据改革、生产工具改革和生产力改革,将上述问题一一攻克解决。

故事一:数据改革

改革前

公司的数据来自三个系统:ERP、生产机房的机台和OA系统,三个系统业务流程上有着紧密的联系,但各系统表之间的数据比较独立,且数据不统一,信息孤岛问题十分严重,无法为公司整体数据分析进行指导和服务。数据匹配关联,手动操作繁琐,耗时且数据源获取不统一,造成数据结果有差异。

正如老X所述:“原本的方式,管理者一会从这个表里面看数据,一会从那个表里面看数据,无法把他们集中到一块,久而久之就搁置了。其次,‌‌对于管理高层,他们没有时间能熟悉并学习各种系统,更多时候是看现成的结果。‌‌你让他到ERP里面,一会到销售里面找个数据,一会到应付账款里面找个数据,一会又看一下脚裤的生产数据,效率非常低下。”

借力数据关联

接触了FineBI之后,老X发现了FineBI优越的数据连接和数据关联的功能,其支持30余种数据库,也支持直接将Excel文件进行关联分析,同时自带数据处理功能,比Excel更方便自由处理数据。

于是老X很轻松地就连接了ERP系统、OA系统和机台的生产数据库,通过鼠标点击,将不同生产系统的数据同时在BI平台上实现了数据整合,同时用数据关联的功能,将各个系统之间的数据关联了起来,也借此机会把各个系统的数据口径和各个业务部门进行了统一。

FineBI数据整合

FineBI数据关联

改革后

数据改革之后,厂房的机器全部都联网,然后从机台上抓取‌‌一些它相应的数据,比如它绿灯时间、红灯时间等这些日志,然后再把它转化到‌‌数据库里面,‌‌再从数据库里面按需要的指标去‌‌把它抓出来做相应的分析。‌‌大家需要的数据都只要在一个平台上就可以查询,而且数据之间的关系很清楚,对于不同系统之间的数据,大家有了统一的认识,不再因为数据分散而纠结或耗时,“数据从来没有这么清晰过”,老X说道。

改革后,一次生产数据异常从经过IT和业务间三到四次以上的反复沟通变成业务自己就找到数据,从各个生产系统反复找数据核对数据变成一次性找到数据,提高效率50%以上。

故事二:生产工具改革

改革前

生产线的员工进行生产加工时,会消耗生产材料,然后根据消耗率的情况厂房每几天会进行补给。但是过去总是感觉生产线的材料消耗率特别高,在月末统计总消耗数和补给数的时候,总发现数据对不上,补给数总是多于消耗数,无法知道这部分多余的消耗用到哪里去了。

老X通过切片分析发现,连续相同时间段相同生产效率的人员的生产材料损耗率竟然差别特别大,进一步通过联动分析来进步看到材料损耗上报记录差异性很大,因此质疑上报记录有猫腻。后来发现这中间可能存在一些浪费或者一些舞弊的现象,老X决定要推动这部分机器生产材料消耗率的数据也要能够自动化记录下来。老X联系了机台的厂商,要求厂商去开发解决提供这部分数据。‌‌

这是基于FineBI的OLAP多维切片分析功能,对数据进行钻取、放大、过滤、维度切换、跳转、联动、导出、复用等等,可以多维观察数据,从大到小,由浅及深,探索数据之间的深层关联。

FineBI联动分析

改革后

厂商改进了机器,将整套生产过程的数据打通并监控起来,此外对生产消耗率更加清晰之后也更加针对性实际指导生产。每个人的实际消耗率一目了然,企业可以实现精准补给。

此外,对厂商也产生了双赢的局面。“除了我们会提供他一点费用,对他自己有没有额外的一些帮助?‌‌他下次卖给其他客户的时候,那也是它的亮点,对他们来说也是有好处的。‌‌”

改革后,每个月浪费的生产材料降低了80%,生产任务可以提前安排计划,提高生产效率10%。

故事三:生产力改革

改革前

公司的人员变动率总是比较高的,而且员工的健康值也是有一定问题,不少员工加班多,但是生产效率却很低,有些员工总是不能保质保量完成任务。这些问题困扰了公司很久,通过制度或者纪律强调总是没有大的起色。

老X一开始也不知道如何分析,后来先把员工相关所有数据拖出来进行观察和公布,这样也避免了员工手工去改一些东西,比如员工通过PPT汇报的话数据想改多少就改,‌‌也不可能每个数据去核对,‌同时不同人统计的方式不一样,‌‌统计方式或者抓取数据源不一样,它出来结果可能是完全两样。‌‌

“经常超时加班到底是哪些部门?‌‌最主要加班排名最前的是哪几个人?‌‌如果某些人一直在加班,假设一个月很多个小时肯定是有问题的,‌‌身体再好也扛不住。‌‌第二个是我们将加班时间跟产值匹配起来。‌‌加班多产出很少,可能是员工的效率管理问题。”

改革后

于是,老X将加班时长和产值进行了相应的排名,做到了更好的信息透明和监督。借助FineBI的可视化分析功能,让业务部门自主的进行简单的数据透视分析,分析数据,让业务部门可以对于考勤异常的员工及时进行关注,更好地人性化管理,同时员工们也可以更直观看到互相之间加班和产值的情况,更加专注在单位时间的产值增效上,企业的生产力得到了整体提高。

FineBI可视化探索分析

最后,关于数据分析如何给企业带来价值?

数据的价值可以有很多种,不一定是直接增加收入,也可能是降低运营成本,甚至更多时候是降低决策的风险及失败率,哪怕是提高人员效率,降低手工作业,对于很多传统企业来讲,都是不小的价值。

数据确实很有用,然而不代表老板们都认可这个用处,不代表IT、分析师们,能从这里升官加薪。数据生产力之路漫漫,技术以外,如何创造价值,有可能需要代码和算法以外的其他东西辅助,与大家共勉。

2016-09-09 11:24:23 hualalalalali 阅读数 2025
  • 使用Apache Kylin搭建企业级开源大数据分析平台

    1024大数据技术峰会邀请到11位来自一线互联网企业的大数据核心研发团队骨干成员,针对选型开源技术搭建大数据平台、持续运维、优化提升大数据平台的各项性能,技术架构演进以及实现应用大数据支持业务创新发展,这几大核心展开深入的分享和交流。

    6450 人正在学习 去看看 互联网技术联盟

随着大数据的风靡,越来越多的专家、企业开始逐渐认同数据分析将在未来成为管理支持的重要依据。但企业建立数据分析系统并不是一件容易的事,在建设过程中会遇到各种特殊而难以量化的需求,尤其是对于集团化的公司。为此,这里分享湖南梦洁家纺CIO杨昊在帆软大数据巡展上分享的关于建立数据分析中心的演讲,希望能给同行的读者有所启发。


两大痛点阻碍数据化管理

对于企业的数据管理,以梦洁家纺为例,存在的第一大痛点--各组的数据加起来远超五百个字段,这样的字段对于集团化的公司来讲很容易引起冲突。例如,某集团化的重型制造业公司,他的一款钢材在某公司里做了一个总材,在另一家公司里却只做成了一个加强板,且该公司认为这款钢材只是一个辅料,而辅料不用参与预算,这就造成了数据统计管理的麻烦。

另一个痛点是效率。据统计,在企业信息系统不是非常强大的时候,生产管理人员每天要花80%的时间用于业务的管理,剩下的时间用于制作报表和分发,这样的效率很低,而且随着系统的接口越来越多,占据了大量资的源。所有的这些痛点问题都阻碍着企业的数据化管理,必须细分去解决。

构建数据中心-分支系统管理

以梦洁的数据中心基本架构为例,在数据中心中间采用网络虚拟化,数据中心作为核心,所有的子系统都导入到这个数据中心。中心下方有各分支系统,分支系统间的交流,例如分支系统B想从分支系统A中获取一个数据,分支系统B会发出数据重组的请求,而分支系统A会把数据同步到数据中心区,数据中心接到请求后会把数据同步到一个虚拟的分支数据中心,然后就可以直接把这个数据分布到B分支系统中去,B分支系统就可以通过一些手段去使用。

数据可视化管理运营案例

梦洁家纺在公司运营方面最关注客户、产品、服务、渠道,这也是数据化运营的侧重点,在以下的几个案例中有所体现。

1、运营数据直观展示,决策判断及时到位

在可视化方面,我们会利用直观的数据展示来反映公司的运营状况。比如建立同期指标的对比,与黄红蓝色区分,这些指标会通过会员、零售、服务、开店这些形式来监控。

日常零售数据的展示不仅仅是展示,可以通过进一步挖掘,了解到子品牌的数据、服务、开店等情况。通过销售数据可以进一步钻取到各区域的销售情况,以便决策判断出哪些区域可以投入更多的精力。

对于各门店的分析,从数据展示层面可以钻取了解到门店的计划、会员服务、导购行为等情况。通过实时监测数据,一旦出现问题可及时分析判断是哪一环节出现了状况。

而以上种种数据展示和分析,都是通过帆软报表FineReport的开发来实现。FineReport的数据处理能力很强,每天新增的一万多条销售数据,包括库存数据,利用FineReport只要4秒就可以将数据跑出来。

2、FineReport填报功能解决信息的时效性问题

平时经营过程中会有很多的数据、信息收集,包括竞品的信息。以往是定期在城市收集一次,再去大区收集,然后再汇集到网上,耗费的时间早已过了有效期。利用FineReport的填报功能,可以实现实时情况的跟踪和收集,统一填入系统上报至数据库,包括移动端的填报很好地解决使用电脑的局限性。


2019-06-19 16:12:39 aeaiesb 阅读数 491
  • 使用Apache Kylin搭建企业级开源大数据分析平台

    1024大数据技术峰会邀请到11位来自一线互联网企业的大数据核心研发团队骨干成员,针对选型开源技术搭建大数据平台、持续运维、优化提升大数据平台的各项性能,技术架构演进以及实现应用大数据支持业务创新发展,这几大核心展开深入的分享和交流。

    6450 人正在学习 去看看 互联网技术联盟

大数据理念从被炒火至今一直持续着热度,很多企业也开始抱着理性的态度去看待大数据分析,在笔者之前的文章中曾写道,大数据并不是适合所有企业,即使要做大数据分析,也要有一套正确的理念和落地方案,包括:意识行动、数据思维、结合自身等。本文主要假设企业已经具备数据思维、大数据意识等能力模型,并在此基础上进行大数据分析建设,针对信息化建设上的大数据实施前提、实施过程、方法等与大家交流分享。

1 相关理解

1.1 发展变化

提起大数据分析很多人都会与BI分析进行比较,两者皆可为企事业单位决策分析带来帮助,只不过侧重点与技术点不同。BI更多的是处理结构化数据,用于解决企业内部经营管理问题,通过数据对企业现在及过去的问题进行追溯,意在提升企业效率、降低不必要的成本。

大数据更多的处理结构化、半结构化、非结构化数据,采集、分析企业内外部、行业、产业等数据,通过数据之间的关联关系,帮助企业对未来经营决策分析、风险预警,意在解决、指导企业运营中未发生或已发生的问题,帮助企业开源节流。

1.2 关联关系

BI、DW、AI等是常伴随着大数据分析技术而被提到的一些技术名词,它们与大数据分析存在着一定的联系。大数据分析与BI商业智能一定程度上可以相互融合,BI中包含一些企业内部的数据分析,数据分析中有一种体现为BI商业智能,企业可根据不同发展阶段,使用不同方案。DW数仓作为各种数据表的载体,作为大数据分析的一部分,与大数据分析产品配合一同实现企业数据分析。

近几年,AI人工智能与大数据关注热度不相上下,这两者之间有紧密的关系,人工智能通常需要大量的数据来进行试验、推算,最终得出结果,数据越多获得的结果就越准确,大数据作为底层支撑是提供海量数据的最佳途径,利用大数据处理技术为人工智能提供算法所需的数据。

1.3 应用场景

虽然当下不是所有企业都适用于大数据技术,但不可否认大数据技术在一些行业中是有成效的,当前大数据技术被广泛应用于互联网、政府机构、金融行业等,这些行业无论在数据量上、分析资源上、资金上还是推进力度上,都具有先天优势,更容易实施运行。互联网行业大数据应用于电商类、社交类、网络检索类企业;政府类大数据应用于工商部门、气象部门、医疗卫生部门等;金融行业大数据应用于银行、信贷等业务。

对于能源、制造、零售、地产等行业来说,大数据主要用于发现企业各个业务环节问题、预测风险、精准营销、分析价格走势等,意在提高企业决策分析和风险管控能力。

2 前置条件

所谓大数据分析,顾名思义是对海量数据进行分析,多指行业、产业、国计民生、社交网络数据,即使面向内部,也需要具有大量的数据供分析,否则大数据分析对于企业来说只是伪命题。不排除很多巨型体量的企业具有充足的数据量,具备建设能力,但也需要了解必备的前置条件。

2.1 目标明确

面对大数据治理企业需要具有明确的目标,而不是盲目进行,首先需要了解大数据的真正含义及与企业当前发展阶段的匹配程度,之后明确企业现有信息化状况、业务流程、部门关系,梳理出如何做才能更好的支撑/构建大数据分析平台,并逐步推进,最后摆正对大数据的预期,理性、长远、全局的看待大数据所带来的成果。

2.2 数据来源

大数据分析是指对规模巨大的数据进行分析,在处理企业内部数据同时对外部数据进行采集、存储、分析。大数据分析的最终目的是为企业运营决策、风险管控带来支撑,分析平台首先需要围绕企业内部信息化系统中数据进行分析,所以在构建大数据分析平台前,企业需要有足够的信息化系统供于分析。

2.3 数据集成

很多企业认为大数据分析平台可以解决当前信息化建设一切问题,如在数据分析同时,有效整合现有系统、遗留系统、外部应用数据;可以有效降低企业信息化建设成本,提高员工办公效率等。事实上大数据分析是无法解决上述问题的,建设前企业需要先进行数据集成、应用集成等操作,消除企业系统内外部、尤其内部的信息系统孤岛。

2.4 数据质量

很多企业认为大数据分析是对数据治理后再进行分析,这种想法是错误的,大数据分析所指的数据处理是对抽取到的数据进行分析、配置、展现,而数据治理作为大数据分析的前提,从数据源头开始,保证数据的一致性、完整性、准确性,真正的数据治理需要专业的数据治理工具,如MDM主数据管理系统来从源头上保障数据质量。

3 建设步骤

3.1 数据治理

只有建立完备的数据治理体系,企业才能真正享受大数据分析带来的好处,数据治理已经成为规范企业数据的必要步骤,它可以保证分析使用的数据的准确性,保证分析出的结果是真实可靠的,大数据分析中所需的数据治理分为主数据治理和元数据治理。

3.1.1 主数据治理

主数据治理主要使用MDM主数据管理工具进行,在主数据治理中又分为操作型主数据和分析型主数据,无论从大数据分析准确性角度来看还是从企业IT治理长远角度来看,都推荐企业进行全面的操作型主数据治理,如果企业只想对部分数据进行主题分析,可以采用分析型主数据治理的模式进行。

1.操作型主数据治理

操作型主数据治理将MDM主数据管理系统作为数据源头,企业系统中数据统一在MDM中维护,对于没有数据源的数据,可以通过手工录入或数据导入的形式录入MDM,之后通过编码规则、数据校验等功能对数据进行校验、查重、匹配、合并等操作,保证可用数据的一致性、完整性、准确性。这样以来,MDM作为数据源系统,企业其它应用系统变为消费系统,由MDM统一将数据分发同步至各业务系统(包括数据仓库),不仅用于支撑数据决策分析,还可以保证企业内部系统质量,为深度数据集成、深度应用集成奠定基础。

2.分析型主数据治理

分析型主数据治理是将企业各个应用系统中需要进行分析的主数据统一推送至MDM系统当中,数据的源头仍为企业各个应用系统,数据在各自对应的系统中进行维护,推送至MDM后,由MDM对数据进行校验、查重、匹配、合并等操作,之后将干净的数据同步至数据仓库的维表中用于支持决策分析。分析性主数据管理主要是为数据仓库、商业智能来做支撑,相对操作型主数据管理来说短平快,但因为没有从源头来进行数据治理,效果止于数据分析,不能对企业IT治理起到全面、深刻、长远的影响。

3.1.2 元数据管理

百度百科中给出的元数据解释为描述信息资源或数据等对象的数据,其使用目的在于:识别资源;评价资源;追踪资源在使用过程中的变化;实现简单高效地管理大量网络化数据;实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。

元数据管理不只是存在于数据分析之中,主数据管理中也有对基础数据的元数据管理。而对于数据分析场景,元数据治理主要用来明确业务数据从哪里来、谁来使用、明确数据间的关联,元数据管理也是数据分析中重要步骤之一,元数据治理可以提供数据源管理、分析数据血缘关系、分析数据影响等,实现对复杂的数据环境监控管理,为企业提供安全可信的数据,为数据仓库的运行与维护提供有效支撑。

3.2 数据建模

在大数据分析中,数据建模是一种用于定义和分析,数据要求与其需要的相应支持的信息系统的过程,运用数学模型去挖掘数据中隐藏的价值和规则。数据建模的过程通常包括确定数据及其相关过程、定义数据、确保数据的完整性、定义操作过程、选择数据存储技术,在大数据分析中包括数仓建模和分析建模。

3.2.1 数仓建模

数仓建模是大数据分析中针对特定的数据仓库应用系统构建的一种特定的数据模型,包括业务建模、领域建模、逻辑建模。首先从业务层面理清各个部门之间的业务联系,梳理具体业务流程,先后顺序等,最终将其程序化;之后对业务模型逻辑进行抽象处理,定义数据存储模式的同时实现对数仓中的事实表及维表创建,定义数据的分析模型;最后配置事实表与维表的关联关系,事实表中的数据字段与度量字段与业务字段的关联关系等。

3.2.2 分析建模

当企业具备大量数据,之后就是对这些数据进行分析,通过建立数据分析模型找到蕴藏在数据下面的客观规律,挖掘数据价值。分析模型就是对客观事物或现象的一种描述,数据在分析建模功能中进行数据分析模型的配置、分组等管理。技术上通常需要对立方体和数据集进行配置,立方体配置支持三维、多维立方体,同时立方体与数据集之间可以相互转换;数据集配置可以根据选择定义自动生成对应的数据集模型,如:SQL原生数据集、接口定义数据集,Schema&Cube转换生成数据集等。

3.3 数据采集

在大数据分析中,数据采集指分别采集内部数据(管理系统、Web系统、物理信息系统)和外部数据(行业、产业、社交、国计民生),因为大数据的数量和维度越来越多,其数据来源也各不相同,所以会存在不同的结构,如文件、XML树、关系表、视频声频等,在让数据产生价值之前,必须对数据进行采集、清洗、处理、转换,生成到一个新的数据集,数据采集过程指业务系统到ODS/前置机。

3.3.1 传统模式

传统的数据采集模式相对单一,通常通过企业服务总线ESB和ETL数据采集,或为两者结合模式,大多采用关系型数据库与数据仓库一同实现,两者都具备数据采集、传输、转换的功能,可根据企业不同业务场景进行选择使用。ESB主要用于实现并发大、发生频率高的数据,进行实时采集传输至ODS中,ETL主要用于结构化数据的采集,以轮询/定时的方式抽取数据至ODS中进行处理。

3.3.2 现代方式

在大数据分析下的数据采集传输方式通常在传输过程中将已经清洗的数据直接推送至DW中,主流采集工具为Flume和Sqoop。Sqoop可以高效、可控的利用资源,将Hadoop和关系型数据库中的数据批量间相互转移,用于离线计算,其支持 MySQL,Oracle,Postgres等。

Flume可以对分布式的海量日志采集、聚合和传输,将应用产生的数据存储到任何集中存储器中,如HDFS,HBase,当收集数据的速度超过将写入数据的时候 ,Flume会在数据生产者和数据收容器间做出调整,保证其能够在两者之间提供平稳的数据。

3.4 数据汇聚

数据汇聚指根据大数据的不同数据特征和计算特征,从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型,通过数据分析算法,进行数据统计分析、实时流处理,机器学习和图计算等。

3.4.1 数仓汇聚

数据仓库汇聚是指数据从ODS至EDW的过程,即将不同业务系统的数据从中间库加载至数据仓库中,一般情况下,数据汇聚具有多种实现方式,主要将各个分散业务系统的数据推送至ODS中,在ODS中进行整合、处理,形成面向主题的、集成的、清晰的、详细的运营数据,并按照业务需要和性能要求进行组织、存储,最终将ODS中处理好的运营数据通过数据传输工具传输至EDW中,为数据分析提供服务。

3.4.2 海量数据

在大数据分析技术下,对于海量数据的汇聚可以选择调度方式(ESB/ETL)来实现,通过调用ESB中的Timer、Http流程及Rest服务或者使用ETL中的任务job和转换transformation进行数据处理、以及Flume和Sqoop等工具,实现实时采集、数据调度,完成数据的采集、转存、汇聚、填充,实现业务系统到ODS、ODS到DW的过程以及ODS到MDM的数据交互等。

3.5 分析配置

大数据分析中的分析配置是为大数据分析展现而配置的,泛指导航配置、菜单配置、页面配置等,主要配置页面的展现内容及展现形式,例如:展现哪些数据、以什么样式的图表进行展现等,通过选择分析模型以及相应的数据,与组件结合形成组件实例,为企业领导层级业务层的决策提供数据分析。

3.5.1 导航菜单

导航菜单配置主要根据领导层级与业务部门层级的不同,配置对应的导航,每个导航能够通过选择主题,配置整体的布局样式,在同一个导航下通过创建不同的菜单实现对页面的统一管理。通常根据公司业务与领导层的区别,分别提供不同的导航,如:董事会的公司决策导航、总经理、副总经理的业务分析导航、部门经理的部门决策导航等,在每个导航中可以进行主题、布局、个性主题等基本信息。

3.5.2 页面配置

页面配置主要对大数据分析平台系统的主题进行管理,根据用户实际需求对主题进行配置管理,设置页面的整体样式,如:背景颜色、页面大小等,为最终用户提供数据展现,配置后的页面支持在手机端、PC端使用,宽度自适应,自动进行页面大小的适配。页面配置在每个容器内通过选择分析模型和数据立方体获取相应立方体的配置信息,指定立方体内相关的指标行和列,从而形成多维的数据表格,根据组件管理中配置的组件构成动态的组件实例完成页面的配置。

3.6 数据展现

数据展现主要将转换汇总后的数据以可视化的形式直观的展现在用户面前,相比传统使用表格或文档展现数据的方式,大数据分析中的展现形式根据不同行业的业务场景更具有多样化、丰富化,同时包括自定义指标、表单查询等功能,可以满足用户不同的展示和分析需求。

3.6.1 业务主题

面对不同行业的业务领域,从企业决策和运营管理需要出发,以企业的实际需求为切入点,梳理业务流程,构建不同的业务分析主题,通常有财务主题,对项目损益、利润、现金流量、应收账款等指标进行分析;运营主题,对节点计划完成对比、销售目标达成、关键节点完成等指标进行分析;人力主题,对人工总成本、薪资福利成本、人员变动率等指标进行分析;营销主题,销售业务、货值、价格、客户特征等指标进行分析。

3.6.2 交互方式

大数据除饼图、柱状图、折线图、气泡图、面积图、省份地图、词云、瀑布图、漏斗图等酷炫图表展现形式之外,还具备多种交互方式。例如:行列转置,将行列维度互相切换以便于进行数据分析;钻取联动,支持图表的多层级钻取,以层层穿透钻取的方式,使用户利用数据推动决策。同时,在交互方式上针对用户的操作方式、习惯,模拟推算用户的分析习惯,提供更友好、更具有针对性的交互服务。

4 建设意见

4.1 统筹规划

企业的信息化建设并不是一步到位的,而是需要统筹规划分步实施的,大数据平台的构建所属于企业整体信息化建设中的一部分,所以在构建之前,必须要规划出一个清晰的整体架构,这样才能保证业务流程相互运转、信息化系统合理支撑、构建步骤有条不紊,逐步深入推进。

如上图所示,企业信息化统筹建设通常分为四个阶段,分别为系统集成期,进行SOA综合集成整体规划,搭建统一平台框架、构建集成标准规范,为后续集成奠定基础;数据治理期,对数据统一治理的同时结合数据展示工具,实现企业内部决策分析;流程管控期,深化数据集成、应用集成,打通企业整体业务流程,全面实现大数据决策分析;价值上升期,企业信息化价值得以彰显,并不断为企业带来利益,通过持续的迭代推进,支撑后续新技术引进,引领企业信息化时代的同步发展。

4.2 结合业务

无论是做产品还是做项目,理解深度决定应用深度,应用深度决定价值高度,大数据分析项目也是这样,若想基于大数据分析结果为企业带来价值,必定要贴近业务,不做无本之源。如果不重视业务间的差异化,不从自身业务角度去考虑规划,很难保障大数据建设项目顺利推进。

无论对企业来说还是对实施方来说,大数据分析项目的重点在分析配置、效果展现,但难点在业务梳理、逻辑关系。根据上述情况一般分为三步:首先,通过全面的需求调研和评估,将业务需求整理并转化成数据分析中需要解决的问题,进行罗列;之后根据需求间的逻辑关系,进行常规的数据治理、数据建模、分析建模、主题配置等工具;最终进行数据分析的展现,为企业带来真切的价值。在大数据分析建设的道路上,企业需要依托专业的、有实力的厂商团队,从业务开始梳理,理清部门间、系统间业务关系,谁与谁交互、谁用谁的数据、彼此之间的流转、联系等,之后进行总结、推演、扩展,最终形成可落地、易推行的实现方案。

4.3 步骤明确

大数据分析技术的引进的确能为企业带来决策分析上的支持,但并不是所有企业都适合,如开头所阐述的治理前提一样,必须具备一定的条件,不能本末倒置为追赶形势而构建大数据分析平台。通常情况下,对于大数据平台的建设是分阶段进行的,如下图所示,灰色部分为企业既有的信息化现状,在此基础上进行大数据阶段建设。

初期进行企业信息化中较为基本的建设,即基础数据治理、异构系统整合、门户平台搭建、数据门户搭建,为大数据分析平台奠定基础环境的同时,以数据不落地的形式完成企业内部系统间简单的决策分析;第二阶段加强数据治理、数据集成、深度应用集成建设,扩大数据治理范围,构建企业数据分析平台、数据仓库,实现数据在企业范围内的流转,并将数据分析结果以多种方式展现;最后全面实现大数据分析平台建设,实现企业上下游、内外部数据联动,决策分析。

4.4 顺势而为

IT时代新技术、新理念、新平台不断出新,同样对于大数据建设,盲目追新显然不可取,构建不得力,荒废或调整的成本远超于建设成本,一定程度上会造成企业对大数据治理效果的怀疑及浇灭对IT建设的积极性,要保持理性,顺势而为,在进行大数据治理前首先要考虑企业的IT现状及当前业务发展阶段,在确定与当前业务的适用性、可行性;使用产品的稳定性、扩展性;保证方案的专业性、安全性之后再去考虑建设,分阶段逐步进行更行之有效。

虽然有些企业当前并不具备大数据分析建设的条件,但不影响其对大数据的规划和前期的准备,信息化建设是必不可少的,后续会进行讲解,这里不做多余赘述。除信息化支撑之外,管理者的建设意识、重视程度及全体员工对大数据建设的支持也是必不可少的,培养一种将数据思维、分析意识融入公司的文化、体系建设之中,摆脱依靠直觉与经验,确保后续大数据建设开展。

2018-10-19 16:11:02 aeaiesb 阅读数 207
  • 使用Apache Kylin搭建企业级开源大数据分析平台

    1024大数据技术峰会邀请到11位来自一线互联网企业的大数据核心研发团队骨干成员,针对选型开源技术搭建大数据平台、持续运维、优化提升大数据平台的各项性能,技术架构演进以及实现应用大数据支持业务创新发展,这几大核心展开深入的分享和交流。

    6450 人正在学习 去看看 互联网技术联盟

       相信大家都知道工业4.0理念,即利用物联网技术将生产中的供应、制造、销售信息数据化、智慧化,但推行效果并不是很理想,其中很大一部分原因是企业忽略了自身内部信息系统仍有冗余的现象而盲目跟风,过程中由于缺乏建设条件或前期信息化技术储备不足,形成跳跃式断层,最终导致信息化改革中断或失败。

       这种结果让我不禁联想到现在很火的大数据理念,大数据一词一度被炒的沸沸扬扬,利用大数据创造企业价值和提高竞争力等各种偏实际或偏浮夸的理念和解决方案一瞬间让大数据变得炙手可热,无论是企业还是软件厂商都一拥而上,人人都想从大数据风潮中分一杯羹或得一份利,但是大数据并不是适合所有企业。即使要做大数据分析,也要有一套正确的落地方案,今天笔者将根据自身对大数据的理解与大家分享讨论下大数据到底适合应用在哪些领域及大数据的落地方案。

       在此之前先来分析下,大数据理念推出后带来了哪些影响。

1.大数据为企业带来的变化

1.1 软件厂商

        无论是做BI商业智能的厂商还是做报表分析统计业务的厂商,只要与数据沾边的,全部推出大数据解决方案,所谓的大数据分析产品,只不过是把原有的产品换个标签罢了。除此之外,应用软件提供商、软件集成商也纷纷将开源的大数据存储、分析产品与自身产品相结合,推出大数据产品及解决方案,至于产品或方案的效果就不得而知了。

1.2 企业客户

        在大数据被热炒的浪潮下,特别是在一些行业/企业中成功实施并带来一定效果后,许多管理高层开始规划建设大数据分析平台,一部分原因是企业希望通过大数据平台带来利益并对其实现效果寄予厚望,另一部分原因是企业迫于同行业竞争压力,但尝试之后发现,真正建设成功或运行起来的企业少之又少。原因很简单,因为他们完全忽略了内部没有整合的信息化系统;重复、错误、不一致的数据;割裂的业务信息和流程,直到建设后才发现大数据为企业信息化带来了新的复杂性,且从中获益所需要付出的前提与努力比预计中的多得多。

       目前看来,在大数据建设上,企业需要保持冷静,在真正了解大数据及建设大数据的前提之后在考虑也不迟。

2.大数据定义、特点、用途

2.1 定义 

       大数据(Big data) 或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

        对于“大数据” 研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

2.2 特点

  • 体量巨大(Volume),伴随着各种随身设备、物联网、云计算、云存储等技术的发展,人和物的所有轨迹都可以被记录,数据因此被大量生产出来。
  • 类型繁多(Variety),数据格式变得多样,涵盖了文本、音频、图片、视频、模拟信号等不同类型;数据来源也变得多样,不仅产生于组织内部运作的各个环节,也来自于组织外部。
  • 价值性(Value),数据的价值真实性是获得真知的最重要因素,因为处理大数据的实质就是为企业提供决策支持,如果不能保证数据质量,数据分析只成空谈。
  • 速度快(Velocity),包括两方面,一是数据产生快,二是数据处理快,在数据处理方面,要在秒级时间范围内分析出结果,超出这个时间,数据就失去了价值。

2.3 用途

  • 精准营销:为企业营销投放渠道、营销内容、反馈等提供有效的数据支撑。
  • 业务升级:通过数据反映产品、业务带来的影响和客户的反馈,为业务迭代、流程优化提供数据支撑。
  • 趋势预测:为企业预测新的市场趋势,使企业可以衡量新产品是否会带来新市场,从而决定是否批量生产。
  • 风险预警:通过数据分析进行风险预测,及时提供警告,便于企业进行相关调整与决断。
  • 智能推送:分析用户行为,刻画人物画像,为用户提供智能所需消息推送。

3.大数据常见的应用场景

       虽然当下不是所有企业都适用于大数据技术,但不可否认大数据技术在一些行业中是有成效的,如:政府机构、金融、互联网、医疗行业等。

       大数据的来源就是基于互联网的数据,而互联网行业对于数据的利用具有先天优势,在数据的利用与分析上更具有准确性和权威性;金融行业属于一种特殊的行业,自有资本,独立核算,涵盖银行业、证券业、保险业,在可分析资源上占有绝对的优势;政府机构对于大数据平台建设的推进更有力度,更容易实施进行,同时在资金方面更加充足。

3.1 互联网应用场景

     1.电商 

       大数据的来源就是基于互联网的数据,而互联网行业对于数据的利用具有先天优势,在数据的利用与分析上更具有准确性和权威性;金融行业属于一种特殊的行业,自有资本,独立核算,涵盖银行业、证券业、保险业,在可分析资源上占有绝对的优势;政府机构对于大数据平台建设的推进更有力度,更容易实施进行,同时在资金方面更加充足。

      2.社交

        如今互联网更加强调的是“社交”和“互动”,社交大数据成为更多商家促进营销的手段,用户可以随时随地在社交网络上分享资讯、美食、影片、旅游地、生活趣事等,这些数据既可以为客户带来效用,也可以为商家或产品导入流量,而这些都来自于用户身份的信息交互和社交应用。

      3.搜索 

        以搜索引擎为支撑,可以收集基于用户搜索行为的需求数据,之后根据用户搜索需求进行精准广告的投放或相关信息的链接、关键词的提示,搜索网站可以以这些数据做为资产,按照点击次数付费带来收益。

3.2 政府机构应用场景

     1.工商部门

        通过大数据资源,建立注册登记监测预警机制,对市场准入中的外地异常投资、行业异常变动、设立异常集中等异常情形进行监控,对风险隐患提前介入、先行处置,有效遏制了虚假注册、非法集资等违法行为。同时为企业提供产业动态、供需情报、投资情报、专利情报、招投标情报等基础性情报信息。

     2.气象部门

       通过大数据,抓取气象局、地震局的气象历史数据、星云图变化历史数据,以及城建局、规划局等的城市规划、房屋结构数据等数据源,通过构建大气运动规律评估模型、气象变化关联性分析等路径,精准地预测气象变化,寻找最佳的解决方案,规划应急、救灾工作。

     3.医疗卫生

        建立人口健康信息大数据平台,公共卫生部门通过覆盖区域的居民健康档案和电子病历数据库,建立数据交换平台和数据共享平台,实现各业务部门数据资源的互通互联,利用大数据,实现检测传染病,进行全面的疫情监测,并通过监测进行快速响应和采取措施。

3.3 金融行业应用场景

    1.预测需求

       通过大数据,金融企业可监控各种市场推广运作情况,将客户行为转化为咨询流,从中分析客户的个性特征、风险偏好,了解客户的金融往来习惯及使用行为,进一步分析及预测客户潜在的需求。

      2.个性化服务

       通过大数据所在地的人口特征,年龄及交易量复杂度、客户在网站、手机银行、微信银行等软件使用习惯分析,得出客户比例,针对比例考虑新增矮柜服务窗口并提供大屏幕显示器提醒,提供不同需求的咨询和服务等。

      3.风险管控

       可通过对企业的生产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷款风险分析,量化企业的信用额度,更有效地开展中小企业贷款,同时对中小企业贷款进行风险评估和实时欺诈交易识别、反洗钱交易等手段。

       相信除去上述适合建设大数据平台的几个典型行业或部门,其它行业尤其是行业中的大中型私有企业大多数都会对大数据寄予厚望,期待它可以解决长期存在的业务问题,帮助他们在市场抢夺中胜出,使营销模式创新,在产品与服务中更具有优势、竞争力;或者一定程度上认为不上大数据就跟不上时代的形式。如果一定要进行大数据建设,那么一定要认清信息当前的信息化规模,在了解大数据建设的前后关系后,按部就班的进行规划实施,切不可什么都不规划、考虑就轻易将资金投入到大数据的建设中挥霍。下面就来看看对待大中型的私有企业如何进行大数据方案的落地。

4. 传统企业大数据价值分析

4.1 能源

       对于能源企业,通过对能源生产、供给、消费、智能设备、客户信息、电力运行等不同数据源的数据进行综合分析,可以设计开发出节能环保产品,为用户提供付费低、能效高的能源使用与生活方式;可以充分挖掘客户行为特征,提高能源需求预测准确性,发现消费规律,提升企业运营效益的同时,增强对企业经营发展趋势的洞察力和前瞻性,有效提高企业决策分析和风险管控能力。

4.2 制造

       通过大数据技术,分析系统内部(结构化/非结构化数据)和外部(产业、行业、社交、国计民生数据),贯穿于设计、工艺、生产、管理、服务等各个环节,例如:设备预测维护、优化生产流程、能源消耗管控、对原物料品质进行监控,发现潜在问题并及时预警、通过预测能力改善订单处理方式,在客户下单前处理订单,提高效率、通过预测消费者需求优化物流及合理进行库存管理。

4.3 零售

      通过大数据,主要将内部信息(POS信息、商品销售信息、顾客信息、门店楼盘信息、销售额、利润分析等)与外部信息(市场信息、竞争对手信息、流行趋势信息、政策与制度信息、新技术信息、消费趋势等)进行统计分析,帮助企业根据分析客户群属性及活动规律,继而进行客户群体细分,针对性的制定出精细化的营销方案,同时根据市场环境对新产品技术进行预测,创新业务及产品,精准投资,提高投资回报率。

4.4 医疗

        通过大数据,结合医院各个信息化系统间的互通数据,并结合患者具体健康情况及过往病史,如:病人基本属性数据、病例数据、用药数据等,帮助医生快速做出诊断及提供针对性的用药治疗、加强对病人的护理,减少再入院几率;在医院管理方面,大数据通过对患者临床记录及相关外部政策、社交评价等信息的收集,便于根据政策及时调整医疗模式,对员工绩效进行考核、优化医院内部付款、临床、服务流程,规范用药标准,提升整体服务能力等。

4.5 房地产

       通过大数据,将房地产企业内部(企业信息化系统)与外部(统计年鉴、行业管理部门、相关行业报告、行业专家意见及属地市场调查等)数据进行挖掘、分析,使管理者掌握和了解房地产行业潜在的市场需求,未来一段时间每个细分市场的销售量和价格走势等,针对不同的细分市场来实行动态定价和差别定价;同时可以掌握竞争者的商情和动态,知晓在竞争群中所处的市场地位,了解地产行业黄金地段,辅助投资扩展地段。

5. 企业大数据该如何落地

        无论企业如何,有大数据的建设意识,一定程度上可以理解为在信息化建设上还是有一定概念的,但是在建设前一定要清楚两点,第一,大数据并不是可以解决企业信息化中的所有问题;第二,大数据建设的前提是企业具有较高的信息化建设基础。

5.1 大数据不能解决的问题

     1.提高数据质量

       很多企业管理者会认为大数据分析是对数据治理后进行分析,这样的想法是大错特错的,大数据主要是在合理时间内达到撷取、处理、并整理成为帮助企业经营决策的资讯,期间包括数据的采集、存储、分析、展现,是不涉及到数据治理的,真正的数据治理还是需要专业的数据治理工作,如MDM主数据管理系统。

      2.节省工作时间

       有些管理者认为企业运用了大数据分析,可以节省员工对市场分析、业务处理、客户维护的时间,但大数据只是起到预测作用,实际的决策还是需要企业自身承担,而且对于缺失对大数据处理数据库、服务器、业务分析技能的企业信息中心来说,一定程度上增加了企业的工作负担。

      3.系统数据整合

       很多管理者认为大数据的建设会将企业各个应用系统的数据进行整合利用,同时对遗留系统的数据也可以很好的利用,然而大数据是不具备系统数据整合能力的,对于系统的整合还是要依靠专业的整合工具ESB来实现。

5.2 大数据建设的前提条件

      上文中提到,在进行大数据建设前要确认企业是否具有较高的信息化建设基础,这里的建设基础如下:

  • 企业是否具有足够支撑数据分析的信息化系统
  • 信息化系统是否存在信息孤岛现象,有无整合
  • 企业内部信息化系统数据是否进行统一的治理(全面性、一致性、准确性)
  • 企业内部系统间业务流程是否进行统一的梳理

5.3 企业典型的IT架构阶段

  1.第一阶段

  • 数据治理:对企业组织、人员、岗位进行统一治理,实现数据统一同步及分发,保持数据的一直性、准确性、完整性。
  • 应用整合:集成企业内部各个IT 应用系统,并使之互相协同工作,形成一个更大的整体系统,不只是实现系统间的技术集成整合,还要实现业务之间的有机整合。
  • 门户集成:将企业内部原有的零散系统中的信息、应用、服务通过页面集成、菜单集成等技术整合在统一的访问平台,提供企业范围内的统一授权和身份认证,基于单点登录、个性化配置方式,为企业IT架构提供一个标准的、可扩展的Web 应用基础框架,平台支持多端登录,即PC门户、移动门户;同时建立数据门户。
  • 数据门户:在门户集成中构建企业数据门户,即企业系统数据的统一分析展现平台,通过多样的图表、表格等形式高效地展现,帮助企业进行运筹决策,第一阶段涉及分析的信息化系统根据企业管理者当阶段需求而定。

   2.第二阶段

  • 数据治理:根据第一阶段数据治理内容,继续完善企业内部主数据,即客户、供应商、物料等,通过一组标准和方法转换异构操作数据,在整个企业范围内保持数据的一致性、完整性、准确性。

  • 数据分析:通过数据集成将散布在企业所有系统中的数据,以一种松散耦合、集中呈现的方式进行统一管理,使数据在企业范围内互联互通,之后通过配置相关的数据源进行数据获取,以图表报表形式展现结合后的基础数据与业务数据,在数据门户中以柱状图、饼状图、趋势图、雷达图、甘特图、高级表格、树形表格等形式展现,为管理者提供全面的决策分析,同时为下一阶段大数据分析奠定基础。

  • 流程集成:为跨异构系统的流程集成,以业务流程为中心,帮助企业各业务环节与客户需求对齐的管理方法,有效整合人力、信息等资源,实现跨系统、跨部门、跨组织的企业运营,支撑企业实现业务的“纵向贯通”与“横向集成”,帮助企业实现从战略到运营端对端的跟踪、反馈与优化。

    3.第三阶段

       第三阶段为大数据分析阶段,通过将企业内外部数据进行统一的分析,能够真实、准确、清晰、有效的将企业内部及行业外部相关数据进行可视化展现,帮助企业提升行业洞察力,加强决策力,从而提升整体竞争力,大数据的建设过程分为五步。

  • 数据基础平台建设:建立数据平台的架构,进行数据规范,关键数据指标体系的建立,从各个部门中的业务指标进行提炼。

  • 数据报表与可视化:进行标准化可配置数据报表设计,可视化输出设计,包括行为、收入、性能、质量等多种数据类别。

  • 产品与运营分析:对已有的用户行为和收入数据等进行分析,输出日报、周报、月报等各种专题分析报告,包括:产品优化分析、付费转化率分析、渠道效果分析等。

  • 精细化运营平台:搭建运营平台,进行用户、商品和服务细分,通过多种算法的组合优化进行商品和服务的个性化推荐,针对不同产品的生命周期和用户生命周期构建产品数据运营体系。

  • 战略分析与决策:通过机器、算法和数据分析来实现“业务运营监控层”和“用户/客户体验优化层”工作,真正利用好大数据带来的价值。

5.4 大数据常见的技术手段

       大数据处理所涉及的主流技术,一般包括数据存储和管理,包括文件系统、数据库资源管理系统、计算、分析展现工具,如图所示:

       在上层为计算处理层,如Spark、Storm、MapReduce包括各种不同计算方式,如批处理、流处理和图计算等;数据分析和可视化基于计算处理层,分析包括简单的查询分析、流分析以及更复杂的分析(如机器学习、图计算等);查询分析多基于表结构和关系函数,流分析基于数据、事件流以及简单的统计分析,而复杂分析则基于更复杂的数据结构与方法;数据可视化是对分析结果的展示,具体技术细化为数据采集、数据存储、数据汇聚、数据展现、数据使用。

   1.数据采集

       在大数据分析中,数据采集作为第一个环节,分别采集内部数据(管理系统、Web系统、物理信息系统)和外部数据(行业、产业、社交、国计民生),因为数据来源不同,所以会存在不同的结构,如文件、XML树、关系表、视频声频等,数据采集主要将这些数据收集、整理、清洗、转换后,生成到一个新的数据集,为后续查询和分析处理提供统一的数据视图。

    2.数据存储

       一般情况下的数据存储类型多为结构化数据,通过关系数据库系统(RDBMS)即可解决,但是在大数据分析技术中,多为半结构化和非结构化数据,而且各种大数据应用通常是对不同类型的数据内容检索、交叉比对、深度挖掘与综合分析,这就需要用到Hadoop、列存储数据库Cassandra 、文档数据库MongoDB、图数据库Neo4j、K/V存储Redis等。

  • 结构化数据:对于此类数据,主要采用列存储数据库Cassandra来解决,这类技术具有高性能和高扩展性特点。

  • 半结构化与非结构化数据:对于此场景,基于Hadoop实现,通过对Hadoop生态体系的技术扩展和封装,实现对半结构化和非结构化数据的存储和管理。

  • 结构化与非结构化混合数据:对于此场景,基于Hadoop、列存储数据库Cassandra 、文档数据库MongoDB、图数据库Neo4j、K/V存储Redis等技术结合的模式进行数据处理。

   3.数据汇聚

       数据汇聚,即根据大数据的不同数据特征和计算特征,从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型,这里一般基于Spark、Storm、MapReduce等数据计算框架,通过数据分析算法,进行数据统计分析、实时流处理,机器学习和图计算等。流计算实现对实时数据进行流式计算的能力,例如实时追踪页面的访问统计,训练机器学习模型,自动化异常检测;图计算支持针对图的各种操作以及一些常用图算法;机器学习算法,包括分类、回归、聚类、协同过滤等,提供了评估模型、数据导入等支持功能。

    4.数据展现

        数据展现部分主要将转换汇总后的数据以可视化的形式直观的展现在用户面前,相比传统使用表格或文档展现数据的方式,展现形式更具多样化、丰富化,包括:饼图、柱状图、折线图、气泡图、面积图、省份地图、词云、瀑布图、漏斗图等酷炫图表,还包括自定义指标、表单查询等功能,可以满足用户不同的展示和分析需求。

    5.数据使用

        如果大数据只是对数据采集、存储、分析和展现,那么它就没有存在的意义了,而体现大数据真正价值的是数据使用,即这些汇总分析后的大数据可以为企业带来什么利益。

对于政府

       可以促进智慧电网、智慧交通、智慧医疗、智慧民生等多个领域的发展,交通方面可以对监控录像信息、地铁公交刷卡信息、停车站收费信息等收集,帮助公交路线设计、车流指挥控制等缓解交通负担,医疗方面通过数字化病历档案,收集病人信息,实现检测传染病,进行全面的疫情监测,并通过监测进行快速响应和采取措施等。

  • 对于企业

       大数据能够帮助企业分析大量内外部业务、行业、产业、社交数据,进一步挖掘市场机会和细分市场;帮助企业不同部门管理者掌握风险、决策分析;帮助企业根据用户的反馈、市场需求催生产品和服务上的创新,给符合用户的需求;同时除了帮助企业在战略、市场上的创新,还可以帮助企业在改革中挖掘新的更服务企业业务的管理模式和运营流程。

  • 对于个人

      大数据可以帮助用户在消费、信息检索时实现按需搜索,并能提供可信的、真实的、有效的、友好的信息推荐、针对性的服务,如针对个人身体情况提供个性化的医疗服务,针对个人喜欢提供个性化购物服务等,有效地提升用户体验。

6. 关于大数据建设的意见

       上述讲到了大数据的含义、为企业带来的变化及适合应用的行业,但这并不意味着其它行业不可以建设大数据,笔者也身处IT行业,对当前大数据技术和理论略知一二,大数据的确可以帮助企业带来利益,但大数据不仅仅是需要上述讲到的建设前提、规划步骤、IT及技术能力,还要考虑管理者的建设意识、大数据建设前期的数据思维、企业自身发展情况等因素。

6.1 意识行动

       对于一个企业来说,若想大数据建设到位,管理者的意识行动十分重要,这就要求管理者要具有较强的信息化意识、超前的规划能力、对待变革的创新力、推进执行的决断能力,首先,保证企业的信息化水平整体上处于领先状态,为大数据分析平台建设奠定基础;其次,大数据的建设需要对企业系统数据、业务流程、业务关系等一系列事情进行整理分析,过程是较为漫长的,这就需要管理者有持续监督和推进的意识;最后,平台的建设一定程度上会促进业务的变革,这就需要管理层具备应对变化的能力和创新业务的能力。

6.2 数据思维

       无论是大数据还是数据治理,都需要以数据为基础,但相对于数据来说,具有运用数据的思维更重要,即数据思维。数据思维是根据数据来思考事物的一种思维模式,是一种量化的思维模式,是重视事实、追求真理的思维模式。数据思维要求我们理性的正确的运用数据去分析处理一些事物,讲究逻辑关系,用数字说话,而不是靠传统的经验去判断。

        那么为什么要企业管理者具有数据思维呢?大多情况下,企业习惯用经验去判断一件事发生的原因及规律,很少从数据结果上去评判推断事情的规律,这就会造成企业忽视数据的重要性,数据治理薄弱,最终不能为大数据奠定良好的基础;第二,管理者通常习惯经验判断模式,数据思维意识较弱,在大数据分析产生的结果和事实面前,如果与预期不符,会感到无法接受,并感到自己的权威受到挑战,从而不能更好的适应和利用大数据平台,所以只有具有数据思维意识才能掌握大数据思维,而避免思维产生断层。

6.3 结合自身

       相信对于大多数的大中型私有企业来说,企业主要的关注点一定是在成本、收入、利润、风险这四点上,而企业若想对着四点数据进行把控,不通过大数据技术手段也是可以实现的,因为这些关心的数据更多的是对企业内部的系统数据进行汇总、治理、集成、分析、展现、融合。

       如果一定需要分析展现的平台,事实上,使用企业数据门户就可以满足现阶段的要求,数据门户通过对企业各个应用系统的数据进行整合,将企业成本、收入、风险等数据统一分析,并以图形化、图表化等形式展现。为各层管理者提供管理驾驶舱、决策战略室、运营分析平台,同时里面涵盖了KPI指标、数据统计分析、监控预警等功能。

       企业的管理层有大数据意识是件好事,但是一定要在力所能及的情况下进行建设,面对当前需要,可以选一款好的平台产品搭建数据门户满足当前需求,在建设过程中一方面不断完善企业内部关于信息化建设、推进的制度/文化,培养企业员工的信息化意识,提升对信息化的重视程度;另一方面逐渐完善加强信息化基础设施的建设、搭建统一的IT架构,为后续大数据平台建设奠定基础,待IT设施与大数据建设条件配套后,届时大数据分析平台一定可以成为为企业带来利益的最佳助手。

没有更多推荐了,返回首页