精华内容
下载资源
问答
  • 企业自运行机制案例
    万次阅读
    2021-02-08 00:00:00

    本文是近年来不同行业、不同领域的大数据公司的一些经典案例总结。尽管有些已经是几年前的案例,但其中的深层逻辑对于未来仍有启发。

    本文力图从企业运营和管理的角度,梳理出发掘大数据价值的一般规律:一是以数据驱动的决策,主要通过提高预测概率,来提高决策成功率;二是以数据驱动的流程,主要是形成营销闭环战略,提高销售漏斗的转化率;三是以数据驱动的产品,在产品设计阶段,强调个性化;在产品运营阶段,则强调迭代式创新。

    01 上篇:天然大数据公司的各种套餐

    从谷歌、亚马逊、Facebook、LinkedIn,到阿里、百度、腾讯,都因其拥有大量的用户注册和运营信息,成为天然的大数据公司。而像IBM、Oracle、EMC、惠普这类大型技术公司纷纷投身大数据,通过整合大数据的信息和应用,给其他公司提供“硬件软件 数据”的整体解决方案。我们关注的重点是大数据的价值,第一类公司首当其冲。

    下面就是这些天然大数据公司的挖掘价值的典型案例。

    1. 亚马逊的“信息公司”

    如果全球哪家公司从大数据发掘出了最大价值,截至目前,答案可能非亚马逊莫属。亚马逊也要处理海量数据,这些交易数据的直接价值更大。

    作为一家“信息公司”,亚马逊不仅从每个用户的购买行为中获得信息,还将每个用户在其网站上的所有行为都记录下来:页面停留时间、用户是否查看评论、每个搜索的关键词、浏览的商品等等。这种对数据价值的高度敏感和重视,以及强大的挖掘能力,使得亚马逊早已远远超出了它的传统运营方式。

    亚马逊CTO Werner Vogels在CeBIT上关于大数据的演讲,向与会者描述了亚马逊在大数据时代的商业蓝图。长期以来,亚马逊一直通过大数据分析,尝试定位客户和和获取客户反馈。

    “在此过程中,你会发现数据越大,结果越好。为什么有的企业在商业上不断犯错?那是因为他们没有足够的数据对运营和决策提供支持,”Vogels说,“一旦进入大数据的世界,企业的手中将握有无限可能。”从支撑新兴技术企业的基础设施到消费内容的移动设备,亚马逊的触角已触及到更为广阔的领域。

    亚马逊推荐:亚马逊的各个业务环节都离不开“数据驱动”的身影。在亚马逊上买过东西的朋友可能对它的推荐功能都很熟悉,“买过X商品的人,也同时买过Y商品”的推荐功能看上去很简单,却非常有效,同时这些精准推荐结果的得出过程也非常复杂。

    亚马逊预测:用户需求预测是通过历史数据来预测用户未来的需求。对于书、手机、家电这些东西——亚马逊内部叫硬需求的产品,你可以认为是“标品”——预测是比较准的,甚至可以预测到相关产品属性的需求。但是对于服装这样软需求产品,亚马逊干了十多年都没有办法预测得很好,因为这类东西受到的干扰因素太多了,比如:用户的对颜色款式的喜好,穿上去合不合身,爱人朋友喜不喜欢…… 这类东西太易变,买得人多反而会卖不好,所以需要更为复杂的预测模型。

    亚马逊测试:你会认为亚马逊网站上的某段页面文字只是碰巧出现的吗?其实,亚马逊会在网站上持续不断地测试新的设计方案,从而找出转化率最高的方案。整个网站的布局、字体大小、颜色、按钮以及其他所有的设计,其实都是在多次审慎测试后的最优结果。

    亚马逊记录:亚马逊的移动应用让用户有一个流畅的无处不在的体验的同时,也通过收集手机上的数据深入地了解了每个用户的喜好信息;更值得一提的是Kindle Fire,内嵌的Silk浏览器可以将用户的行为数据一一记录下来。

    以数据为导向的方法并不仅限于以上领域,亚马逊的企业文化就是冷冰冰的数据导向型文化。对于亚马逊来说,大数据意味着大销售量。数据显示出什么是有效的、什么是无效的,新的商业投资项目必须要有数据的支撑。对数据的长期专注让亚马逊能够以更低的售价提供更好的服务。

    2. 谷歌的意图

    如果说有一家科技公司准确定义了“大数据”概念的话,那一定是谷歌。根据搜索研究公司comScore的数据,仅2012年3月一个月的时间,谷歌处理的搜索词条数量就高达122亿条。谷歌的体量和规模,使它拥有比其他大多数企业更多的应用大数据的途径。

    谷歌搜索引擎本身的设计,就旨在让它能够无缝链接成千上万的服务器。如果出现更多的处理或存储需要,抑或某台服务器崩溃,谷歌的工程师们只要再添加更多的服务器就能轻松搞定。将所有这些数据集合在一起所带来的结果是:企业不仅从最好的技术中获益,同样还可以从最好的信息中获益。下面选择谷歌公司的其中三个亮点。

    谷歌意图:谷歌不仅存储了搜索结果中出现的网络连接,还会储存用户搜索关键词的行为,它能够精准地记录下人们进行搜索行为的时间、内容和方式,坐拥人们在谷歌网站进行搜索及经过其网络时所产生的大量机器数据。这些数据能够让谷歌优化广告排序,并将搜索流量转化为盈利模式。谷歌不仅能追踪人们的搜索行为,而且还能够预测出搜索者下一步将要做什么。用户所输入的每一个搜索请求,都会让谷歌知道他在寻找什么,所有人类行为都会在互联网上留下痕迹路径,谷歌占领了一个绝佳的点位来捕捉和分析该路径。换言之,谷歌能在你意识到自己要找什么之前预测出你的意图。这种抓取、存储并对海量人机数据进行分析,然后据此进行预测的能力,就是数据驱动的产品。

    谷歌分析:谷歌在搜索之外还有更多获取数据的途径。企业安装“谷歌分析”之类的产品来追踪访问者在其站点的足迹,而谷歌也可获得这些数据。网站还使用“谷歌广告联盟”,将来自谷歌广告客户网的广告展示在其站点,因此,谷歌不仅可以洞察自己网站上广告的展示效果,同样还可以对其他广告发布站点的展示效果一览无余。

    谷歌趋势:既然搜索本身是网民的“意图数据库”,当然可以根据某一专题搜索量的涨跌,预测下一步的走势。谷歌趋势可以预测旅游、地产、汽车的销售。此类预测最着名的就是谷歌流感趋势,跟踪全球范围的流感等病疫传播,依据网民搜索,分析全球范围内流感等病疫的传播状况。

    3. eBay的分析平台

    早在2006年,eBay就成立了大数据分析平台。为了准确分析用户的购物行为,eBay定义了超过500种类型的数据,对顾客的行为进行跟踪分析。eBay分析平台高级总监Oliver Ratzesberger说:“在这个平台上,可以将结构化数据和非结构化数据结合在一起,通过分析促进eBay的业务创新和利润增长。”

    eBay行为分析:在早期,eBay网页上的每一个功能的更改,通常由对该功能非常了解的产品经理决定,判断的依据主要是产品经理的个人经验。而通过对用户行为数据的分析,网页上任何功能的修改都交由用户去决定。“每当有一个不错的创意或者点子,我们都会在网站上选定一定范围的用户进行测试。通过对这些用户的行为分析,来看这个创意是否带来了预期的效果。”

    eBay广告分析:更显着的变化反映在广告费上。eBay对互联网广告的投入一直很大,通过购买一些网页搜索的关键字,将潜在客户引入eBay网站。

    4. 塔吉特的“数据关联挖掘”

    利用先进的统计方法,商家可以通过用户的购买历史记录分析来建立模型,预测未来的购买行为,进而设计促销活动和个性服务避免用户流失到其他竞争对手那边。

    美国第三大零售商塔吉特,通过分析所有女性客户购买记录,可以“猜出”哪些是孕妇。其发现女性客户会在怀孕四个月左右,大量购买无香味乳液。由此挖掘出25项与怀孕高度相关的商品,制作“怀孕预测”指数。推算出预产期后,就能抢先一步,将孕妇装、婴儿床等折扣券寄给客户。

    塔吉特还创建了一套购买女性行为在怀孕期间产生变化的模型,不仅如此,如果用户从它们的店铺中购买了婴儿用品,它们在接下来的几年中会根据婴儿的生长周期定期给这些顾客推送相关产品,使这些客户形成长期的忠诚度。

    5. 中国移动的数据化运营

    通过大数据分析,中国移动能够对企业运营的全业务进行针对性的监控、预警、跟踪。大数据系统可以在第一时间自动捕捉市场变化,再以最快捷的方式推送给指定负责人,使他在最短时间内获知市场行情。

    客户流失预警:一个客户使用最新款的诺基亚手机,每月准时缴费、平均一年致电客服3次,使用WEP和彩信业务。如果按照传统的数据分析,可能这是一位客户满意度非常高、流失概率非常低的客户。事实上,当搜集了包括微博、社交网络等新型来源的客户数据之后,这位客户的真实情况可能是这样的:客户在国外购买的这款手机,手机中的部分功能在国内无法使用,在某个固定地点手机经常断线,彩信无法使用——他的使用体验极差,正在面临流失风险。这就是中国移动一个大数据分析的应用场景。通过全面获取业务信息,可能颠覆常规分析思路下做出的结论,打破传统数据源的边界,注重社交媒体等新型数据来源,通过各种渠道获取尽可能多的客户反馈信息,并从这些数据中挖掘更多的价值。

    数据增值应用:对运营商来说,数据分析在政府服务市场上前景巨大。运营商也可以在交通、应对突发灾害、维稳等工作中使大数据技术发挥更大的作用。运营商处在一个数据交换中心的地位,在掌握用户行为方面具有先天的优势。作为信息技术的又一次变革,大数据的出现正在给技术进步和社会发展带来全新的方向,而谁掌握了这一方向,谁就可能成功。对于运营商来说,在数据处理分析上,需要转型的不仅是技巧和法律问题,更需要转变思维方式,以商业化角度思考大数据营销。

    6. Twitter中的兴趣和情绪

    Twitter兴趣聚类:通过过滤用户归属地、发推位置和相关关键词,Twitter建立了一系列定制化的客户数据流。比如,通过过滤电影片名、位置和情绪标签,你可以知道洛杉矶、纽约和伦敦等城市最受欢迎的电影是哪些。而根据用户发布的个人行为描述,你甚至能搜索到那些在加拿大滑雪的日本游客。从这个视角看,Twitter的兴趣图谱的效率优于Facebook的社交图谱。Twitter的用户数据所能产生的潜在价值同样令人惊叹。在社交媒体网站正在收集越来越多的数据的形势下,它们或许能找到更好的方式来利用这些数据盈利,并使其取代广告成为自身提高收入的主要方式。这些社交网站真正的价值可能在于数据本身。相信在不久的将来,如果寻找到既能充分利用用户数据,又可合理规避对用户隐私的威胁,社交数据所蕴藏的巨大能量将会彻底被开启。

    Twitter情绪分析:Twitter自己并不经营每一款数据产品,但它把数据授权给了像DataSift这样的数据服务公司,很多公司利用Twitter社交数据,做出了各种让人吃惊的应用,从社交监测到医疗应用,甚至可以去追踪流感疫情爆发,社交媒体监测平台DataSift还创造了一款金融数据产品。华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一,就是利用电脑程序分析全球3.4亿微博账户的留言,进而判断民众情绪,再以“1”到“50”进行打分。根据打分结果,霍廷再决定如何处理手中数以百万美元计的股票。霍廷的判断原则很简单:如果所有人似乎都高兴,那就买入;如果大家的焦虑情绪上升,那就抛售。一些媒体公司会把观众收视率数据打包到产品里,再转卖给频道制作人和内容创造者。

    精确的数据一旦与社交媒体数据相结合,对未来的预测会非常准。

    7. 特易购的精准定向

    聪明的商家通过用户的购买历史记录分析来建立模型,为他们量身预测未来的购物清单,进而设计促销活动和个性服务,让他们源源不断地为之买单。

    特易购是全球利润第二大的零售商,这家英国超级市场巨人从用户行为分析中获得了巨大的利益。从其会员卡的用户购买记录中,特易购可以了解一个用户是什么“类别”的客人,如速食者、单身、有上学孩子的家庭等等。

    这样的分类可以为提供很大的市场回报,比如,通过邮件或信件寄给用户的促销可以变得十分个性化,店内的促销也可以根据周围人群的喜好、消费的时段来更加有针对性,从而提高货品的流通。这样的做法为特易购获得了丰厚的回报,仅在市场宣传一项,就能帮助特易购每年节省3.5亿英镑的费用。

    Tesco的优惠券:特易购每季会为顾客量身定做6张优惠券。其中4张是客户经常购买的货品,而另外2张则是根据该客户以往的消费行为数据分析,极有可能在未来会购买的产品。仅在1999年,特易购就送出了14.5万份面向不同的细分客户群的购物指南杂志和优惠券组合。更妙的是,这样的低价无损公司整体的盈利水平。通过追踪这些短期优惠券的回笼率,了解到客户在所有门店的消费情况,特易购还可以精确地计算出投资回报。发放优惠券吸引顾客其实已经是很老套的做法了,而且许多的促销活动实际只是来掠夺公司未来的销售额。然而,依赖于扎实的数据分析来定向发放优惠券的特易购,却可以维持每年超过1亿英镑的销售额增长。

    特易购同样有会员数据库,通过已有的数据,就能找到那些对价格敏感的客户,然后在公司可以接受的最低成本水平上,为这类顾客倾向购买的商品确定一个最低价。这样的好处一是吸引了这部分顾客,二是不必在其他商品上浪费钱降价促销。

    特易购的精准运营:这家连锁超市在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析,进行更全面的监控并进行主动的维修以降低整体能耗。

    8. Facebook的好友推荐

    Facebook是社交网络巨擎,但是在挖掘大数据价值方面,好像办法不多,值得一提的就是好友推荐。

    Facebook使用大数据来追踪用户在其网络的行为,通过识别你在它的网络中的好友,从而给出新的好友推荐建议,用户拥有越多的好友,他们与Facebook之间的黏度就越高。更多的好友意味着用户会分享更多照片、发布更多状态更新、玩更多的游戏。

    9. LinkedIn的猎头价值

    LinkedIn网站使用大数据在求职者和招聘职位之间建立关联。有了LinkedIn,猎头们再也不用向潜在的受聘者打陌生电话来碰运气,而可以通过简单的搜索找出潜在受聘者并联系他们。

    与此相似,求职者也可以通过联系网站上其他人,自然而然地将自己推销给潜在的雇主。有两个例子能够生动呈现LinkedIn的数据价值:几年前,LinkedIn忽然发现近期雷曼兄弟的来访者多了起来,当时并没引起重视,过了不久,雷曼兄弟宣布倒闭;而在谷歌宣布退出中国的前一个月,在LinkedIn发现了一些平时很少见的谷歌产品经理在线,这也是相同的道理。

    10. 沃尔玛的数据基因

    早在1969年沃尔玛就开始使用计算机来跟踪存货,1974年就将其分销中心与各家商场运用计算机进行库存控制。1983年,沃尔玛所有门店都开始采用条形码扫描系统。

    1987年,沃尔玛完成了公司内部的卫星系统的安装,该系统使得总部,分销中心和各个商场之间可以实现实时,双向的数据和声音传输。采用这些在当时还是小众和超前的信息技术来搜集运营数据为沃尔玛最近20年的崛起打下了坚实的地基,从而发现了“啤酒与尿布”关联。

    如今,沃尔玛拥有着全世界最大的数据仓库,在数据仓库中存储着沃尔玛数千家连锁店在65周内每一笔销售的详细记录,这使得业务人员可以通过分析购买行为更加了解他们的客户。

    通过这些数据,业务员可以分析顾客的购买行为,从而供应最佳的销售服务。沃尔玛一直致力于改善自身的数据收集技术,从条形码扫描,到安装卫星系统实现双向数据传输,整个公司都充满了数据基因。

    2012年4月,沃尔玛又收购了一家研究网络社交基因的公司Kosmix,在数据基因的基础上,又增加了社交基因。

    11. 阿里小贷和聚石塔

    虽然阿里系的余额宝如日中天,但其实阿里小贷才真正体现出了大数据的价值。早在2010年阿里就已经建立了“淘宝小贷”,通过对贷款客户下游订单、上游供应商、经营信用等全方位的评估,就可以在没有见面情况下,给客户放款,这当然是对阿里平台上大数据的挖掘。

    数据来源于“聚石塔”——一个大型的数据分享平台,它通过共享阿里巴巴旗下各个子公司的数据资源来创造商业价值。这款产品就是大数据团队把淘宝交易流程各个环节的数据整合互联,然后基于商业理解对信息进行分类储存和分析加工,并与决策行为连接起来所产生的效果。

    12. 西尔斯的数据大集成

    在过去,美国零售巨头西尔斯控股公司,需要八周时间才能制定出个性化的销售方案,但往往做出来的时候,它已不再是最佳方案。

    痛定思痛,决定整合其专售的三个品牌——Sears、Craftsman、Lands'End的客户、产品以及销售数据,使用群集收集来自不同品牌的数据,并在群集上直接分析数据,而不是像以前那样先存入数据仓库,避免了浪费时间——先把来自各处的数据合并之后再做分析。

    这种调整让公司的推销方案更快、更精准,可以从海量信息中挖掘价值,但是价值巨大,困难也巨大:这些数据需要超大规模分析,且分散在不同品牌的数据库与数据仓库中,不仅数量庞大而且支离破碎。

    西尔斯的困境,在传统企业中非常普遍,这些企业家一直想不通,既然互联网零售商亚马逊可以推荐阅读书目、推荐电影、推荐可供购买的产品,为什么他们所在的企业却做不到类似的事情。

    西尔斯公司首席技术官菲里·谢利(Phil Shelley)说:如果要制定一系列复杂推荐方案质量更高,需要更及时、更细致、更个性化的数据,传统企业的IT架构根本不能完成这些任务,需要痛下决心,才能完成转型。

    02 中篇:轻公司数据创业狂欢

    在“数据盛宴”中,是否只有大公司的狂欢?并非如此,从事大数据产业的轻公司将无处不在。新兴的创业公司通过出售数据和服务更有针对性地提供单个解决方案,把大数据商业化、商品化,才是更加值得我们关注的模式。这将带来继门户网站、搜索引擎、社交媒体之后的新一波创业浪潮和产业革命,并会对传统的咨询公司产生强烈冲击。

    13. PredPol的犯罪预测

    PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作,基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率,可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区,盗窃罪和暴力犯罪分布下降了33%和21%。

    14. Tipp24 AG的赌徒行为预测

    Tipp24 AG针对欧洲博彩业构建的下注和预测平台。该公司用KXEN软件来分析数十亿计的交易以及客户的特性,然后通过预测模型对特定用户进行动态的营销活动。这项举措减少了90%的预测模型构建时间。SAP公司正在试图收购KXEN,“SAP想通过这次收购来扭转其长久以来在预测分析方面的劣势”。

    15. Inrix的堵车预言

    交通的参与者多种多样,是大数据最能发挥价值的领域。交通流量数据公司Inrix依靠分析历史和实时路况数据,能给出及时的路况报告,以帮助司机避开正在堵车的路段,并且帮他们提前规划好行程。汽车制造商、移动应用开发者、运输企业以及各类互联网企业都需要Inrix的路况报告。奥迪、福特、日产、微软等巨头都是Inrix的客户。

    16. 潘吉瓦的时尚预测

    消费者追寻意见领袖的生活方式。潘吉瓦公司就是用数据分析来预测流行趋势,以此为基础甚至撬动全球贸易。比如,它们通过41次追踪《暮光之城》的徽章、袜子的运输情况,分析在这部电影中主角的服饰对流行趋势有多大影响率,并将分析结果告知用户,建议他们对自己的行动做出恰当的调整。

    17. 潘多拉的音乐推荐

    美国在线音乐网站潘多拉特别聘请一些音乐专家,让他们每个人平均花上20分钟去分析一首歌曲,并赋予每首歌400种不同的属性。如果你表示喜欢一首歌,程序会自动寻找跟这首歌“基因”相同的歌曲,猜测你也会喜欢并采用推荐引擎技术推荐给你。借助这种人海战术,潘多拉网站已经分析了74万首歌曲。

    18. Futrix Health的医疗方案

    Futrix Health是一家专注于用通过数据为患者制定医疗解决方案的公司,从安装在智能手机上的个人健康应用,到诊所、医院里医生使用的电子健康记录仪,甚至是革命性的数字化基因组数据,均连接到后端数据仓库上。从而为患者制定最佳的医院选择、医药选择。

    该如何将采集到医疗保健机构的大量操作信息,分析患者情况或治疗效果,实施任何高效率的措施,使之更具有意义——大数据时代提供的机会,不再是简单地收集这些数据,而是如何运用数据来更好地认知这个世界。

    19. Retention Science的用户粘性

    在零售领域,创业公司Retention Science发布了一个为电子商务企业提供增强用户粘性的数据分析及市场策略设计的平台,它的用户建模引擎具备自学习功能,通过使用算法和统计模型来设计优化用户粘性的策略。

    平台的用户数据分析都是实时进行,以确保用户行为预测总是符合实际用户行为更新;同时,动态的根据这些行为预测来设计一些促销策略。RS目前已获得Baroda Ventures, Mohr Davidow Ventures, Double M Partners及一些着名天使投资人130万美金的投资。

    20. 众瀛的婚嫁后推荐

    江苏众瀛联合数据科技有限公司构建了这样一个大数据平台——将准备结婚的新人作为目标消费者,并把与结婚购物相关的商家加入其中。

    一对新人到薇薇新娘婚纱影楼拍了婚纱照,在实名登记了自己的信息后会被上传到大数据平台上。大数据平台能根据新人在婚纱影楼的消费情况和偏好风格,大致分析判断出新人后续消费需求,即时发送奖励和促销短信。

    比如邀请他们到红星美凯龙购买家具、到红豆家纺选购床上用品、到国美电器选购家用电器、到希尔顿酒店摆酒席……如果新人在红星美凯龙购买了中式家具,说明他们偏好中国传统文化,就推荐他们购买红豆家纺的中式家居用品。

    21. Takadu的数字驯水

    水,向来是个不好管理的东西:自来水公司发现某个水压计出现问题,可能需要花上很长的时间排查共用一个水压计的若干水管。等找到的时侯,大量的水已经被浪费了。以色列一家名为Takadu的水系统预警服务公司解决了这个问题。

    Takadu把埋在地下的自来水管道水压计、用水量和天气等检测数据搜集起来,通过亚马逊的云服务传回Takadu公司的电脑进行算法分析,如果发现城市某处地下自来水管道出现爆水管、渗水以及水压不足等异常状况,就会用大约10分钟完成分析生成一份报告,发回给这片自来水管道的维修部门。

    报告中,除了提供异常状况类型以及水管的损坏状况——每秒漏出多少立方米的水,还能相对精确地标出问题水管具体在哪里。检测每千米“水路”,Takadu的月收费是1万美元。

    22. 百合网的婚恋匹配

    电商行业的现金收入源自数据,而婚恋网站的商业模型更是根植于对数据的研究。比如,作为一家婚恋网站,百合网不仅需要经常做一些研究报告,分析注册用户的年龄、地域、学历、经济收入等数据,即便是每名注册用户小小的头像照片,这背后也大有挖掘的价值。

    百合网研究规划部李琦曾经对百合网上海量注册用户的头像信息进行分析,发现那些受欢迎头像照片不仅与照片主人的长相有关,同时照片上人物的表情、脸部比例、清晰度等因素也在很大程度上决定了照片主人受欢迎的程度。

    例如,对于女性会员,微笑的表情、直视前方的眼神和淡淡的妆容能增加自己受欢迎的概率,而那些脸部比例占照片1/2、穿着正式、眼神直视没有多余pose的男性则更可能成为婚恋网站上的宠儿。

    23. Prismatic的新闻外衣

    Prismatic是一款个性化新闻应用,只有4名创始员工,凭借互联网数据爬虫和社交网络开发平台的数据,依托亚马逊的云计算平台,实现了大数据的精益创业。

    Prismatic不提供统一的设计精良的新闻订阅或推荐界面,而是根据分析用户的Facebook 或Twitter资料,为用户做一对一的数据分析和推荐。

    从盈利模式来看,Prismatic不是依靠广告费生存下来,也不是传统的新闻媒介,而是一个披着新闻应用外衣的电子商务公司。名义上为了给用户个性化推荐新闻而得到用户的个人信息进行数据分析,针对性的推出推荐商品,从而从电子商务中盈利。

    24. Opower的对比激励

    人类都有和同类对比的天性,例如,一家政府机构收集不同地点从事同类工作的多组员工的数据,仅仅将这些信息公诸于众就促使落后员工提高了绩效。

    在能源行业,Opower使用数据对比来提高消费用电的能效,并取得了显着的成功。作为一家SaaS的创新公司,Opower与多家电力公司合作,分析美国家庭用电费用并将之与周围的邻居用电情况进行对比,被服务的家庭每个月都会受到一份对比的报告,显示自家用电在整个区域或全美类似家庭所处水平,以鼓励节约用电。

    Opower的服务以覆盖了美国几百万户居民家庭,预计将为美国消费用电每年节省5亿美元。Opower报告信封,看上去像账单,它们使用行为技术轻轻地说服公用事业客户降低消耗。

    Opower已经推出了它的大数据平台 Opower4 ,通过分析各种智能电表和用电行为,电力公司等公用事业单位成为Opower的盈利来源。而对一般用户而言,Opower完全是免费的。

    25. Chango和Uniqlick的点击消费

    使用新的数据技术,诸如美国的Chango公司和中国的Uniqlick公司正在数字广告行业中探索新的商业模式——实时竞拍数字广告。

    通过了解互联网用户在网络的搜索、浏览等行为,这些公司可以为广告主提供最有可能对其商品感兴趣的用户群,从而进行精准营销;更长期的趋势是,将广告投放给最有可能购买的用户群。

    这样的做法对于广告主来说,可以获得更高的转换率,而对于发布广告的网站来说,也提高了广告位的价值。

    26. 众趣的行为辩析

    众趣是国内第一家社交媒体数据管理平台,目前国内主要的社交开放平台在用户数据的开放性方面仍比较保守,身为第三方数据分析公司,能够获得的用户数据还十分有限,要使用这些用户数据需获得用户许可。

    众趣通过运营统计学等相关数据分析原理对用户数据进行过滤,最终完成的是对一个用户的行为、动作等个体特征的描述。这些描述可以帮助品牌营销者了解消费者的消费习惯及需求;也可以帮助企业的领导增强对自己员工的了解。除了对个体以及群体行为特征的描述外,这些数据分析结果还可用于对用户群体的行为预测,从而为营销者提供一些前瞻性的市场分析。

    众趣数据分析的结果只能精准到群组而无法达到个人。此类的用户数据研究除在市场营销领域具有一定的参考价之外,目前大多还主要用于配合一些小调研。此外,这些数据还可以实现对用户甚至企业机构的信用评级,在金融领域也有一定程度的使用。

    27. 拖拉网的明天猜想

    导购电商的拖拉网制作了“明天穿什么”这一应用。在这个应用当中,众多时装圈权威人士输送时装搭配与风格单品,由用户任意打分,根据用户的打分偏好,拖拉网便能猜到明天她们想穿什么,然后为她在数十万件网购时装中推荐单品,并且实现直通购买下单。在获取客户数据后,后台分析也是各显神通。

    拖拉网加入了更多变量来考核自己的推荐模式。比如有消费者明天要参加一个聚会,不知道要穿什么风格,也没有看天气预报,希望导购网站能帮她把这些场景和自己的信息组合起来,给出一整套的解决方案。

    于是日期、地域、场合、风格,这些都成为穿衣搭配解决方案的变量,经过不断的组合呈现给用户,据拖拉网数据,用户在看到一个比较优质的搭配,并有场景性引导的时候,点击到最后页面完成购买的转化率会比单品推荐高40%。

    28. SeeChange的基因健康

    现在人们有了把人类基因档案序列化的能力,这允许医生和科学家去预测病人对于某些疾病的易感染性和其他不利的条件,可以减少治疗过程的时间和花费。

    位于旧金山的SeeChange公司创建了一套新的健康保险模式。该公司通过分析客户的个人健康记录、医疗报销记录、以及药店的数据,来判断该客户对于慢性病的易感性,并判断该客户是否有可能从一些定制的康复套餐中获利。

    SeeChange同时设计健康计划,并设立奖励机制鼓励客户主动完成健康行动,全过程都通过其数据分析引擎来监控。

    29. Given Imaging的图像诊断

    以色列的Given Imaging公司发明了一种胶囊,内置摄像头,患者服用后胶囊能以大约每秒14张照片的频率拍摄消化道内的情况,并同时传回外置的图像接收器,患者病征通过配套的软件被录入数据库,在4至6小时内胶囊相机将通过人体排泄离开体外。

    一般来说,医生都是在靠自己的个人经验进行病征判断,难免会对一些疑似阴影拿捏不准甚至延误病人治疗。现在通过Given Imaging的数据库,当医生发现一个可疑的肿瘤时,双击当前图像后,过去其他医生拍摄过的类似图像和他们的诊断结果都会悉数被提取出来。

    可以说,一个病人的问题不再是一个医生在看,而是成千上万个医生在同时给出意见,并由来自大量其他病人的图像给出佐证。这样的数据对比,不但提高了医生诊断的效率,还提升了准确度。

    30. Entelo的“前猎头”

    真正的技术人才永远是各大公司的抢手货,绝对不要坐等他们向你投简历,因为在他们还没有机会写简历之前很可能已经被其他公司抢走了。Entelo公司能替企业家们推荐那些才刚刚萌发跳槽动机的高级技术人才,以便先下手为强。

    Entelo的数据库里目前有3亿份简历。而如何判断高级人才的跳槽倾向,Entelo有一套正在申请专利的算法。这套算法有70多个指标用于判定跳槽倾向。某公司的股价下跌、高层大换血、刚被另一大公司收购,这些都会被Entelo看作是导致该公司人才跳槽的可能性因素。

    于是Entelo就会立刻把该公司里的高级人才的信息推送给订阅了自己服务的企业家们。企业家们收到的简历跟一般的简历还不一样。Entelo抓取了这些人才在各大社交网络的信息。这样企业家们可以了解该人提交过哪些代码,在网上都回答了些什么样的问题,在Twitter上都发表的是些什么样的信息。

    总之,这些准备“挖角”的企业家能够看到一个活生生的目标人才站在面前。

    31. FlightCaster和Passur的延误预测

    航空业分秒必争,尤其是航班抵达的准确时间。如果一班飞机提前到达,地勤人员还没准备好,乘客和乘务员就会被困在飞机上白白耽误时间;如果一班飞机延误,地勤人员就只能坐着干等,白白消耗成本。

    美国一家大航空公司从其内部报告中发现,大约10%的航班的实际到达时间与预计到达时间相差10分钟以上,30%的航班相差5分钟以上。FlightCaster是一家提供航班延误信息预测的公司,主要根据航空公司的航班运行情况进行预测。

    与航空公司所拥有的类似航班运行情况的专有信息一样,该公司拥有大量国内航班飞行和航班实时运行状况的历史数据。Flightcaster的秘诀就是其对大数据分析的有效利用和使用适当的软件工具对产出数据进行实时管理。

    Passur Aerospace是专门为航空业提供决策支持的技术公司。通过搜集天气、航班日程表等公开数据,结合自己独立收集的其他影响航班因素的非公开数据,综合预测航班到港时间。时至2012年,Passur公司已经拥有超过155处雷达接收站,每4.6秒就收集一次雷达上每架飞机的一系列信息,这会持续地带来海量数据。

    不仅如此,经过长期的数据收集,Passur拥有了一个超过十年的巨大的多维信息载体,为透彻的分析和恰当的数据模型提供了可能。Passur公司相信,航空公司依据它们提供的航班到达时间做计划,能为每个机场每年节省数百万美元。

    32. Climate的农业保险

    一家名为气候公司的创业企业每天都会对美国境内超过100万个地点、未来两年的天气情况进行超过1万次模拟,其数据量庞大、动态、实时。随后,该公司将根系结构和土壤孔隙度的相关数据,与模拟结果相结合,为成千上万的农民提供农作物保险。

    通过遥感获取土壤数据,这和我们过去所熟悉的通过网络服务获取用户网络行为数据不是一回事,数据的概念得以极大的扩充。要想对每块田地提供精准的保险服务,肯定还需要与土地数据相配套的农产品期货、气候预测、国际贸易、国际政治和军事安全、国民经济,产业竞争等等各方面的数。

    在如此庞杂的大数据基础上推出的商业模式是创新的,同现有农作物保险方式相比具备极大竞争力,并且是可持续和规模化的。更妙的是,这家公司基于大数据的运营,完全没有进行高额的网络设施投资,只是租用了亚马逊的公共云服务,一个月几万美元而已。

    33. Hiptype的记录阅读

    几乎所有的收费电子书都会提供部分章节让读者试读,其实,出版商需要弄清楚人们读到了哪里、读完后有没有购买,以及其他各种体验,才能卖出更多的电子书。

    美国创业公司Hiptype开发了一套电子书阅读分析工具,其商业模式就在试图解决这一难题。Hiptype自称为“面向电子书的Google Analytics”,能够提供与电子书有关的丰富数据。它不仅能统计电子书的试读和购买次数,还能绘制出“读者图谱”,包括用户的年龄、收入和地理位置等。

    此外,它还能告诉出版商读者在看完免费章节后是否进行了购买,有多少读者看完了整本书,以及读者平均看了多少页,读者最喜欢从哪个章节开始看,又在哪个章节半途而废,等等。

    Hiptype能够与电子书整合在一起,出版商无论选择哪种渠道,总是能够获得用户数据。Hiptype收集的所有数据都是匿名的。用户在下载了内置Hiptype服务的电子书时,会得到一个提示,可以选择将其屏蔽。

    34. 安客诚的“人网合一”

    网络营销存在一个巨大问题,如何获知在网上使用几个不同名称的人是否是同一个人?安诚客推出了一种名为“观众操作系统”的技术方案解决了这个问题。它允许市场营销者与你的 “数字人物”绑定,即使你由于婚姻换了名字,或者使用昵称,或者偶尔使用中名,它也照样能够解答那个已经换了地址或者电话号码的人是否是同一个人的问题。

    AOS 可以汇集不同数据库中的信息,这些数据或离线或在线,是公司可能在不同场合针对个人而收集的。通过使用AbiliTec——一种Acxiom也拥有的数字化“身份识别”技术——AOS将客户信息删繁就简,得到简单单一的结果。AOS帮助安诚客的广告客户使用他们的数据在Facebook上找到广告投放目标用户。

    03 下篇:数据关联、数据废气和黑暗数据

    大数据主要不作因果判断,主要适用于关联分析。很多关联分析并不需要复杂的模型,只需要具有大数据的意识。

    很多机构都有数据废气,数据不是用完就是被舍弃,它的再利用价值也许你现在不清楚,但在未来的某一刻,它会迸发出来,可以化废为宝。

    黑暗数据就是那些针对单一目标而收集的数据,通常用过之后就被归档闲置,其真正价值未能被充分挖掘。如果黑暗数据用在恰当的地方,也能公司的事业变得光明。

    35. 数据关联分析

    某公司团队曾经使用来自手机的位置数据,来推测美国圣诞节购物季开始那一天有多少人在梅西百货公司的停车场停车,进而可以预测其当天的销售额,这远早于梅西百货自己统计出的销售记录。无论是华尔街的分析师或者传统产业的高管,都会因这种敏锐的洞察力获得极大的竞争优势。

    对于税务部门来说,税务欺骗正在日益的被关注,这时大数据可以用于增加政府识别诈骗的流程。在隐私允许的地方,政府部门可以综合各个方面的数据比如车辆的登记,海外旅游的数据来发现个人的花费模式,使税务贡献不被叠加。同时一个可疑的问题出现了,这并没有直接的证据指向诈骗,这些结论并不能用来去控告个人。但是他可以帮助政府部门去明确他们的审计和其他的审核以及一些流程。

    36. 数据废气

    物流公司的数据原来只服务于运营需要,但一经再利用,物流公司就华丽转身为金融公司,数据用以评估客户的信用,提供无抵押贷款,或者拿运送途中的货品作为抵押提供贷款;物流公司甚至可以转变为金融信息服务公司来判断各个细分经济领域的运行和走势。

    有公司已经在大数据中有接近“上帝俯视”的感觉,美国洛杉矶的一家企业宣称,他们将全球夜景的历史数据建立模型,在过滤掉波动之后,做出了投资房地产和消费的研究报告。

    麦当劳则通过外送服务,在售卖汉堡的同时获得了用户的精准地址,这些地址数据汇集之后,就变成了一份绝妙的房地产业的内部数据。

    37. 黑暗数据

    在特定情况下,黑暗数据可以用作其他用途。Infinity Property & Casualty公司用累积的理赔师报告来分析欺诈案例,通过算法挽回了1200万美元的代位追偿金额。一家电气销售公司,通过积累10年ERP销售数据分析,按照电气设备的生命周期,给5年前的老客户逐一拜访,获得了1000万元以上电气设备维修订单,顺利地进入MRO市场。

    38. 客户流失分析

    美国运通以前只能实现事后诸葛亮式的报告和滞后的预测,传统的BI已经无法满足其业务发展的需要。

    于是,AmEx开始构建真正能够预测客户忠诚度的模型,基于历史交易数据,用115个变量来进行分析预测。该公司表示,对于澳大利亚将于之后4个月中流失的客户,已经能够识别出其中的24%。这样的客户流失分析,当然可以用于挽留客户。

    酒店业可以为消费者定制相应的独特的个性房间,甚至可以在墙纸上放上消费者的微博的旅游心情等等。旅游业可以根据大数据为消费者提供其可能会喜好的本地特色产品、活动、小而美的小众景点等等来挽回游客的心。

    39. 快餐业的视频分析

    快餐业的公司可以通过视频分析等候队列的长度,然后自动变化电子菜单显示的内容。如果队列较长,则显示可以快速供给的食物;如果队列较短,则显示那些利润较高但准备时间相对长的食品。

    40. 大数据竞选

    2012年,参与竞选的奥巴马团队确定了三个最根本的目标:让更多的人掏更多的钱,让更多的选民投票给奥巴马,让更多的人参与进来!

    这需要“微观”层面的认知:每个选民最有可能被什么因素说服?每个选民在什么情况下最有可能掏腰包?什么样的广告投放渠道能够最高效获取目标选民?如竞选总指挥吉姆·梅西纳所说,在整个竞选活中,没有数据做支撑的假设不能存在。

    为了筹到10亿美元的竞选款,奥巴马的数据挖掘团队在过去两年搜集、存储和分析了大量数据。他们注意到,影星乔治·克鲁尼对美国西海岸40岁至49岁的女性具有非常大的吸引力:她们无疑是最有可能为了在好莱坞与克鲁尼和奥巴马共进晚餐而不惜自掏腰包的一个群体。克鲁尼在自家豪宅举办的筹款宴会上,为奥巴马筹集到数百万美元的竞选资金。

    此后,当奥巴马团队决定在东海岸物色一位对于这个女性群体具有相同号召力的影星时,数据团队发现莎拉·杰西卡·帕克的粉丝们也同样喜欢竞赛、小型宴会和名人。“克鲁尼效应”被成功地复制到了东海岸。

    在整个的竞选中,奥巴马团队的广告费用花了不到3亿美元,而罗姆尼团队则花了近4亿美元却落败,其中一个重要的原因在于,奥巴马的数据团队对于广告购买的决策,是经过缜密的数据分析之后才制定的。一项民调显示,80%的美国选民认为奥巴马比罗姆尼让他们感觉更加重视自己。

    结果是,奥巴马团队筹得的第一个1亿美元中,98%来自于小于250美元的小额捐款,而罗姆尼团队在筹得相同数额捐款的情况下,这一比例仅为31%。

    41. 监控非法改建

    “私搭乱建”在哪个国家都是一件闹心的事,而且容易引起火灾。非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉,但市里只有200名处理投诉的巡视员。

    市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库,并在其中加入市里19个部门所收集到的数据:欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉等等。

    接下来,他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较,希望找出相关性。果然,建筑物类型和建造年份是与火灾相关的因素。不过,一个没怎么预料到的结果是,获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。

    利用所有这些数据,该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因,但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价值的:过去房屋巡视员出现场时签发房屋腾空令的比例只有13%,在采用新办法之后,这个比例上升到了70%。

    42. 榨菜指数

    负责起草《全国促进城镇化健康发展规划(2011-2020年)》(以下简称“城镇化规划”)的国家发改委规划司官员需要精确知道人口的流动,怎么统计出这些流动人口成为难题。

    榨菜,属于低质易耗品,收入增长对于榨菜的消费几乎没有影响。一般情况下,城市常住人口对于方便面和榨菜等方便食品的消费量,基本上是恒定的。销量的变化,主要由流动人口造成。

    据国家发改委官员的说法,涪陵榨菜这几年在全国各地区销售份额变化,能够反映人口流动趋势,一个被称为“榨菜指数”的宏观经济指标就诞生了。国家发改委规划司官员发现,涪陵榨菜在华南地区销售份额由2007年的49%、2008年的48%、2009年的47.58%、2010年的38.50%下滑到2011年的29.99%。

    这个数据表明,华南地区人口流出速度非常快。他们依据“榨菜指标”,将全国分为人口流入区和人口流出区两部分,针对两个区的不同人口结构,在政策制定上将会有所不同。

    43. 天气账单

    常言道,“天有不测之风云”,遇到过出门旅游、重要户外路演、举办婚礼等重要时刻却被糟糕的天气弄坏心情甚至造成经济损失的情况吗?

    全球第一家气象保险公司“天气账单”能为用户提供各类气候担保。客户登录“天气账单”公司网站,然后给出在某个特定时间段里不希望遇到的温度或雨量范围。“天气账单”网站会在100毫秒内查询出客户指定地区的天气预报,以及美国国家气象局记载的该地区以往30年的天气数据。通过计算分析天气数据,网站会以承保人的身份给出保单的价格。这项服务不仅个人用户需要,一些公司,比如旅行社也很乐意参与。

    一家全球性饮料企业将外部合作伙伴的每日天气预报信息集成,录入其需求和存货规划流程。通过分析特定日子的温度、降水和日照时间等3个数据点,该公司减少了在欧洲一个关键市场的存货量,同时使预测准确度提高了大约5%。

    44. 历史情景再现

    微软和以色列理工学院的研究人员已开发出一款软件,能根据过去20年《纽约时报》的文章以及其他在线数据预测传染病或者其他社会问题可能会于何时何地爆发。

    在利用历史数据进行测试时,该系统的表现十分惊人。例如,根据2006年对安哥拉干旱的报道,该系统预测安哥拉很可能发生霍乱。这是由于,通过此前发生的多起事件,该系统了解到在干旱出现的几年后霍乱爆发的可能性将上升。

    此外,该系统根据对2007年初非洲大型飓风的报道,再次对安哥拉发生霍乱做出预警。而在不到一周之后,报道显示安哥拉确实发生了霍乱。在其他测试,例如对疾病、暴力事件及伤亡人数的预测中,该系统的准确率达到70%至90%。

    该系统的信息来自过去22年中《纽约时报》的报道存档,具体时间为1986年至2007年。不过,该系统也利用了网络上的其他一些数据,了解什么样的事件会带来特定的社会问题。这些信息来源提供了不存在于新闻文章但却有价值的内容,有助于确定不同事件之间的因果关系或前后关系。

    例如,该系统能够推断卢旺达和安哥拉城市之间所发生事件的关系,因为这两个国家都位于非洲,有着类似的GDP,其他一些因素也很相似。根据这种方法,该系统认为,在预测霍乱爆发方面,应当考虑国家或城市的位置,国土面积有多少是水域,人口密度和GDP是多少,以及近几年是否发生过干旱。

    负责此项研发工作的Horvitz表示,近几十年来,世界的许多方面都发生了改变,不过人类的本性和环境的许多方面仍然未变,因此软件可以从以往的数据中了解事情发生的模式,从而预测未来会发生什么。他表示:“对于回溯更久之前的数据,我个人很感兴趣。”

    此类预测工具的市场正在形成。例如,一家名为RecordedFuture的创业公司根据网上的前瞻性报道和其他信息来源预测未来事件,该公司的客户包括政府情报部门。该公司CEOChristopherAhlberg表示,利用“硬数据”来进行预测是可行的,但从原型系统到商用产品还有很长的路要走。

    45. Nike+传感鞋

    耐克凭借一种名为Nike+的新产品变身为大数据营销的创新公司。所谓Nike+,是一种以“Nike跑鞋或腕带+传感器”的产品,只要运动者穿着Nike+的跑鞋运动,iPod就可以存储并显示运动日期,时间、距离、热量消耗值等数据。用户上传数据到耐克社区,就能和同好分享讨论。

    耐克和Facebook达成协议,用户上传的跑步状态会实时更新到账户里,朋友可以评论并点击一个“鼓掌”按钮——神奇的是,这样你在跑步的时候便能够在音乐中听到朋友们的鼓掌声。

    随着跑步者不断上传自己的跑步路线,耐克由此掌握了主要城市里最佳跑步路线的数据库。有了Nike+,耐克组织的城市跑步活动效果更好。参赛者在规定时间内将自己的跑步数据上传,看哪个城市累积的距离长。

    凭借运动者上传的数据,耐克公司已经成功建立了全球最大的运动网上社区,超过500万活跃的用户,每天不停地上传数据,耐克借此与消费者建立前所未有的牢固关系。海量的数据对于耐克了解用户习惯、改进产品、精准投放和精准营销又起到了不可替代的作用。

    46. 沃尔沃的工业互联网

    在沃尔沃集团,通过在卡车产品中安装传感器和嵌入式CPU,从刹车到中央门锁系统等形形色色的车辆使用信息,正源源不断地传输到沃尔沃集团总部。

    “对这些数据进行分析,不仅可以帮助我们制造更好的汽车,还可以帮助客户们获取更好体验。”沃尔沃集团CIORichStrader说。这些数据正在被用来优化生产流程,以提升客户体验和提升安全性。

    将来自不同客户的使用数据进行分析,可以让产品部门提早发现产品潜在的问题,并在这些问题发生之前提前向客户预警。“产品设计方面的缺陷,此前可能需要有50万台销量的时候才能暴露出来,而现在只需要1000台,我们就能发现潜在的缺陷。”

    47. McKesson的动态供应链

    在美国最大的医药贸易商McKesson公司,对大数据的应用也已经远远领先于大多数企业,将先进的分析能力融合到每天处理200万个订单的供应链业务中,并且监督超过80亿美元的存货。

    对于在途存货的管理,McKesson开发了一种供应链模型,它根据产品线、运输费用甚至碳排放量而提供了极为准确的维护成本视图。据公司流程改造副总裁RobertGooby说,这些详细信息使公司能够更加真实地了解任意时间点的运营情况。

    McKesson利用先进分析技术的另一个领域是对配送中心内的物理存货配置进行模拟和自动化处理。评估政策和供应链变化的能力帮助公司增强了对客户的响应能力,同时减少了流动资金。总体来讲,McKesson的供应链转型使公司节省了超过1亿美元的流动资金。

    48. 纸牌屋与电影业

    《纸牌屋》最大的特点在于,与以往电视剧的制作流程不同,这是一部“网络剧”。简而言之,不仅传播渠道是互联网观看,这部剧从诞生之初就是一部根据“大数据”,即互联网观众欣赏口味来设计的产品。

    Netflix成功之处在于其强大的推荐系统Cinematch,该系统基于用户视频点播的基础数据如评分、播放、快进、时间、地点、终端等,储存在数据库后通过数据分析,计算出用户可能喜爱的影片,并为他提供定制化的推荐。为此他们开设了年Netflix大奖(点击查看获奖算法),用百万美元悬赏,奖励能够将其电影推荐算法准确性提高至少10%的人。

    未来的电影制作成本将大幅降低,一千粉丝足以使电影成功。还是像《技术元素》里说:“目光聚集的地方,金钱必将追随。”

    49. 点评与餐饮业

    美国很多州政府在与餐饮点评网lep展开合作,监督餐饮行业的卫生情况,效果非常好。人们不再像以前那样从窗口去看餐馆里的情况,而是从手机APP里的评论!在中国的本地化O2O点评比如大众点评、番茄点等等,消费者可以对任何商家进行评判,同时商家也可以通过这些评判来提升自己的服务能力,在环节上进行更大力度的效率优化。

    未来的餐饮行业将会由互联网和社会化媒体上所产生和承载的数据彻底带动起来,会有越来越多的人加入点评中,餐馆优胜劣汰的速度将会大幅加快。

    联互通社区


    互联互通社区专注于IT互联网交流与学习,关注公众号:互联互通社区,每日获取最新报告并附带专题内容辅助学习。方案打造与宣讲、架构设计与执行、技术攻坚与培训、数据中台等技术咨询与服务合作请+微信:hulianhutongshequ

    更多相关内容
  • 通过神华集团科技创新项目"煤基费托合成反应铁系催化剂开发"成功的案例,对企业研究院参与下...同时对项目执行过程中出现的有关问题进行了剖析,提出了企业研究院的功能定位以及对官产学研用科技开发体系运行机制的建议。
  • 以神华集团牵头组建的"煤炭开发利用技术创新战略联盟"产学研合作成功案例为基础,对以企业为主体的纵向产业链结构技术创新体系进行分析,总结了战略联盟创新模式取得的经验,分析了战略联盟运转机制中出现的若干问题,...
  • Kubernetes是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。 Kubernetes一个核心...
  • 本文在相关论文研究虚拟企业构建及运行机制的基础上.提出了“敏捷制造运行螺旋”和“敏捷制造运行环”的概念。并详细分析了其中各步骤的主要问题所在。一、敏捷制造运行环基于国内外文献以及有关企业案例的研究,...
  • 我们从国资委发布的《2020年国有企业数字化转型典型案例》中挑选出了60个案例进行分享。这些案例的类型包括:产品和服务创新、生产运营智能化、数字化营销服务、数字生态、新一代信息技术、工控安全、两化融合管理...

    导读

    INTRODUCTION

    国有企业数字化转型做了哪些改变?哪些值得我们借鉴?我们从国资委发布的《2020年国有企业数字化转型典型案例》中挑选出了60个案例进行分享。这些案例的类型包括:产品和服务创新、生产运营智能化、数字化营销服务、数字生态、新一代信息技术、工控安全、两化融合管理体系和综合等8类。

    文章来源

    本文信息源于国资委科创局(国资小新),案例由「工业互联说」整理

    下文第一部分先对100个典型案例

    全名单列表罗列

    再选取60个进行简介

    全部名单列表原文

    01

    2020年国有企业数字化转型

    100个典型案例全列表

    bc7a010b699f3222534cad4b691cd114.png

    49d243f236113c8a6dc91fda2a4fe362.png

    02

    60个典型案例摘选

    1、国家危险化学品安全生产风险监测预警系统

    企业:中国石化

    危化品安全生产风险监测预警系统是由国家应急管理部推进的,是利用信息化手段实现对全国危化品重大危险源的24小时在线监测和实时预警的重要系统。

    439363968433bec2c2a4b73045bef9ec.png

    该系统是基于大数据、人工智能等新一代信息技术与安全管理深度融合而研发出的一款预警系统,如法米特物联网安全监控仪作为一款预警系统对于推进危险化学品安全安全管理数字化、网络化、智能化,高效推进质量变革、效率变革、动力变革都具有一定的积极意义。

    2、重大装备润滑安全数字化运维平台

    企业:国机集团

    重大装备润滑安全数字化运营平台以实现重大装备安全、环保、智能、高效的润滑目标,基于在线监测预警、离线实验室诊断和现场润滑管理的润滑安全运维体系,应用物联网、云平台、大数据和人工智能等技术,构建润滑安全大数据中心和智能运维平台,建立“云平台+数据资源+评价预警+工业应用”的智能运维模式。

    b25739c58625bd482fdc44bedb16c287.png

    平台与专用数字化系统对接,已实现8000余家企业接入,链接60万个样品数据及其诊断、评估结论与决策建议,通过企业门户接入,满足润滑咨询、对外服务、离线与在线数据查询展示与报告查询等,实现智能化润滑安全大数据分析、故障隐患辨识和风险评估与预警。

    3、农村污水治理终端设施数字化智能运营系统

    企业:中国建筑

    “农污治理智能运营系统”是中建集团唯一入选且获评优秀案例的项目,也是全部案例中唯一的乡村振兴、生态环境、农村污染治理运营智能化案例,彰显了中建集团在污染防治、生态文明建设和农村人居环境建设领域的责任担当与积极贡献,是对中建生态环境、中建智能在该系统自主研发能力、核心技术水平和污水处理设施运营管理维护产业化融合运用成效的认可。

    aaa1b70323f021a45dfbcca015b57932.png

    农污治理智能运营系统的基础设施建设是系统平稳高效运行的基石。该系统基于物联网搭建的基础网络,运用云平台作为数据中心,辅以巡检智能装备,对现场污水治理终端进行自动化改造,并对现场进行安全防护。

    4、建设互联共享能源工业云网,赋能能源行业数字化转型升级

    企业:国家电网

    国内能源领域首个全域赋能的工业互联网平台。能源工业云网是我国工业互联网在能源电力领域的重要基础设施平台,在能源生产领域,提供能源场站管理、设计协同、远程监控等服务;在装备制造领域提供生产线升级、物流配送、设备租赁等服务,在能源消费领域提供项目撮合、运维托管等服务。

    1b54b0d2df651309ea591d0316eaad3e.png

    能源工业云网是国家电网此前发布的“数字新基建”重点建设任务之一。“数字新基建”计划总体投资约247亿元,将带动上下游企业共同发展。

    5、66云链

    企业:中化集团

    中化能源科技“66云链”目前已连接了20余家液体化工品库区、近千家合法合规的危险品运输车队、14家商检公司(CCIC、BV、SGS等),可查询内贸液货危险品船舶6000余艘、全国1万多家危险品运输公司和近40万辆危险品车辆信息,构建起国内目前唯一的覆盖仓储、车船运输的石化供应链数字基础设施,可提供车辆预约排队系统、车/船运输可视化系统、在线备案系统、仓储在线查询、数字提单等在线物流综合解决方案和区块链数字仓单产业金融解决方案。

    fc774a438dfdf3eb1a8b4962c575a46a.png

    中化能源科技66云链平台的生态架构

    66云链为我国液氨行业某龙头企业开发的“全息管理平台”。整合了该企业的危险品车辆、船舶、火车运行信息,以及应急管理、市场营收、异常预警、天气、大宗商品价格走势等实时数据,打破数据隔离,助力该企业真正把数据资产用起来,驱动增长。

    6、路网协同指挥调度云服务平台

    企业:江苏交通控股有限公司

    路网协同指挥调度云服务平台(简称“调度云平台”)是全国交通领域首创、基于互联网+、云计算和全新理念、以“云-网-边-端”新基建为技术底座,打造的扁平、敏捷、智能、高效云端数字产品在用的服务。

    平台通过协同交警、交通执法等路网管理与服务单位共建“路网运营生态圈”和“出行服务朋友圈”,联合公有云、导航、AI等产业链上下游合作企业共汇“智慧交通产业生态圈”,极大提升了路网管理的响应效率和协同能力,极大提升了公众服务的信息化水平,实现了路网协同指挥调度新应用、新场景、新时代。

    85299772507640dc084812fd23a0a2c3.png

    平台开创了中国高速公路“云”纪元,充分体现创新性、先进性和开放性,已产生良好的示范和辐射效应,创新的云服务商业模式正在全国推广,经济效益和社会效益极为显著,正是国企数字化转型的最佳实践。

    7、面向感知认知能力的银行智能数字化平台

    企业:重庆农村商业银行股份有限公司

    重庆农商行“面向感知认知能力的银行智能数字化平台”项目,集智能渠道建设、科技运用、数据治理、产品研发等平台优势为一体,通过人脸、语音、语义、图像等技术运用,为客户提供手机银行APP、微银行、智能柜台等多样化场景接入方式,实现电子渠道交易替代率达95.4%。

    据资料显示,重庆农商行是重庆本土资产规模最大、存款余额第一、网点数量最多的地方金融机构,金融服务覆盖重庆城乡。广泛的用户分布对重庆农商行的金融服务提出了挑战,单一的普通话交互已无法满足多样性的用户需求。

    f3c294e7da74028e89c1106fe6af4fef.png

    会话精灵针对该场景在语音识别技术方面完成重大突破:在普通话、四川话单一语种识别的基础上,可支持普通话+四川话双语种混合识别,并获得技术专利。通过该技术,用户无论使用普通话、四川话还是混合口音,都可实现即时识别。

    会话精灵创新性地将对内、对外信息进行整合,通过对用户的身份进行判断,支持员工、客户调取不同的知识信息,精细化地实现知识的准确传播以及有效管理。

    8、基于5G的智慧口岸应用项目

    企业:珠海创投港珠澳大桥珠海口岸运营管理有限公司

    智慧口岸是用好管好大桥的使命担当,基于5G的智慧口岸应用项目是基于大数据、云计算、物联网、人工智能、区块链等新一代信息技术,建设高效创新的“智慧口岸”平台,以提升口岸的服务管理水准和运行效率。

    9a619cb96a549a57a070294788e5dd15.png

    2019年3月,港珠澳大桥珠海口岸开通5G基站,成为“全球首个5G试点口岸”,完成了5G网络覆盖,结合口岸服务,创新性的将5G与口岸的通关服务与运营管理结合起来。

    9、黑龙江公路建设高质量发展数字化管控平台

    企业:黑龙江省交通投资集团有限公司

    “公路建设数字化管控平台”通过布局“161”数字化工程,即1个指挥中心、6朵业务云和1个共享平台,实现“一图全面感知、一网数据融合、一键全局可知、一心决策智能”,建成“现场看得见、网上查得实、数据监得到、要素管得住、决策有支撑”的高质量发展数字化管控平台。目前,已在哈尔滨至肇源和绥化至大庆高速公路建设过程全线应用,效果良好,具有较强的行业示范和推广价值。

    34372da52e8df4b5a7c68adacf26b9ed.png

    “公路建设数字化管控平台”通过聚焦数字化前沿科技与传统公路工程建设融合发展和“四新技术”推广应用,依托北斗卫星等数字化理念和手段,整合监测的长期大数据成果应用对世界高寒地区公路建设项目有重要示范指导和借鉴价值,对推动公路建设产业转型升级具有重要战略意义。

    10、华侨城花橙旅游平台

    企业:华侨城集团

    花橙旅游是华侨城集团自主搭建的旅游行业自营型电商平台。作为涵盖管理、营销、服务和用户体验等多维度的综合平台,花橙旅游基于旅游行业的特殊电商模式,建立了华侨城“电商+会员+营销+服务”一站式在线旅游服务平台,实现了对外为游客提供票务预定、资讯查询等综合服务,对内面向景区提供营销赋能。

    4cc348840cd14b4c5f2852648aca1a31.png

    ▲花橙旅游官方商城

    未来,华侨城集团还将推动与更多企业线上线下跨界深度合作,为企业服务,打造会员积分体系,创新营销思路,将花橙旅游打造成以景区为核心的目的地旅游深度服务平台,成长为独立的自有互联网品牌,为景区创造价值,为广大用户提供优质旅游服务,建立旅游产业生态圈,实现资源共享和产业整合,推动文旅主营业务数字化转型、企业高质量发展再上一层楼。

    11、钢轨全寿命大数据管理平台

    企业:中国铁物

    钢轨全寿命大数据管理平台有效整合钢轨的生产、焊接、供应、铺设、养护、维修、更换、报废等全生命周期主要过程数据资源,建立数据互通机制,实现对钢轨全生命周期质量追溯。

    73451e132a1c1b6ff4ef325809b9e753.png

    该平台能够利用物联网、大数据、云计算等多方面信息技术,开展数据分析应用工作,为行业决策、全产业链协同、铁路运营安全等提供有力数据支持。

    12、隧道及地下工程施工监测信息系统

    企业:中国中铁

    隧道及地下工程施工监测信息系统在实施的过程中隧道监控量测做到了及时埋点、及时测量、及时上传、及时处理预警,完整的建立了以施工单位一线组织实施,监理单位、中铁西南院、成贵公司共同监督、管理的隧道工程施工监测数据化信息系统。

    c5b2de7b72e95cac6be525904fb9a431.png

    在确保数据及时、准确、可靠的同时,在实际的操作中,还建立了相应的位移管理预警等级和相应等级处理措施,明确了绿色为正常施工、黄色为预警二级,加强监测;红色为预警一级,暂停施工;为决策提供施工补强、增设横、竖支撑、应急抢险、加强支护、调整施工工法,直至必要时人员撤离,提供有效数据依据。

    13、基于工业互联网打造JDM模式下的产业协同

    企业:浪潮集团有限公司

    JDM模式是一种敏捷供应链的实现方式,是以客户需求为出发点对传统产业链的升级改造。传统的IT产业链,从芯片供应者、整机厂商、软件开发商到用户,价值传递是单向线性的,客户是产品价值的被动接受者。

    8ba43316ccdc6d56cd3247485b4d9dcb.png

    JDM将客户需求引入每一个产业环节,价值传递从单向线性关系变成多维协同、多向传递的关系,是符合智慧计算时代的产业模式。在这种模式下,客户可以获得更符合自己需求的产品方案,不同产业环节的厂商都可以更好地理解客户需求,提升产业效率。

    在JDM模式的帮助下,浪潮在互联网市场乃至全球服务器市场上近一步奠定了全球领先的产品技术优势,业务覆盖了113个国家和地区,8个全球研发中心、6个全球生产中心以及2个全球服务中心,在美国、欧洲、韩国、日本等区域市场增长十分迅速。

    14、数字化智慧供应链云平台项目

    企业:江苏汇鸿国际集团股份有限公司

    汇鸿集团“数字化智慧供应链云平台项目”(“鸿图工程”项目)是围绕集团供应链运营数字化转型的战略,以提升供应链运营和创新能力为目标而打造的综合数字化平台,在行业内具有较强的示范作用。

    1b05afcc55621bae8bc332f86b1038aa.png

    推动数字经济和实体经济融合发展的重要指示精神,充分发挥典型案例的示范引导和辐射带动作用,推动国有企业加快数字化转型步伐。

    15、长庆油田智能化建设与应用

    企业:中国石油

    长庆油田应用物联网、大数据、云计算、人工智能等新技术,构建大科研、大运营、大监督三大支撑体系,筑牢统一数据湖、统一云平台两大基础,为场站无人值守、油气井智能生产、风险作业可视化监控、四维油藏模型、智能装备应用、人财物精准管理六大业务领域提供全程应用支撑,探索出了一条传统大型油气田企业数字化转型、智能化发展的有效路径。

    c5641142d02f4bc498ca100b9d79ee9c.png

    未来长庆油田将持续推进数字化建设,应用新一代信息技术创新建成油田数字神经与大脑系统,完成数字化转型从1.0向2.0时代升级,全面提高生产效率和油气田开发效益,在“十四五”基本建成智能油气田,“十六五”全面建成智慧油气田,助力能源行业高质量发展,为保障国家能源安全作出新的更大贡献。

    16、商用航空发动机集成研发环境建设与应用

    企业:中国航发

    该项目的目标是以商用航空发动机整机装配中低压涡轮的安装为实施对象,通过构建管控一体化平台、设计制造一体化云平台、智能装配平台、敏捷运行支持平台、工业信息安全系统,初步形成商用航空发动机大数据和知识工程,建立商用航空发动机智能装配工程环境、体系、标准。

    be7cc910af95d2475686c6c8ba50a1ab.png

    实现航空发动机整机装配中低压涡轮的智能安装,解决低压涡轮安装难题,并提升装配的一致性、稳定性,达到产品研制周期缩短20%、生产效率提高20%、运营成本降低30%、一次装配不合格率降低10%、能源利用率提高4%的目标,探索一条全新的航空发动机智能制造新模式,提升商用航空发动机装配水平。

    17、大型航天制造企业面向“三高”发展目标的数字化管理转型

    企业:航天科技

    航天科技集团数字化转型是航天科技集团“三高”发展的内在需要。航天科技集团型号研制任务重、周期短、质量要求高,需要新一代信息技术与航天科研生产任务紧密融合,需要管理和商业模式深度变革重构,通过科研生产和经营管理数字化转型,构建以数据为核心的数字航天工业新体系,助力航天科技集团高质量、高效率、高效益发展。

    8b4a5334a9cbcecaaef5fcb9bb890eec.png

    航天科技集团数字化转型的目标是紧密围绕建设航天强国和世界一流航天企业集团的要求,深化新一代信息技术与航天科技工业体系融合,立足数据思维推进数字航天建设,建立覆盖国密网、商密网、互联网全场景,集团、院、厂所全级次,经营管理全要素和科研生产全过程的数字化体系,实现研制协同高效、管理规范精细、数据实时共享和决策科学智能,助力集团公司高质量、高效率、高效益发展。

    数字化转型本质上是业务转型,是新一代信息技术驱动下的研制业务和管理模式的变革重构,是一项长期的系统工程,面临方方面面的挑战。航天科技集团从转意识、转路径、转方法、转组织四个方面来推动数字化转型落地实施。

    18、农机作业信息化管理云服务平台

    企业:国机集团

    该平台由国机集团中国农业机械化科学研究院开发建设,是国内首个农业全程机械化云管理服务平台。创新性研发了农机耕、种、管、收全程监测技术与系统,为农机装上“五官”。创建形成了农机作业质量在线检测、作业数量远程监管和作业补贴在线发放的“互联网+智能农机” 模式。

    5762f5b6995cea7c6598296aa79bfd76.png

    现已在吉林、内蒙古、山东等22省开通服务,成为吉林省、青岛市等地官方平台,累计生成作业日报10万余份,作业面积2600余万亩,管理补贴资金超过2.8亿元,农业生产管理效率提升50%以上。

    19、全流程智能化棉纺成套装备及系统

    企业:国机集团

    该项目由国机集团经纬纺织机械股份有限公司开发建设,项目建设目标是消除“万锭用工多、单位能耗大、产品一致性差、运营成本高”等纺织行业发展痛点。项目通过智能化的单机设备的应用。

    b7fb5496682c79017ff1bb043ab49567.png

    建设从清梳、并条、精梳、粗纱、细纱、络筒、仓储的纺纱全流程智能物流输送,全流程智能回花收付,全流程智能质量追溯,实施工厂智能管理系统和管理软件的融合,创造了纺纱生产线夜间无人化值守的基础条件。

    20、兰石集团推进兰石云平台建设、助力企业数字化转型

    企业:兰州兰石集团有限公司

    兰石集团加大信息化建设投入力度,针对离散型企业关键制造环节的难点和痛点,对生产过程中各类业务全面打通和数据深度采集分析,建立了以兰石云为平台的“制造+服务+数据+管理”的创新模式。

    4cde31b06d6c1ed36b73541cca1c9250.png

    用于数字化铸造木模成型的五轴非金属加工中心

    将各类信息系统统一集成到兰石云平台上,实现了集团内部信息资源的共享,大大提高了工作效率效率和工作质量。通过三维数字设计,产品研发周期缩短了40%,产品模块化率由20%提高到了40%。

    截至目前,兰石云平台已为包括兰石集团下属子公司在内的国内多家企业、工业园区和学校、社区提供服务。通过加大人才队伍建设、加快智能工厂、数字化车间与智能装备建设等,逐步建立“网络化、数字化、智能化、服务化、现代化”的高端装备制造企业,发挥了行业示范作用。

    21、全球船舶地理信息位置数据库(航运数据中台一期)

    企业:中国远洋海运

    公司致力于主营业务数字化转型,坚持推进“产业数字化、数字产业化、运营平台化”,开展数据中台、业务中台建设,以数据中台架构打造面向行业服务的基础数字化平台产品,为行业客户提供端到端的数字化、智能化解决方案。

    5ef06e891c904f2f5acef62ff1218f75.png

    22、平潭综合管廊监控报警与运维管控系统

    企业:中国中铁

    基于“物联网、云计算、大数据、3S(RS、GPS、GIS)、BIM”等信息技术,实现了管廊全生命周期各参与方在同一平台上的分布式数据采集、大数据分析、监控运维等所有应用服务。

    4d33d79f7740b0e2d67b3e4bfa44b3ab.png

    平台具备结构健康监测、环境监控、火灾报警、高压监测、电子巡查、应急通信、指挥调度、消防联动、安全防范等管理手段,为城市地下空间管理者提供综合监控、数据分析、效能分析等全方位的运营管理平台和系统。

    23、水电站水下检修专用机器人智能化设备的研制及运用

    企业:中国三峡集团

    该项成果突破了人工潜水深度和作业强度极限,为水工建筑水下缺陷检修、大坝平安防洪度汛提供数据支撑和重要保障,大大提高了水下工作效率,有效避免了潜水员人身安全风险。

    28cfd10daa988d293e8c6f05e5e25e1f.png

    目前已广泛运用于长江电力所辖多个电站的生产实践,水下检查总面积超15万平方米。仅在溪洛渡电站水垫塘检修作业中,将之前至少6名潜水员连续作业约45天、直接成本达300万元的工程量,减少为只需3名技术人员在地面进行5-7天的操控配合,效率提升近20倍。

    据悉,此次评选共70家中央企业和31个地方国资委759个项目参评,最终遴选出100个典型案例,长江电力两个入围案例充分体现出了公司数字化转型的新实践与新成效。

    24、基于大数据分析的跨流域巨型电站群管理云平台在企业智能化运营的应用

    企业:中国三峡集团

    该项成果是通过对云计算、大数据、物联网、移动互联、人工智能为代表新一代信息技术的集成应用,建立涵盖公司各项生产经营活动的数据中心,为公司各项业务活动提供“数据全面、数量准确、数值可信”的决策信息,实现精益生产和精细化管理目标。

    965ec754ad6c31b8629337f6083ff318.png

    该项成果在2020年投入使用后,已节省大修时间325小时、节约库存金额3600万元、节约可控管理成本3000万元、节约财务费用超过7亿元,库存物资保障率提高到95.66%。

    25、人工智能配网带电作业机器人关键技术及成套装备研究与应用

    企业:国家电网

    本项目以10kV配网带电断/接引流线作业为切入口,通过开展环境感知、目标定位、自主路径规划、专用末端工具等核心技术研究,研究出工人智能配网带电作业机器人系列产品、机器人通用软件平台、斗臂车智能承载平台,并定制适应机器人作业的标准、规范,开展试点示范应用并实现产业化。

    188550a5b70fb0e1ea1b4522da2146e7.png

    本项目机器人与泛在电力物联网上的智能型结点,实现基于移动作业票的车辆调度;提供远程实景建模仿真、路径规划仿真、辅助带电作业;实现基于5G通信技术的远程操控等。

    377830d58db96d2bbc221c4b99148ae8.png

    26、煤矿物联网平台与单兵装备

    企业:淮北矿业(集团)有限责任公司

    该项目在不改变矿灯产品形态的基础上,采用网络通信、智能芯片、物联网等技术,集成智能芯片、摄像头、通话装置等模块,突破矿灯传统功能,利用矿灯实现音视频对讲、人员连续定位、图片和视频拍摄、调度呼叫、紧急报警、群组对讲等功能。

    还具备蓝牙数据中继功能,如连接蓝牙便携式瓦斯检测仪,全程实时上传瓦斯浓度,全程录音,并能记录录音的位置与时间信息,有网络时自动上传到服务器,无网络时本地保存200小时声音文件,同时录音数据还可实施加密,具备“黑匣子”功能。

    27、基于BIM的公共建筑智慧运维管理

    企业:上海建工集团股份有限公司

    BIM技术在项目运维阶段的应用主要通过运维管理系统对设计阶段和施工阶段的BIM模型和数据信息进行重组和处理后实现的。

    而当前BIM模型应用存在一个普遍现象:首先,在没有考虑运维需求的情况下,设计单位或施工单位或咨询第三方建立一个BIM模型,然后移交给业主来用于运维,而提交的BIM模型远远不能满足运维管理的需求,造成大量人力、物力和财力的浪费。

    a68c0932f497582f6170a4cab8cb710b.png

    系统总体构架图

    因此,运维管理系统的功能除了应满足上述系统用户需求外,还应具备处理BIM模型的功能。最后,运维管理系统的投入使用,系统操作人员通过系统相应功能模块对提交的BIM模型进行处理。

    以处理后的BIM模型为依托实现对大型公共建筑的综合信息、空间租赁、维护维修、设备运行状态监测与控制、结构健康监测、能耗评估以及灾害模拟与应急决策等方面的管理,提高运维阶段的工作效率和信息化管理水平。

    28、基于数字孪生的设备智能化管理

    企业:中国石油

    中国石油利用自动感知实时采集油气产业链运行数据,利用全面互联广泛获取内外部数据,运用数字化技术持续优化业务执行和运营效率。

    3b07b5a7d5706b33556f1b731ed2a505.png

    构建物理中国石油与数字孪生体融合交互的闭环系统,推进实体业务与数字化世界的双向连接运行,形成内外部连接、共享、协同机制,实现降本增效、协同共享、持续创新、风险预控和智慧决策,不断提高全员劳动生产率和资产创效能力。

    29、面向钢铁行业的设备远程运维平台建设及示范应用

    企业:中国宝武

    该平台架构基于分布式结构,分为采集层、数据层、服务层。采集层实现对监测设备状态数字化、并自动进行采集和传输;数据层实现监测数据接收、存储、分析,并与服务层进行交互通信。

    997a1b3e7535882ae20a17aa4d27c300.png

    远程设备运维平台架构

    服务层对数据层的在线监测数据进行综合分析,提供面向现场在线监测、故障诊断、状态预警等业务功能,并实现设备维修管理、备件管理以及检修计划优化等功能。

    30、打造网上国网客户服务主入口,建设国际领先的能源服务数字化平台

    企业:国家电网

    国家电网通过打造融合线上线下服务的“网上国网”平台,全面推行线上办电、交费、查询等125项业务功能,实现服务一个入口、客户一次注册、业务一网通办。平台累计注册用户数突破1.26亿,线上缴费9.8亿笔,金额1400亿元。

    6385b08c8abbe1dfd48c452411a50131.png

    同时,积极开展能源电商业务,打造了国内最大的能源电商平台,聚合产业链上下游资源,开展物资电商化采购,提供电力智能交费服务,并不断拓展平台功能,为客户提供低成本、优质高效的平台服务,截至目前注册用户数2.7亿,今年1-9月平台累计交易10441亿元、同比增长57.3%。

    31、新能源云以能源数字化推动新能源管理及服务模式创新

    企业:国家电网

    国网新能源云是催生新能源发展的新业态和新模式,打造平台经济、共享经济,构建新能源价值创造和机遇分享的产业生态圈,服务地方经济社会发展,加快世界一流能源互联网建设,加快推进泛在电力物联网建设,建枢纽、搭平台、强应用、促共享。

    985a04cbb302c06297fd8857697a9e05.png

    新能源云共由15个子平台构成,包括环境承载、资源分布、规划计划、供需预测、储能服务、消纳计算、厂商用户、电源企业、用电客户、电网服务、电价补贴、技术咨询、政策研究、辅助决策、大数据分析等,充分体现“枢纽型、平台型、共享型”特征。

    32、大数据管理和应用赋能企业数字化转型

    企业:国家电网

    国网大数据中心坚持“以用促治、以用提质”,开展财务多维精益、现代智慧供应链、数字化审计等重点应用数据质量治理,推进业务应用与数据质量协同融合,实现了源端数据接入率100%、数据质量技术问题整改率100%、有效数据表基础信息维护率95%。

    076a98292d8daa244ad5cbea785b38ae.png

    现已经建成的总部数据中台,提升了中台状态监测能力,初步实现了两级数据中台数据、链路状态自动感知,为中台运营人员提供了更加优质的数据监测服务。

    33、建数字信用,引金融活水—中国电建供应链金融共享服务平台

    企业:中国电建

    该平台将助力电建集团成员企业降本增效、提升核心竞争力,为上下游企业增信,实现快速融资,降低经营成本,缓解资金压力,让央企信用惠及中小企业,促进供应链上下游企业的持续经营,建立长期稳定的合作伙伴关系,实现共同发展。

    b66413c3e676e529ae2bc3891eb84a41.png

    中国电建供应链金融平台

    供应链金融共享服务平台,基于互联网云计算、大数据、区块链技术,将供应链管理中的真实贸易数据贯穿到金融服务中,将产业链向供应链金融环节延伸。

    依托集团的优质商业信用资源,在健全的风控体系基础上为供应链参与各方提供可信赖、最便捷、最专业的供应链金融服务,建立和谐、健康、良性的产业生态圈。

    34、全国首家工程全产业链服务互联网平台—大A工程网

    企业:中南建筑设计院股份有限公司

    作为全国首家工程全产业链服务互联网平台,即“1+N工程全产业链协同服务平台”正式上线,成功搭建起推动建筑行业转型升级的“双创”平台,掀开工程业与互联网跨界融合的新篇章。

    3e3296ca633cdca859347dd0125cd2ee.png

    “1+N工程全产业链协同服务平台”将形成以EPC(工程总承包)、PPP(政府和社会资本合作)等项目为轴线的全产业链资源库,以大数据应用、MR、物联网、人工智能等高新技术为支撑的战略智库,以自由在线装配为特色服务的协同服务库。

    “大A工程网”将互联网思维与传统工程行业深度融合,通过资源交易、数据共享、智能协同“三大系统”,实现全链条、全要素、全方位“三大集成”,从而有效打破行业壁垒,打造出“1+N”共享工程协同服务生态圈。  

    该平台综合运用资源交易系统、数据共享系统、协同智能系统,力求达成全链条集成、全要素集成、全方位集成。

    35、自动化集装箱码头装卸系统关键技术及应用

    企业:中交集团

    该系统将一个个集装箱从船上转移到特定的水平分配机构,再被自动运送到堆场的指定位置,偌大的示范区里几乎看不到操作人员,但一切显得轻松而井然有序。

    最大的亮点是一个与岸边平行、以钢筋构筑的低架桥水平分配机构,上方有起重小车,下面有平板车;而起重小车、平板车,以及堆场里的轨道吊等都在特定轨道上运行,通过中央控制室控制,现场不需要装卸工人。

    98f0e1418e2d6d2074c934b31bb53996.png

    自动化码头

    与国外的全自动化码头系统相比,该系统具有以下独特优势:

    一是采取轨道定位,较GPS导航定位系统更方便、更准确。该系统的低架桥、平板车等都通过设置轨道来精确定位,大大提高装卸速度。

    二是该系统平板车通过电驱动、在轨道运行,较传统采用内燃机驱动的地面水平运输方式更节能环保。

    三是采取双40英尺集装箱起重机做配合,桥吊对应的装卸路径各自互不干涉,每台桥吊1小时最高可装卸70个集装箱以上。

    四是使用该系统可使集装箱码头一条作业线的操作人员减少到10人以下。

    五是该系统成本不高,可广泛适用于老码头技术改造。

    36、“和家亲”平台在家庭数字化转型的创新与实践

    企业:中国移动

    和家亲平台,聚合终端软件、智能通信、智能连接、智能加速、家庭AI与安全等方面的核心能力,为生态伙伴提供全流程、一站式技术赋能、业务赋能与服务赋能,服务智慧家庭应用场景。

    重点围绕家宽、娱乐、教育、健康、养老、安防、社区、办公等场景,促进产品创新孵化、业务规模推广,为广大家庭用户提供优质的家庭信息化服务。

    到2025年底,构建比较完备的数字家庭标准体系,网联化、数字化、智能化的家庭信息服务解决方案是未来发展主要趋势。

    37、基于全国产化的黄河鲲鹏云生态体系建设项目

    企业:河南投资集团有限公司

    黄河鲲鹏云作为企业数字化转型的基础设施,敏捷、高效、可复用,为企业提供统一的数据汇聚、交换、开发、计算等数据底座能力,提供统一的标准化数据资产管理和共享的SaaS服务平台能力。

    与此同时实现企业业务流程线上化、数据集约化,逐步构建全流程、全感知、全连接、全场景、全要素的企业数字孪生“镜像”。

    6c2ab5988ebf424767356f2224720c2f.png

    黄河鲲鹏云门户

    目前,河南投资集团搭建黄河鲲鹏云项目的节约效益已经初显,一方面,集约化建设带来的成本下降,另一方面,信息化建设推动了效率的提升,双管齐下为企业以及行业发展带来可观的经济效益。

    下一步,黄河鲲鹏云项目建设将依照服务集团内部企业延伸向服务外部企业的发展思路,合理规划、逐期建设,不断完善黄河鲲鹏云生态体系,提升河南省本地软件开发产业能力、促进产业良性发展,建设国有企业自主可控云生态。

    38、全球可再生能源产业融合创新的工业互联网平台

    企业:中国电建

    全球可再生能源产业融合创新工业互联网平台是公司积极响应国家能源革命战略和大数据战略,在可再生能源领域的技术研发和应用实践。

    平台充分发挥产业链一体化优势,构建了面向全球可再生能源的数字化规划设计、智能建造、智慧运维等服务的全生命周期平台,解决全球可再生能源综合利用、生态环境保护、社会经济可持续发展问题,为国内相关能源管理部门提供重要的数据支撑与技术服务。

    39、军工智造跨网域互联协同信息安全及保密防护案例

    企业:航天科工

    “军工智造跨网域互联协同信息安全及保密防护案例”综合安全隔离与单向传输、信息源可信认证、数据安全传输管控、多点检测异常联动响应、流程审计与追溯等核心技术和产品,为军工制造领域实现多单位、跨地域资源优化配置、精细化分工、数据共享和业务间协同提供了网络基础和数据保障。

    aa9a3f0f5e79f49c159608398b754e9b.png

    40、面向复杂航空装备的智能工艺云平台

    企业:航空工业集团

    “面向复杂航空装备的智能工艺云平台”是成飞在持续推进数字化、网络化、智能化发展过程中,聚焦航空制造行业工艺领域现实问题,提出的一种基于工业互联网的工艺研发新模式。

    云平台通过工艺核心能力开放、工艺资源共享、构建工艺生态,打破信息壁垒,使得工艺工具、方法、知识在成飞产业链上下游企业间推广应用,形成平台支撑、技术辐射带动良好的工艺产业生态。

    41、基于核电工控行业的网络安全产品及解决方案的研制和应用

    企业:中广核

    自2010年起,我国加快了核电站等清洁能源的建设,随着工业化和信息化深度融合,核电控制系统已从模拟控制转变为第三代数字自动化控制,这在提高核电站生产效率和经济效益的同时也带来了新能安全风险。

    e212c74a6d7a8544a5242231c7b4e0d5.png

    我国电力行业安全标准体系是比较完善和结构化的,但却缺少针对核电厂的工控网络安全标准。核电厂的电力监控系统安全防护是依据国家能源局制定的《电力监控系统安全防护总体方案》,总体防护原则为:“安全分区、网络专用、横向隔商、纵向认证”。

    42、四川华西集团数字建筑供应链平台

    企业:四川华西集团有限公司

    数字建筑供应链平台通过整合供应链资源,提供集电子化招投标、在线交易、物流监管、资金结算、融资服务、库存管理等多维度数字供应链业务,实现了信息流、资金流、商流、物流的“四流合一”。

    平台坚持技术驱动、管理支撑、共建标准、开放共赢的理念,打通了业务全流程,配套建立了前中后台万向架构、300余项业务流程、800多个业务模块、13000多个功能点,实现了“计划、招标、采购、供应、结算、支付、库存、融资”全链条业务数字化和集咨询、建设、运营和供应链集成服务“建筑业供应链数字化解决方案”的数字业务化。

    43、城市轨道交通信息安全顶层设计及其应用落地

    企业:宁波市轨道交通集团有限公司

    该项目2017年启动,通过研究轨道交通信息安全的总体趋势及信息系统的安全技术要求、管理要求,形成一整套用于规范轨道交通信息系统安全规划、建设、运营、管理等各阶段工作的信息安全建设规划标准及信息安全管理体系,适用于轨道交通行业信息系统全生命周期中的信息安全管理。

    59eeacf8dc80cecd65f80aef0f82f2a3.png

    特别是在3号线一期网络安全等级保护建设等项目中将信息安全顶层设计予以实践,首次在全国城轨行业运用信息安全与建设运营“同步规划、同步建设、同步使用”三同步原则,得到行业专家高度认可。城市轨道交通企业作为大型公共服务企业,肩负着确保生产系统安全运行和保障乘客个人数据安全的的重任。

    44、建数字信用,引金融活水-中国电建供应链金融共享服务平台

    企业:中国电建

    建数字信用,引金融活水,电建保理公司“打通内部、融合外部、构建生态”,走出了一条适合自身发展的数字化转型之路。平台上线以来,持续为集团降杠杆、减负债、防风险作贡献,有效控制了集团融资规模的增长,为集团节约财务费用,助力应收账款压降,用科技赋能实体产业。截至目前,平台企业注册超过1万家,电建融信开具规模超过320亿元,融资规模超过220亿元。

    中国电建供应链金融共享服务平台在众多数字化转型案例中脱颖而出,代表了电建保理公司的数字化转型成果得到了国资委的充分认可。公司将始终坚持推进数字化转型,专注于信息、科技、服务三大属性,打造具有强大金融整合能力、数字科技能力及专业服务能力的平台公司,构建和谐稳定、互利共赢的供应链金融生态圈。

    45、两化融合管理体系在商用飞机设计研发过程中的实践应用

    企业:中国商飞

    上飞院推行两化融合管理体系不仅仅是一个流程优化、组织创新、业务转型的改变,而是发展理念从技术导向管理变革、组织优化、战略管控转变,发展目标从技术应用向本能力提升转变,运行模式从传统的粗放模式向以数据驱动为核心的精细化模式转变,推进主体从信息化部门向全员参与转变,全面提升上飞院的核心竞争力。

    e779d0a8eec00df3dc6a1423ea4cff61.png

    两化融合管理体系帮助指导上飞院依据自身战略需求,规范地建立新型能力,确保两化融合相关过程持续受控。有效引导和帮助上飞院以融合创新的理念方式进行两化融合,建设覆盖全球的民机网络化协同研制平台。

    全面提升航空民机企业智能化设计、制造、服务水平,缩短民机产品研制周期,提高生产效率,降低运营成本和产品不良品率,提高能源利用率,有利于实现中国民机发展战略,为大型客机系列的发展甚至未来20年实现中国民机的突破性发展、跻身世界民机三强之一打下坚实基础。

    46、镇海炼化开展全流程数字化优化,实现效益最大化

    企业:中国石化

    镇海炼化将“深化数字化转型的改革战略”列为公司三大战略之一,全面推进企业数字化建设。通过采用国际先进的工艺流程和自动化装备,配置30万台智能仪表,覆盖全厂的四层网络架构、4G无线专网以及大型云数据中心,镇海炼化数字化转型带来“四个转变”:单装置优化转变为全流程优化、各岗位分散优化转变为线上协同优化、原料组分优化转变为分子优化、计划安排和调度指挥由传统经验型向模型化和智能化转变。

    纵向上,提高从公司决策层到执行层的运行效率;横向上,提高从原料进厂、装置加工、在线分析、产品出厂的精益管理。

    47、东航MUC航班保障综合平台

    企业:东航集团

    MUC的正式全面启用,也将进一步助力这些信息化建设成果,更好地突破原先的部门乃至空间界限,更快实现深度融合、互联互通。

    MUC新平台的使用,有助于签派员更加全面、直观地掌握外站航班的整个保障环节和航班的整个运行控制过程,不仅提升了对旅客的服务品质,也延伸了公司向内的精细化服务。

    54c61a5161646c9624c9e22673a0a02b.png

    随着MUC保障平台的使用并逐渐推广,将助力东航各公司实现精细化运行,更好地服务高质量发展。有了MUC的融合衔接,通过东航强有力的运控及客户中心(OCC)大厅就能更好地支持一线岗位和调度人员。

    48、煤矿物联网平台与单兵装备

    企业:淮北矿业(集团)有限责任公司

    该项目在不改变矿灯产品形态的基础上,采用网络通信、智能芯片、物联网等技术,集成智能芯片、摄像头、通话装置等模块,突破矿灯传统功能,利用矿灯实现音视频对讲、人员连续定位、图片和视频拍摄、调度呼叫、紧急报警、群组对讲等功能。

    还具备蓝牙数据中继功能,如连接蓝牙便携式瓦斯检测仪,全程实时上传瓦斯浓度,全程录音,并能记录录音的位置与时间信息,有网络时自动上传到服务器,无网络时本地保存200小时声音文件,同时录音数据还可实施加密,具备“黑匣子”功能。

    49、特高拱坝智能建造

    企业:中国三峡集团

    三峡集团依托溪洛渡水电站,探索性开展了特高拱坝智能化研究,提出智能大坝理念,开创高拱坝智能化建设的先河。

    1da3dcd0c8930a4483616556b28ff37d.png

    特高拱坝智能建造系统业务构架

    特高拱坝智能建造指集成融合传感技术、通信技术、数据技术、建造技术及项目管理等知识,对建造物及其建造活动的安全、质量、环保、进度、成本等内容进行感知、分析、控制和优化的理论、方法、工艺和技术的统称,以促进安全、优质、绿色、高效建造。

    智能建造将建造过程按最小单元和过程进行分解,细化各建造过程的资源投入、工艺过程、业务流程、结构性态、工程进度等要素,对建造过程进行智能化分析与调控,保证工程建造质量和成本。

    50、智网在线—工业互联网能源大数据平台

    企业:四川川能智网实业有限公司

    “智网在线工业互联网大数据能源管理平台”是川能智网公司在新时代背景下,聚焦工商业企业用户,积极探索工商业企业用能在线化、数据化、智能化的创新成果,旨在帮助企业提高能源使用率,降低能源使用成本,实现企业用能省钱、省心、省事。

    川能智网公司将紧跟新时代的步伐,在国家政策的大力支持下,在省、市相关部门的指导下,继续探索能源互联网领域发展新模式新业态,助力制造业与互联网融合发展,推动“中国制造”提质增效升级。

    51、“网上电网”打造全景电力驾驶舱

    企业:国家电网

    按照以用促建、建用并行原则,着力实时、实景、实效,着眼数字化、可视化、智能化,加快开展夯实数据基础、深化业务应用、拓展专业应用、强化示范提升等4方面22项重点任务,打造全息数据、全景导航、全程在线、全面共享的综合可视化应用平台。

    882ec05bb4014af5985e07c0aa1950d5.png

    “网上电网”贯通源网荷档案,承载能量流变动,感知信息流预警,汇集全空间资源,纵贯多时态电网,直观展示现状电网,回溯复盘历史断面,仿真展望规划蓝图,按需呈现、层层穿透、可视透明,实现问题图上说、规划图上做、计划图上管、成效图上看,利用电网导航技术打造全景电力驾驶舱

    52、石化e贸

    企业:中国石化

    中石化集团搭建“石化e贸”电商平台,以供应链核心企业需求为基础,实现石油产业链产品采购、销售线上化。现货、合约、竞价这3种主要销售模式中,合约销售量占比超90%,决定了其大宗商品交易平台的属性 。

    经过几年努力, 石化e贸已成为业内石化产品成交量最大的电商平台,2020年成交量达5578万吨;截至目前,注册会员企业达1.12万户,年均增长超10%。目前,石化e贸正拓展物流、金融等方面服务,致力打造综合服务商。

    53、电网防灾减灾监测预警系统

    企业:南方电网

    防灾减灾监测预警系统包括:数据接入层、分析决策层和业务层;

    1.数据接入层用于存储气象数据和电网设备数据;

    2.分析决策层包括多种灾害分析单元以及与所述多种灾害分析单元连接的消息推动模块;各灾害分析单元均有所属的灾害类型,且属于同一灾害类型的灾害分析单元对应的灾害分析处理不同;

    3.业务层包括多个业务单元;其中,各业务单元均有所属的灾害类型以及对应触发的灾害分析单元;各业务单元所属的灾害类型与业务单元所触发的灾害分析单元所属的灾害类型一致,且不同业务单元所触发的灾害分析单元不同;

    091fb5c6395e33be47aabea5cf97a209.png

    电网设备的防灾减灾监测预警系统可以实现对各类气象监测数据的统筹监测处理,提高针对电网设备的防灾减灾监测预警效率。

    54、大家机械共享服务平台

    企业:中国电建

    平台通过资源共享、服务基层、金融支持、智能物联、配套设施等综合性服务与个性化设计达成设备资源的快速匹配,盘活设备存量资源、整合社会资源、激活行业市场,实现工程机械行业资源优化配置,助力企业降本增效、帮助厂商扩大市场、增强设备金融发展新动能,助推工程机械行业高质量发展。

    对建筑行业、工程机械行业存在的痛点、难点、堵点问题,提出系统性的解决办法和方案,对于促进建筑和工程机械行业健康有序发展起到助推器、磨合剂、润滑剂等重要作用。

    55、基于北斗的机场车辆人员调度,优化资源配置提升管理效能

    企业:南航集团

    南航信息中心借助国产卫星北斗系统,应用卫星定位、物联网、大数据等技术研发的机场车辆人员调度平台(简称RPP平台)在乌鲁木齐落地使用,300多台各类车辆纳入监控调度系统。实现南航新疆分公司车辆全面数字化管理,有效降低车辆运行管理风险,提升车辆安全管理水平。

    RPP项目的实施监控功能,主要依靠的是车辆上安装的亚米级高精度定位器、监控摄像头、智能辅助驾驶设备等来实现的。同时,RPP平台也和乌鲁木齐机场电子地图做了接入,可以在地图上非常直观地监控所有车辆所处的位置等信息,便于更好地按工作需要进行调度。

    cd7d6997208e4eb8550814b9e823c424.png

    RPP平台的智能安全识别功能,让监管人员只需重点聚焦AI告警信息,省去从海量视频数据中抽查违规行为,释放安全监管人力成本;同时该功能也对现场驾驶员形成威慑,促使驾驶员增强安全行车意识,预防和减少事故发生。

    目前南航借助北斗卫星定位系统,已经在广州、大兴、深圳、贵州和新疆5地的1800多台车辆上完成了终端安装和定位数据接入工作,涵盖了货运、机务、地服、航食等在机坪运行的主要保障单位。

    56、公众市场一体化数字营销平台

    企业:中国联通

    中国联通此次是从集团层面提出线上和线下的统一,“市场营销部”将作为整体的运筹协调组织。全公司上下都将进一步按照互联网化的方式运作,推进整体性的数字化转型,实现线上线下的一体化融合。

    按照中国联通的推动计划,在改革节奏上,实行分阶段推进。

    第一阶段,重点补全大市场统筹职能,迅速提高公众市场产品能力,推进线上线下一体化,打造大统筹全运营的公众市场体系,

    第二阶段,通过对产品、能力的进一步统筹整合,未来待集约共享、赋能渠道条件成熟后,建立“市场部+公众BG”市场与运营解耦模式。

    57、材料产业链创新云服务平台

    企业:中国钢研

    “钢研·新材道”平台是目前国内唯一的专业性全球钢材高端云服务平台(以下简称云平台)。云平台依托钢铁研究总院国内顶尖的研发团队和65年的技术积淀,立足于中国钢铁工业世界级的规模及装备能力。

    以材料大数据和定制研发为核心理念,致力于技术市场化的互联网+之路,为中高端材料用户提供研、产、检、造、用全产业链服务。钢研新材将践行科技创新使命、探索双创经验、布局互联网+、为钢铁企业和用户提供一站式、全平台技术服务!

    58、打造“数字油料”推进转型发展

    企业:中国铁物

    油料集团自主研发的燃油宝APP、汽配物联网安全管控平台、加油卡管理系统及成品油业财一体化管理系统相继上线运行,逐步形成了以自动化办公系统为核心的管理矩阵、以成品油管理系统及ERP系统为核心的业财一体化矩阵、以供应链系统为核心的信息服务矩阵三大数字化矩阵。

    实现资源调配、在途信息、现场作业、业务数据统筹管理,以“智能物联网+移动互联网”技术手段,面向作业全流程,优化业务场景,促进“人货场”协调统一。

    8f7b4de89c71804468ab19532fc4430a.png

    油料集团结合铁路油品供应特点和市场化经营需求,狠抓党建经营深度融合,优化创新管理模式,全面构建精细化、数智化管理体系,为不断做强做优提供根本动力。

    59、中国航油智慧航油系统

    企业:中国航油

    智慧航油系统是中国航油统一打造的集大数据应用、人工智能、数据共享、金融服务于一体的现代化工业互联网平台。

    平台对接国内多家金融机构和航空公司客户,创生出从加油到支付再到客户服务管理的全链条电子化新型金融结算模式,开创了上下游数据交互、信息共享、协同合作的先河。

    智慧航油系统的成功上线,进一步提升了航油服务保障及综合管理水平,降低资金管控风险,优化人力资源配置,提高职能革新能力,彰显了中国航油数字化、智能化实力跃上新台阶。

    60、太保e农险数字化运营管理平台

    企业:中国太平洋保险(集团)股份有限公司

    中国太平洋财产保险股份有限公司(简称“太保产险”)打造的科技服务农险品牌——“e农险FAST”,用“互联网+”全新的农险运营管理体系开启了太保产险现代化运作和管理的农业保险服务时代。

    e725f9f82a1afc1c78d9ee20c7a41fcd.png

    运用互联网技术实现承保、理赔信息一键发布,提供气象预警和气象证明敏捷服务,可以将作物长势标的风险进行全过程监测。通过分级遥感估损,业务大数据分析等技术,使农业保险更符合个性需求。

    在绿色农险创新发展生态化、场景化、个性化的趋势下,“e农险FAST”通过信息技术、互联网、云计算以及大数据等数字化结合,为绿色农业保险数字化创新中“实时感知响应”和“智能分析”提供了全新解决方案。

    推荐阅读:

    世界的真实格局分析,地球人类社会底层运行原理

    不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT)

    亿级(无限级)并发,没那么难

    论数字化转型——转什么,如何转?

    华为干部与人才发展手册(附PPT)

    企业10大管理流程图,数字化转型从业者必备!

    【中台实践】华为大数据中台架构分享.pdf

    华为的数字化转型方法论

    华为如何实施数字化转型(附PPT)

    超详细280页Docker实战文档!开放下载

    华为大数据解决方案(PPT)

    78bfa1dc1a7ce5624518d66844e24d2f.png

    b998bcca8077a7dde161561c31bb371e.png

    074221640d7375cb25791bd70338d4a1.png

    展开全文
  •  1、YARN 并不清楚用户提交的程序的运行机制  2、YARN 只提供运算资源的调度(用户程序向 YARN 申请资源,YARN 就负责分配资源)  3、YARN 中的主管角色叫 ResourceManager  4、YARN 中具体提供运算...

    原 Hadoop MapReduce 框架的问题

    从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路:

    1. 首先用户程序 (JobClient) 提交了一个 job,job 的信息会发送到 Job Tracker 中,Job Tracker 是 Map-reduce 框架的中心,他需要与集群中的机器定时通信 (heartbeat), 需要管理哪些程序应该跑在哪些机器上,需要管理所有 job 失败、重启等操作。
    2. TaskTracker 是 Map-reduce 集群中每台机器都有的一个部分,他做的事情主要是监视自己所在机器的资源情况
    3. TaskTracker 同时监视当前机器的 tasks 运行状况。TaskTracker 需要把这些信息通过 heartbeat 发送给 JobTracker,JobTracker 会搜集这些信息以给新提交的 job 分配运行在哪些机器上。上图虚线箭头就是表示消息的发送 - 接收的过程。

       可以看得出原来的 map-reduce 架构是简单明了的,在最初推出的几年,也得到了众多的成功案例,获得业界广泛的支持和肯定,但随着分布式系统集群的规模和其工作负荷的增长,原框架的问题逐渐浮出水面,主要的问题集中如下:

    1. JobTracker 是 Map-reduce 的集中处理点,存在单点故障
    2. JobTracker 完成了太多的任务,造成了过多的资源消耗,当 map-reduce job 非常多的时候,会造成很大的内存开销,潜在来说,也增加了 JobTracker fail 的风险,这也是业界普遍总结出老 Hadoop 的 Map-Reduce 只能支持 4000 节点主机的上限。
    3. 在 TaskTracker 端,以 map/reduce task 的数目作为资源的表示过于简单,没有考虑到 cpu/ 内存的占用情况,如果两个大内存消耗的 task 被调度到了一块,很容易出现 OOM
    4. 在 TaskTracker 端,把资源强制划分为 map task slot 和 reduce task slot, 如果当系统中只有 map task 或者只有 reduce task 的时候,会造成资源的浪费,也就是前面提过的集群资源利用的问题。
    5. 源代码层面分析的时候,会发现代码非常的难读,常常因为一个 class 做了太多的事情,代码量达 3000 多行,,造成 class 的任务不清晰,增加 bug 修复和版本维护的难度。
    6. 从操作的角度来看,现在的 Hadoop MapReduce 框架在有任何重要的或者不重要的变化 ( 例如 bug 修复,性能提升和特性化 ) 时,都会强制进行系统级别的升级更新。更糟的是,它不管用户的喜好,强制让分布式集群系统的每一个用户端同时更新。这些更新会让用户为了验证他们之前的应用程序是不是适用新的 Hadoop 版本而浪费大量时间。

     

    YARN 基本架构

    YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。
    其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。

    YARN中包括以下几个角色:

    1. 客户端(Client):向整个集群提交MapReduce作业。
    2. YARN资源管理器(ResourceManager):负责调度整个集群的计算资源。
    3. YARN节点管理器(NodeManager):在集群的机器上启动以及监控container。
    4. MapReduce应用管理器(MRAppMaster): 调度某个作业的所有任务. 应用管理器和任务运行在container中, container由资源管理器调度, 由节点管理器管理。

    一、YARN 概述 

      YARN 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操 作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序

      YARN 是 Hadoop2.x 版本中的一个新特性。它的出现其实是为了解决第一代 MapReduce 编程 框架的不足,提高集群环境下的资源利用率,这些资源包括内存,磁盘,网络,IO等。Hadoop2.X 版本中重新设计的这个 YARN 集群,具有更好的扩展性,可用性,可靠性,向后兼容性,以 及能支持除 MapReduce 以外的更多分布式计算程序

      1、YARN 并不清楚用户提交的程序的运行机制

      2、YARN 只提供运算资源的调度(用户程序向 YARN 申请资源,YARN 就负责分配资源)

      3、YARN 中的主管角色叫 ResourceManager

      4、YARN 中具体提供运算资源的角色叫 NodeManager

      5、这样一来,YARN 其实就与运行的用户程序完全解耦,就意味着 YARN 上可以运行各种类 型的分布式运算程序(MapReduce 只是其中的一种),比如 MapReduce、Storm 程序,Spark 程序,Tez ……

      6、所以,Spark、Storm 等运算框架都可以整合在 YARN 上运行,只要他们各自的框架中有 符合 YARN 规范的资源请求机制即可

      7、yarn 就成为一个通用的资源调度平台,从此,企业中以前存在的各种运算集群都可以整 合在一个物理集群上,提高资源利用率,方便数据共享

    二、原 MR框架的不足

      1、JobTracker 是集群事务的集中处理点,存在单点故障

      2、JobTracker 需要完成的任务太多,既要维护 job 的状态又要维护 job 的 task 的状态,造成 过多的资源消耗

      3、在 TaskTracker 端,用 Map/Reduce Task 作为资源的表示过于简单,没有考虑到 CPU、内 存等资源情况,当把两个需要消耗大内存的 Task 调度到一起,很容易出现 OOM

      4、把资源强制划分为 Map/Reduce Slot,当只有 MapTask 时,TeduceSlot 不能用;当只有 Reduce Task 时,MapSlot 不能用,容易造成资源利用不足。

      总结起来就是:

        1、扩展性差

        2、可靠性低

        3、资源利用率低

        4、不支持多种计算框架

    三、新版 YARN 架构的优点

      YARN/MRv2 最基本的想法是将原 JobTracker 主要的资源管理和 Job 调度/监视功能分开作为 两个单独的守护进程。有一个全局的 ResourceManager(RM)和每个 Application 有一个 ApplicationMaster(AM),Application 相当于 MapReduce Job 或者 DAG jobs。ResourceManager 和 NodeManager(NM)组成了基本的数据计算框架。ResourceManager 协调集群的资源利用, 任何 Client 或者运行着的 applicatitonMaster 想要运行 Job 或者 Task 都得向 RM 申请一定的资 源。ApplicatonMaster 是一个框架特殊的库,对于 MapReduce 框架而言有它自己的 AM 实现, 用户也可以实现自己的 AM,在运行的时候,AM 会与 NM 一起来启动和监视 Tasks。

    Yarn基本架构

    从YARN的架构图来看,它主要由ResourceManager、NodeManager、ApplicationMaster和Container等以下几个组件构成。

    1)ResourceManager(RM)

    YARN分层结构的本质是ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager将各个资源部分(计算、内存、带宽等)精心安排给基础NodeManager(YARN的每节点代理)。ResourceManager还与ApplicationMaster一起分配资源,与NodeManager一起启动和监视它们的基础应用程序。在此上下文中,ApplicationMaster承担了以前的TaskTracker的一些角色,ResourceManager承担了JobTracker 的角色。

    总的来说,RM有以下作用

    (1)处理客户端请求

    (2)启动或监控ApplicationMaster

    (3)监控NodeManager

    (4)资源的分配与调度

    2)ApplicationMaster(AM)

    ApplicationMaster管理在YARN内运行的每个应用程序实例。ApplicationMaster负责协调来自ResourceManager的资源,并通过NodeManager监视容器的执行和资源使用(CPU、内存等的资源分配)。请注意,尽管目前的资源更加传统(CPU 核心、内存),但未来会带来基于手头任务的新资源类型(比如图形处理单元或专用处理设备)。从YARN角度讲,ApplicationMaster是用户代码,因此存在潜在的安全问题。YARN假设ApplicationMaster存在错误或者甚至是恶意的,因此将它们当作无特权的代码对待。

    总的来说,AM有以下作用

    (1)负责数据的切分

    (2)为应用程序申请资源并分配给内部的任务

    (3)任务的监控与容错

    3)NodeManager(NM)

    NodeManager管理YARN集群中的每个节点。NodeManager提供针对集群中每个节点的服务,从监督对一个容器的终生管理到监视资源和跟踪节点健康。MRv1通过插槽管理Map 和Reduce任务的执行,而NodeManager管理抽象容器,这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。

     总的来说,NM有以下作用

     (1)管理单个节点上的资源

     (2)处理来自ResourceManager的命令

    (3)处理来自ApplicationMaster的命令

    4)Container

    Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等,当AM向RM申请资源时,RM为AM返回的资源便是用Container表示的。YARN会为每个任务分配一个Container,且该任务只能使用该Container中描述的资源。

    总的来说,Container有以下作用

    对任务运行环境进行抽象,封装CPU、内存等多维度的资源以及环境变量、启动命令等任务运行相关的信息

    要使用一个YARN集群,首先需要一个包含应用程序的客户的请求。ResourceManager协商一个容器的必要资源,启动一个ApplicationMaster来表示已提交的应用程序。通过使用一个资源请求协议,ApplicationMaster协商每个节点上供应用程序使用的资源容器。执行应用程序时,ApplicationMaster监视容器直到完成。当应用程序完成时,ApplicationMaster从 ResourceManager注销其容器,执行周期就完成了。

      通过上面的讲解,应该明确的一点是,旧的Hadoop架构受到了JobTracker的高度约束,JobTracker负责整个集群的资源管理和作业调度。新的YARN架构打破了这种模型,允许一个新ResourceManager管理跨应用程序的资源使用,ApplicationMaster负责管理作业的执行。这一更改消除了一处瓶颈,还改善了将Hadoop集群扩展到比以前大得多的配置的能力。此外,不同于传统的MapReduce,YARN允许使用MPI( Message Passing Interface) 等标准通信模式,同时执行各种不同的编程模型,包括图形处理、迭代式处理、机器学习和一般集群计算。

    Yarn工作机制

    1)Yarn运行机制

    2)工作机制详解

    (0)Mr程序提交到客户端所在的节点

    (1)Yarnrunner向Resourcemanager申请一个Application。

    (2)rm将该应用程序的资源路径返回给yarnrunner

    (3)该程序将运行所需资源提交到HDFS上

    (4)程序资源提交完毕后,申请运行mrAppMaster

    (5)RM将用户的请求初始化成一个task

    (6)其中一个NodeManager领取到task任务。

    (7)该NodeManager创建容器Container,并产生MRAppmaster

    (8)Container从HDFS上拷贝资源到本地

    (9)MRAppmaster向RM 申请运行maptask容器

    (10)RM将运行maptask任务分配给另外两个NodeManager,另两个NodeManager分别领取任务并创建容器。

    (11)MR向两个接收到任务的NodeManager发送程序启动脚本,这两个NodeManager分别启动maptask,maptask对数据分区排序。

    (12)MRAppmaster向RM申请2个容器,运行reduce task。

    (13)reduce task向maptask获取相应分区的数据。

    (14)程序运行完毕后,MR会向RM注销自己。

    六、资源调度器

    目前,Hadoop作业调度器主要有三种:FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。

    具体设置详见:yarn-default.xml文件

    <property>

        <description>The class to use as the resource scheduler.</description>

        <name>yarn.resourcemanager.scheduler.class</name>

    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>

    </property>

    1)先进先出调度器(FIFO)

      FIFO是Hadoop中默认的调度器,也是一种批处理调度器。它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。原理图如下所示。

     比如,一个TaskTracker正好有一个空闲的slot,此时FIFO调度器的队列已经排好序,就选择排在最前面的任务job1,job1包含很多map task和reduce task。假如空闲资源是map slot,我们就选择job1中的map task。假如map task0要处理的数据正好存储在该TaskTracker 节点上,根据数据的本地性,调度器把map task0分配给该TaskTracker。FIFO 调度器整体就是这样一个过程。

    2)容量调度器(Capacity Scheduler)

    支持多个队列,每个队列可配置一定的资源量,每个队列采用FIFO调度策略,为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。调度时,首先按以下策略选择一个合适队列:计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值,选择一个该比值最小的队列;然后按以下策略选择该队列中一个作业:按照作业优先级和提交时间顺序选择,同时考虑用户资源量限制和内存限制。 原理图如下所示。

     比如我们分为三个队列:queueA、queueB和queueC,每个队列的 job 按照到达时间排序。假如这里有100个slot,queueA分配20%的资源,可配置最多运行15个task,queueB 分配50%的资源,可配置最多运行25个task,queueC分配30%的资源,可配置最多运行25个task。这三个队列同时按照任务的先后顺序依次执行,比如,job11、job21和job31分别排在队列最前面,是最先运行,也是同时运行。

    3)公平调度器(Fair Scheduler)

    同计算能力调度器类似,支持多队列多用户,每个队列中的资源量可以配置,同一队列中的作业公平共享队列中所有资源。原理图如下所示

    比如有三个队列:queueA、queueB和queueC,每个队列中的 job 按照优先级分配资源,优先级越高分配的资源越多,但是每个 job 都会分配到资源以确保公平。在资源有限的情况下,每个 job 理想情况下获得的计算资源与实际获得的计算资源存在一种差距, 这个差距就叫做缺额。在同一个队列中,job的资源缺额越大,越先获得资源优先执行。作业是按照缺额的高低来先后执行的,而且可以看到上图有多个作业同时运行。

    作业提交全过程

    1)作业提交过程之YARN

    2)作业提交过程之MapReduce

    3)作业提交过程之读数据

    4)作业提交过程之写数据

    5)作业提交详解

    (1)作业提交

    client调用job.waitForCompletion方法,向整个集群提交MapReduce作业 (第1步) 。 新的作业ID(应用ID)由资源管理器分配(第2步)。作业的client核实作业的输出, 计算输入的split, 将作业的资源(包括Jar包, 配置文件, split信息)拷贝给HDFS(第3步)。最后, 通过调用资源管理器的submitApplication()来提交作业(第4步)。

    (2)作业初始化

    当资源管理器收到submitApplciation()的请求时, 就将该请求发给调度器(scheduler), 调度器分配container, 然后资源管理器在该container内启动应用管理器进程, 由节点管理器监控(第5步)。

    MapReduce作业的应用管理器是一个主类为MRAppMaster的Java应用。其通过创造一些bookkeeping对象来监控作业的进度, 得到任务的进度和完成报告(第6步)。然后其通过分布式文件系统得到由客户端计算好的输入split(第7步)。然后为每个输入split创建一个map任务, 根据mapreduce.job.reduces创建reduce任务对象。

    (3)任务分配

    如果作业很小, 应用管理器会选择在其自己的JVM中运行任务。

    如果不是小作业, 那么应用管理器向资源管理器请求container来运行所有的map和reduce任务(第8步)。这些请求是通过心跳来传输的, 包括每个map任务的数据位置, 比如存放输入split的主机名和机架(rack)。调度器利用这些信息来调度任务, 尽量将任务分配给存储数据的节点, 或者分配给和存放输入split的节点相同机架的节点。

    (4)任务运行

    当一个任务由资源管理器的调度器分配给一个container后, 应用管理器通过联系节点管理器来启动container(第9步)。任务由一个主类为YarnChild的Java应用执行。在运行任务之前首先本地化任务需要的资源, 比如作业配置, JAR文件, 以及分布式缓存的所有文件(第10步)。最后, 运行map或reduce任务(第11步)。

    YarnChild运行在一个专用的JVM中, 但是YARN不支持JVM重用。

    (5)进度和状态更新

    YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。

    (6)作业完成

    除了向应用管理器请求作业进度外, 客户端每5分钟都会通过调用waitForCompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval来设置。作业完成之后, 应用管理器和container会清理工作状态, OutputCommiter的作业清理方法也会被调用。作业的信息会被作业历史服务器存储以备之后用户核查。

    任务推测执行

    1)作业完成时间取决于最慢的任务完成时间

    一个作业由若干个Map任务和Reduce任务构成。因硬件老化、软件Bug等,某些任务可能运行非常慢。

    典型案例:系统中有99%的Map任务都完成了,只有少数几个Map老是进度很慢,完不成,怎么办?

    2)推测执行机制:

    发现拖后腿的任务,比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务,同时运行。谁先运行完,则采用谁的结果。

    3)执行推测任务的前提条件

    (1)每个task只能有一个备份任务;

    (2)当前job已完成的task必须不小于0.05(5%)

    (3)开启推测执行参数设置。Hadoop2.7.2 mapred-site.xml文件中默认是打开的。

    <property>

      <name>mapreduce.map.speculative</name>

      <value>true</value>

      <description>If true, then multiple instances of some map tasks

                   may be executed in parallel.</description>

    </property>

     

    <property>

      <name>mapreduce.reduce.speculative</name>

      <value>true</value>

      <description>If true, then multiple instances of some reduce tasks

                   may be executed in parallel.</description>

    </property>

    4)不能启用推测执行机制情况

       (1)任务间存在严重的负载倾斜;

       (2)特殊任务,比如任务向数据库中写数据。

    5)算法原理:

    假设某一时刻,任务T的执行进度为progress,则可通过一定的算法推测出该任务的最终完成时刻estimateEndTime。另一方面,如果此刻为该任务启动一个备份任务,则可推断出它可能的完成时刻estimateEndTime`,于是可得出以下几个公式:

    estimateEndTime=estimatedRunTime+taskStartTime

    estimatedRunTime=(currentTimestamp-taskStartTime)/progress

    estimateEndTime`= currentTimestamp+averageRunTime

    其中,

    currentTimestamp为当前时刻;

    taskStartTime为该任务的启动时刻;

    averageRunTime为已经成功运行完成的任务的平均运行时间;

    progress是任务运行的比例(0.1-1);

    这样,MRv2总是选择(estimateEndTime- estimateEndTime·)差值最大的任务,并为之启动备份任务。为了防止大量任务同时启动备份任务造成的资源浪费,MRv2为每个作业设置了同时启动的备份任务数目上限。

    推测执行机制实际上采用了经典的优化算法:以空间换时间,它同时启动多个相同任务处理相同的数据,并让这些任务竞争以缩短数据处理时间。显然,这种方法需要占用更多的计算资源。在集群资源紧缺的情况下,应合理使用该机制,争取在多用少量资源的情况下,减少作业的计算时间。

    参考链接:

    https://www.cnblogs.com/frankdeng/p/9311474.html

    https://blog.csdn.net/u014774781/article/details/50921006

     

     

     

    展开全文
  • 企业级spring-boot案例-自定义Spring Boot Starter

    千次阅读 多人点赞 2022-01-03 11:17:28
    Spring Boot Starter原理 4.1 自动配置原理 4.1.1 自动配置类的获取与注入 4.1.2 自动配置的过程 4.2 Spring Boot自动配置使用总结 企业级spring-boot案例系列文章上线了,涵盖了大部分企业级的spring-boot使用场景...

    企业级spring-boot案例系列文章上线了,涵盖了大部分企业级的spring-boot使用场景,会不定期进行更新,企业级spring-boot案例源码地址:https://gitee.com/JourWon/spring-boot-example,欢迎各位大佬一起学习和指正

    1. 未使用Spring Boot Starter前的情况

    在没有 starter 之前,假如我想要在 Spring 中使用 jpa,那我可能需要做以下操作:

    1. 在 Maven 中引入使用的数据库的依赖(即 JDBC 的 jar)
    2. 引入 jpa 的依赖
    3. 在 xxx.xml 中配置一些属性信息
    4. 反复的调试直到可以正常运行

    需要注意的是,上面的操作在我们每次新建一个需要用到 jpa 的项目的时候都需要重复的做一次

    但在 Spring Boot 中,一切因为 Starter 变得简单

    1. pom 文件中引入 spring-boot-starter-data-jpa
    2. .properties 文件中配置参数

    通过上面两个步骤,配置自动生效,具体生效的 beanJpaRepositoriesAutoConfiguration,自动配置类的名字都有一个特点,叫做 xxxAutoConfiguration

    这就是使用 Spring 框架开发项目带来的一些的问题:

    • 依赖导入问题: 每个项目都需要来单独维护自己所依赖的jar包,在项目中使用到什么功能就需要引入什么样的依赖。手动导入依赖容易出错,且无法统一集中管理
    • 配置繁琐: 在引入依赖之后需要做繁杂的配置,并且这些配置是每个项目来说都是必要的,例如web.xml配置(Listener配置、Filter配置、Servlet配置)、log4j配置、数据库连接池配置等等。这些配置重复且繁杂,在不同的项目中需要进行多次重复开发,这在很大程度上降低了我们的开发效率

    而在 Spring Boot 出现之后,它为我们提供了一个强大的功能来解决上述的两个痛点,这就是 Spring Boot 的 starters(启动器)。

    2. Spring Boot Starter简介

    2.1 什么是Spring Boot Starter(启动器)

    Spring Boot 通过将我们常用的功能抽取出来,做成的一系列启动器,这些启动器帮我们导入了实现各个功能所需要依赖的全部组件,我们只需要在项目中引入这些 starters,需要的依赖就会全部被导入进来,并且我们通过【约定大于配置】的方式,抛弃繁杂的配置,仅需要通过配置文件来进行少量的配置就可以使用相应的功能。

    starter 的实现:虽然不同的 starter 实现起来各有差异,但是他们基本上都会使用到两个相同的内容:ConfigurationProperties 和 AutoConfiguration。因为 Spring Boot 坚信 “约定大于配置” 这一理念,所以我们使用 ConfigurationProperties 来保存我们的配置,并且这些配置都可以有一个默认值,即在我们没有主动覆写原始配置的情况下,默认值就会生效,这在很多情况下是非常有用的。除此之外,starter 的 ConfigurationProperties 还使得所有的配置属性被聚集到一个文件中(一般在 resources 目录下的 application.properties),这样我们就告别了 Spring 项目中众多的 XML 配置。

    2.2 Starter 模块整体结构

    starter的整体实现逻辑主要由两个基本部分组成:

    xxxAutoConfiguration:自动配置类,对某个场景下需要使用到的一些组件进行自动注入,并利用xxxProperties类来进行组件相关配置

    xxxProperties:某个场景下所有可配置属性的集成,在配置文件中配置可以进行属性值的覆盖,按照SpringBoot官方的定义,Starer的作用就是依赖聚合,因此直接在starter内部去进行代码实现是不符合规定的,starter应该只起到依赖导入的作用,而具体的代码实现应该交给其他模块来实现,然后在starter中去引用该模块即可,因此整体的starter的构成应该如下图所示:

    可见starter模块依赖了两部分,一部分是一些常用依赖,另一部分就是对自动配置模块的依赖,而xxxAutoConfigurationxxxProperties的具体实现,都封装在自动配置模块中,starter实际是通过该模块来对外提供相应的功能。

    2.3 Spring 官方提供的 Starter 和 Starter 命名规范

    SpringBoot 提供了非常多的 Starter,下面列出常用的几个:

    序号名称功能
    1spring-boot-starter-web支持 Web 开发,包括 Tomcat 和 spring-webmvc
    2spring-boot-starter-redis支持 Redis 键值存储数据库,包括 spring-redis
    3spring-boot-starter-test支持常规的测试依赖,包括 JUnit、Hamcrest、Mockito 以及 spring-test 模块
    4spring-boot-starter-aop支持面向切面的编程即 AOP,包括 spring-aop 和 AspectJ
    5spring-boot-starter-data-elasticsearch支持 ElasticSearch 搜索和分析引擎,包括 spring-data-elasticsearch
    6spring-boot-starter-jdbc支持JDBC数据库
    7spring-boot-starter-data-jpa支持 JPA ,包括 spring-data-jpa、spring-orm、Hibernate

    可以看到这些 Starter 的名称都是以 spring-boot-starter 为开头,后面跟着具体的模块名,所有官方的 Starter 遵循相似的命名模式。

    根据约定,Spring Boot官方的starter命名要定义为spring-boot-starter-*,自定义或者说第三方的要命名为thirdpartyproject-spring-boot-starter

    • 官方命名空间
      • 前缀:spring-boot-starter-
      • 模式:spring-boot-starter-模块名
      • 举例:spring-boot-starter-web、spring-boot-starter-actuator、spring-boot-starter-jdbc
    • 自定义命名空间
      • 后缀:-spring-boot-starter
      • 模式:模块-spring-boot-starter
      • 举例:mybatis-spring-boot-starter

    3. 自定义Spring Boot Starter

    如果你想要自己创建一个 starter,那么基本上包含以下几步

    3.1 根据 starter 命名规范创建一个 spring boot 项目

    创建一个名为config-spring-boot-starter的 spring boot 项目

    3.2 在 pom.xml 文件中引入依赖

    <!-- 自动配置依赖 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-autoconfigure</artifactId>
    </dependency>
    
    <!-- 将被@ConfigurationProperties注解的类的属性注入到元数据 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-configuration-processor</artifactId>
        <optional>true</optional>
    </dependency>
    
    <!-- starter非必须依赖,使用到了可以添加 -->
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>
    

    3.3 编写ConfigInfo.javaConfigService.javaConfigServiceImpl.java

    ConfigInfo 配置信息类,用于封装配置信息。

    @Data
    @Builder
    public class ConfigInfo implements Serializable {
    
        private static final long serialVersionUID = -2878523532668902073L;
    
        /**
         * ID
         */
        private String id;
    
        /**
         * IP地址
         */
        private String ip;
    
    }
    

    ConfigService 示例业务接口,这里我们定义了一个configInfo接口,用于获取配置信息。

    public interface ConfigService {
    
        /**
         * 获取配置信息
         *
         * @return {@link ConfigInfo}
         */
        ConfigInfo configInfo();
    
    }
    

    ConfigServiceImpl 业务逻辑实现类,用于实现功能。

    public class ConfigServiceImpl implements ConfigService {
    
        /**
         * ID
         */
        private String id;
        /**
         * ip
         */
        private String ip;
    
        /**
         * 构造函数
         *
         * @param id ID
         * @param ip IP
         */
        public ConfigServiceImpl(String id, String ip) {
            this.id = id;
            this.ip = ip;
        }
    
        /**
         * 获取配置信息
         *
         * @return {@link ConfigInfo}
         */
        @Override
        public ConfigInfo configInfo() {
            return ConfigInfo.builder().id(this.id).ip(this.ip).build();
        }
    
    }
    

    3.4 编写ConfigProperties.java

    创建一个配置文件读取类 ConfigurationProperties 用于保存配置信息(如果你的项目不使用配置信息则可以跳过这一步,不过这种情况非常少见)

    @ConfigurationProperties注解使开发人员可以轻松地将整个文件.propertiesyml文件映射到一个对象中。编写Properties,应使用唯一的名称空间。不要使用Spring Boot的名称空间(如server,management,spring等)。所以应在所有配置键前面加上自己的名称空间。如我们这里使用的是com.jourwon.config作为配置名称空间。

    @Data
    @ConfigurationProperties(value = "com.jourwon.config")
    public class ConfigProperties {
    
        /**
         * ID标识
         */
        private String id;
    
        /**
         * IP地址
         */
        private String ip;
    
    }
    

    3.5 编写ConfigAutoConfiguration.java

    创建一个 AutoConfiguration,编写带有@Configuration的配置类,并添加@EnableConfigurationProperties注解,@EnableConfigurationProperties作用是为了使@ConfigurationProperties注解的类生效。

    @Slf4j
    @Configuration
    @EnableConfigurationProperties(value = ConfigProperties.class)
    public class ConfigAutoConfiguration {
    
        @Resource
        private ConfigProperties properties;
    
        /**
         * 配置ExampleService
         *
         * @return {@link ConfigService}
         */
        @Bean
        @ConditionalOnMissingBean
        public ConfigService configService() {
            log.info("Config ConfigService Start...");
            ConfigService service = new ConfigServiceImpl(properties.getId(), properties.getIp());
            log.info("Config ConfigService End.");
            return service;
        }
    
    }
    

    3.6 编写spring.factories

    resources/META-INF/下创建spring.factories文件,并且把上一步创建的AutoConfiguration类加入 spring.factories 配置文件中

    org.springframework.boot.autoconfigure.EnableAutoConfiguration=\
    com.jourwon.spring.boot.config.ConfigAutoConfiguration
    

    3.7 发布自定义 starter

    在自定义 starter 项目根目录执行 mvn install 进行打包安装

    3.8 测试自定义 starter

    3.8.1 添加config-spring-boot-starter依赖

    <properties>
        <config-spring-boot-starter.version>1.0.0</config-spring-boot-starter.version>
    </properties>
    
    <dependencies>
        <dependency>
            <groupId>com.jourwon.spring.boot</groupId>
            <artifactId>config-spring-boot-starter</artifactId>
            <version>${config-spring-boot-starter.version}</version>
        </dependency>
    
        <!-- spring-boot-starter-web -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
    
        <!-- fastjson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
        </dependency>
    </dependencies>
    

    3.8.2 配置application.yml

    IDE 提示

    在使用官方starter的时候,我们可以发现IDE可以进行提示

    在这里插入图片描述

    application.yml配置文件添加如下配置

    # 自定义starter相关配置
    com:
      jourwon:
        config:
          id: 23145fdb-7427-42d1-ae29-a67f5be30d02
          ip: 127.0.0.1
    

    3.8.3 编写 ConfigInfoController.java

    @RestController
    public class ConfigInfoController {
    
        @Resource
        private ConfigService configService;
    
        @GetMapping("/configInfo")
        public String configInfo() {
            return JSON.toJSONString(configService.configInfo());
        }
    
    }
    

    3.8.4 启动测试

    打开浏览器,输入 http://127.0.0.1:8080/configInfo ,你将会看到我们配置的内容。

    在这里插入图片描述

    4. Spring Boot Starter原理

    首先说说原理,我们知道使用一个公用的starter的时候,只需要将相应的依赖添加的Maven的配置文件当中即可,免去了自己需要引用很多依赖类,并且SpringBoot会自动进行类的自动配置。

    在导入的starter之后,SpringBoot主要帮我们完成了两件事情:

    • 相关组件的自动导入
    • 相关组件的自动配置

    这两件事情统一称为SpringBoot的自动配置

    那么 SpringBoot 是如何知道要实例化哪些类,并进行自动配置的呢? 下面简单说一下。

    首先,SpringBoot 在启动时会去依赖的starter包中寻找 resources/META-INF/spring.factories文件,然后根据文件中配置的Jar包去扫描项目所依赖的Jar包,这类似于 Java 的 SPI 机制。

    第二步,根据 spring.factories配置加载AutoConfigure类。

    最后,根据 @Conditional注解的条件,进行自动配置并将Bean注入Spring Context 上下文当中。

    我们也可以使用@ImportAutoConfiguration({MyServiceAutoConfiguration.class}) 指定自动配置哪些类。

    4.1 自动配置原理

    4.1.1 自动配置类的获取与注入

    我们从主程序入口来探索一下整个过程的原理:

    //标注这个类是一个springboot的应用
    @SpringBootApplication
    public class CommunityApplication {
        public static void main(String[] args) {
            //将springboot应用启动
            SpringApplication.run(CommunityApplication.class, args);
        }
    }
    

    @SpringBootApplication注解内部结构如下图所示:

    AutoConfigurationImportSelector :重点看该类中重写的selectImports方法,看下它返回的字符串数组是如何得来的:

    图片

    我们可以去到上边提到的spring.factories文件中去看一下,找到spring官方提供的spring-boot-autoconfigure包,在其下去找一下该文件:

    图片

    可以看到这个就是SpringBoot官方为我们提供的所有自动配置类的候选列表。我们可以在其中找到一个我们比较熟悉的自动配置类去看一下它内部的实现:

    可以看到这些一个个的都是JavaConfig配置类,而且都通过@Bean注解向容器中注入了一些Bean

    图片

    结论:

    • SpringBoot在启动的时候从类路径下的META-INF/spring.factories中获取EnableAutoConfiguration指定的所有自动配置类的全限定类名
    • 将这些自动配置类导入容器,自动配置类就生效,帮我们进行自动配置工作;
    • 整个J2EE的整体解决方案和自动配置都在spring-boot-autoconfigure的jar包中;
    • 它会给容器中导入非常多的自动配置类 (xxxAutoConfiguration), 就是给容器中导入这个场景需要的所有组件,并配置好这些组件 ;
    • 有了自动配置类,免去了我们手动编写配置注入功能组件等的工作;

    4.1.2 自动配置的过程

    自动配置类被注入到容器当中后,会帮我们进行组件的自动配置和自动注入的工作,我们以HttpEncodingAutoConfiguration(Http编码自动配置)为例解释这个过程:

    首先我们先看下SpringBoot中配置文件与POJO类之间映射的方法,这是进行自动配置的基础。

    配置集中化管理:SpringBoot中所有可配置项都集中在一个文件中(application.yml),这个文件中的配置通过@ConfigurationProperties注解来与我们程序内部定义的POJO类来产生关联,这些POJO类统一命名为xxxProperties,并且这些xxxProperties类中各个属性字段都有自己的默认值,这也是SpringBoot约定大于配置理念的体现,尽可能减少用户做选择的次数,但同时又不失灵活性。只要我们想,配置文件中的配置随时可以覆盖默认值。

    在这里插入图片描述

    之后,通过配合@EnableConfigurationProperties注解,就可以自动将与配置文件绑定好的这个类注入到容器中供我们使用。

    自动配置类的工作流程:

    • 根据限定的条件向容器中注入组件
    • 使用xxxProperties对注入的组件的相关属性进行配置
    //表示这是一个配置类,和以前编写的配置文件一样,也可以给容器中添加组件;
    @Configuration
    
    //将与配置文件绑定好的某个类注入到容器中,使其生效
    //进入这个HttpProperties查看,将配置文件中对应的值和HttpProperties绑定起来;
    //并把HttpProperties加入到ioc容器中
    @EnableConfigurationProperties(HttpProperties.class)
    
    //Spring底层@Conditional注解
    //根据不同的条件判断,如果满足指定的条件,整个配置类里面的配置就会生效;
    //这里的意思就是判断当前应用是否是web应用,如果是,当前配置类生效
    @ConditionalOnWebApplication(type = ConditionalOnWebApplication.Type.SERVLET)
    
    //判断系统中有没有CharacterEncodingFilter这个类,如果有配置类才生效
    @ConditionalOnClass(CharacterEncodingFilter.class)
    
    //判断配置文件中是否存在某个配置:spring.http.encoding.enabled;
    //matchIfMissing = true表明即使我们配置文件中不配置spring.http.encoding.enabled=true,该配置类也是默认生效的;
    @ConditionalOnProperty(prefix = "spring.http.encoding", value = "enabled", matchIfMissing = true)
    public class HttpEncodingAutoConfiguration {
    
        //该类已经与配置文件绑定了
        private final HttpProperties.Encoding properties;
    
        //构建该自动配置类时将与配置文件绑定的配置类作为入参传递进去
        public HttpEncodingAutoConfiguration(HttpProperties properties) {
            this.properties = properties.getEncoding();
        }
    
        @Bean
        @ConditionalOnMissingBean
        public CharacterEncodingFilter characterEncodingFilter() {
            CharacterEncodingFilter filter = new OrderedCharacterEncodingFilter();
            //注入bean时使用配置类中属性的值进行初始化,相当于将配置文件中的值映射到了组件的某些属性上
            filter.setEncoding(this.properties.getCharset().name()); 
            filter.setForceRequestEncoding(this.properties.shouldForce(Type.REQUEST));
            filter.setForceResponseEncoding(this.properties.shouldForce(Type.RESPONSE));
            //注入配置好的bean
            return filter; 
        }
    }
    

    一句话总结下自动配置类的工作过程 :

    • 首先容器会根据当前不同的条件判断,决定这个配置类是否生效!
    • 一但这个配置类生效;这个配置类就会给容器中添加相应组件;
    • 这些组件的属性是从对应的properties类中获取的,这些类里面的每一个属性又是和配置文件绑定的;
    • 所有在配置文件中能配置的属性都是在xxxxProperties类中封装着,配置文件可以配置什么内容,可以参照该前缀对应的属性类中的属性字段
    //从配置文件中获取指定的值和bean的属性进行绑定
    @ConfigurationProperties(prefix = "spring.http") 
    public class HttpProperties {
        // .....
    }
    

    4.2 Spring Boot自动配置使用总结

    • SpringBoot启动会加载大量的自动配置类

    • 我们首先可以看我们需要的功能有没有在SpringBoot默认写好的自动配置类当中;

    • 我们再来看这个自动配置类中到底配置了哪些组件;(只要我们要用的组件存在在其中,我们就不需要再手动配置了)

    • 给容器中自动配置类添加组件的时候,会从properties类中获取某些属性。我们只需要在配置文件中指定这些属性的值即可;

      • xxxxAutoConfigurartion:自动配置类;给容器中添加组件
      • xxxxProperties:封装配置文件中相关属性;

    了解完自动装配的原理后,我们来关注一个细节问题,自动配置类必须在一定的条件下才能生效;@Conditional派生注解(Spring注解版原生的@Conditional作用)

    作用:必须是@Conditional指定的条件成立,才给容器中添加组件,配置里面的所有内容才生效;

    序号@Conditional扩展注解作用(判断是否满足当前条件)
    1@ConditionalOnWebApplication当前项目是Web项目的条件下
    2@ConditionalOnNotWebApplication当前项目不是Web项目的条件下
    3@ConditionalOnResource类路径下是否有指定的资源
    4@ConditionalOnExpression基于SpEL表达式作为判断条件
    5@ConditionalOnMissingBean当容器中没有指定Bean的情况下
    6@ConditionalOnBean当容器中有指定的Bean的条件下
    7@ConditionalOnSingleCandidate当指定的Bean在容器中只有一个,或者在有多个Bean的情况下,用来指定首选的Bean
    8@ConditionalOnJava基于JVM版本作为判断条件
    9@ConditionalOnMissingClass当类路径下没有指定的类的条件下
    10@ConditionalOnClass当类路径下有指定的类的条件下
    11@ConditionalOnProperty指定的属性是否有指定的值

    那么多的自动配置类,必须在一定的条件下才能生效;也就是说,我们加载了这么多的配置类,但不是所有的都生效了。

    我们怎么知道哪些自动配置类生效?

    我们可以通过启用 debug=true属性;来让控制台打印自动配置报告,这样我们就可以很方便的知道哪些自动配置类生效;

    #在配置文件中开启springboot的调试类
    debug=true
    

    Positive matches:(自动配置类启用的:正匹配)

    Positive matches:
    -----------------
    
       AopAutoConfiguration matched:
          - @ConditionalOnClass found required classes 'org.springframework.context.annotation.EnableAspectJAutoProxy', 'org.aspectj.lang.annotation.Aspect', 'org.aspectj.lang.reflect.Advice', 'org.aspectj.weaver.AnnotatedElement' (OnClassCondition)
          - @ConditionalOnProperty (spring.aop.auto=true) matched (OnPropertyCondition)
    
       AopAutoConfiguration.CglibAutoProxyConfiguration matched:
          - @ConditionalOnProperty (spring.aop.proxy-target-class=true) matched (OnPropertyCondition)
    
       AuditAutoConfiguration#auditListener matched:
          - @ConditionalOnMissingBean (types: org.springframework.boot.actuate.audit.listener.AbstractAuditListener; SearchStrategy: all) did not find any beans (OnBeanCondition)
    
       AuditAutoConfiguration#authenticationAuditListener matched:
          - @ConditionalOnClass found required class 'org.springframework.security.authentication.event.AbstractAuthenticationEvent' (OnClassCondition)
          - @ConditionalOnMissingBean (types: org.springframework.boot.actuate.security.AbstractAuthenticationAuditListener; SearchStrategy: all) did not find any beans (OnBeanCondition)
    

    Negative matches:(没有启动,没有匹配成功的自动配置类:负匹配)

    Negative matches:
    -----------------
    
       ActiveMQAutoConfiguration:
          Did not match:
             - @ConditionalOnClass did not find required class 'javax.jms.ConnectionFactory' (OnClassCondition)
    
       AopAutoConfiguration.JdkDynamicAutoProxyConfiguration:
          Did not match:
             - @ConditionalOnProperty (spring.aop.proxy-target-class=false) did not find property 'proxy-target-class' (OnPropertyCondition)
    
       AppOpticsMetricsExportAutoConfiguration:
          Did not match:
             - @ConditionalOnClass did not find required class 'io.micrometer.appoptics.AppOpticsMeterRegistry' (OnClassCondition)
    
       ArtemisAutoConfiguration:
          Did not match:
             - @ConditionalOnClass did not find required class 'javax.jms.ConnectionFactory' (OnClassCondition)
    

    Exclusions、Unconditional classes(排除的、没有限定条件的自动配置类):

    Exclusions:
    -----------
    
        org.springframework.boot.autoconfigure.jdbc.DataSourceAutoConfiguration
    
    
    Unconditional classes:
    ----------------------
    
        org.springframework.boot.autoconfigure.context.ConfigurationPropertiesAutoConfiguration
    
        org.springframework.boot.actuate.autoconfigure.endpoint.jmx.JmxEndpointAutoConfiguration
    
        org.springframework.boot.actuate.autoconfigure.health.HealthIndicatorAutoConfiguration
    
        org.springframework.boot.actuate.autoconfigure.info.InfoContributorAutoConfiguration
    
    展开全文
  • 随着经济的发展计算机的应用范围不断扩大网络逐渐成为人们生活生产的重要组成部分同时计算机安全威胁问题日益突出企业在发展过程中网络安全问题越来越多甚至影响企业的正常运行计算机病毒侵害的案例越来越多影响人们...
  • JDBC+MySQL入门增删改查案例

    千次阅读 2020-08-14 12:28:37
    目录前言案例分析核心思路拆解案例涉及知识点第一关 创建数据库和项目创建数据库创建项目第二关 JDBC插入和查询预备工作单个插入批量插入查询数据JDBC修改和删除修改数据删除数据总结与拓展总结拓展 前言 hello我是...
  • 案例上手 Spring 全家桶

    千次阅读 2019-07-21 23:30:02
    案例上手 Spring 全家桶》课程亮点spring boot面试题 Spring 技术零基础轻松入门 spring boot 68 讲更全面地覆盖 Spring 全家桶核心模块 100+ 段代码示例,理解 Spring 全家桶要领 3 大项目实战,掌握 Spring ...
  • 全面掌控城市运行状态,数梦工场推出数智城市指标系统
  • 建立完善技术管理的机制与制度,出台十几项管理制度与标准,覆盖科技规划、科技投标、项目管理、成果管理、知识产权、RAMS体系、标准化管理、技术市场等业务的制度建设,使现行技术创新体系成功运行有了制度保障,...
  • 信息化案例:国家电投

    千次阅读 2021-11-19 00:21:31
    我过去写过两篇案例:一篇数字化案例:有关体制内千亿级央企《数字化转型实例:国家电网》一篇信息化与数字化夹杂案例:有关体制外千亿级民企《数字化转型案例:美的集团》所以今天给大家分享一篇纯信息...
  • 网络工程师--网络安全与应用案例分析
  • 创业实践案例课程报告

    千次阅读 多人点赞 2020-12-23 21:07:38
    学完了这门创业实践案例课程,感觉自己收获了很多。通过几位老师的介绍和讲解,我了解了如今两大巨头京东和华为的发展历程,并深入地洞悉了它们的成功之道。两个公司都十分注重人才的培养,注重自己的企业文化,将这...
  • 二、智慧南京运行管理中心建设 智慧南京运行管理中心共分为两期建设。 (一)智慧南京运行管理中心一期建设情况 智慧南京运行管理中心一期工程始建于2012年并于当年投入使用,是智慧城市各个运行环节与各类运行...
  • 2016年推出的寒武纪1A处理器(Cambricon-1A)是世界首款商用深度学习专用处理器,面向智能手机、可穿戴设备、无人机和智能驾驶等各类终端设备,在运行主流智能算法时性能功耗比全面超越CPU和GPU,与特斯拉增强型自动...
  • 目前,已经有众多知名汽车企业与百度合作,如北京汽车、长城汽车、奇瑞汽车、金龙客车等,如图3,便是百度Apollo和金龙客车的成功合作案例。 虽然这些自动驾驶的车辆还未真正上路,但自动驾驶技术已经逐步成熟,...
  • 近几年,90后这个群体开始迈入职场,逐渐出现在社会大众的视野当中,他们是极具个性的一代,他们这代技术人的新奇想法,正是现代企业需要的创新源泉… 2.轻松理解元数据,只需懂点心理学 元数据的抽象含义难于被人们...
  • 然后就调研结果进行分析,确定客户最终需求并建立相应的变更管理机制。网站分析分析( 1300)分 为系统设计( 1310)、模块设计( 1320)、数据库设计(1330)以及美工设计( 1340)四个部分。 主要任务是系统...
  • 15.2 企业环境下用户权限集中管理项目案例 15.2.1 企业运维问题现状 当前公司里服务器或虚拟机数量达到上百台时,各个服务器上的管理人员将会很多(开发+运维+架构+DBA+产品+市场等,他们都有用户权限),在大家...
  • 15.2 企业环境中用户权限集中管理项目案例 15.2.1 企业运维问题现状 当前公司里的服务器或虚拟机数量达到上百台时,各个服务器上的管理人员将会很多(开发+运维+架构+DBA+产品+市场等,他们都有用户权限),在大家...
  • 图3 机器人在重型机械领域中的应用 1.3 案例特点 临工智能制造项目拟解决的关键问题本项目以临工主要产品装载机、挖掘机及相关零部件为对象,完成对目标车间的智能制造升级,目的是提升企业生产效率,保证关键工艺...
  • 大学计算机系最努力的同学都是如何学习的?

    万次阅读 多人点赞 2021-06-21 09:15:04
    经常会被同学们问到这个问题,要...以为很牛逼的去找工作,结果要价2500,都没人收,2011年,一个计算机系top级毕业生,薪资还没流水线的高。 现在工作近十年,也辗转几个大厂,做校招、社招面试也不下于上百场,这
  • 【软考系统架构设计师】2021年下系统架构师案例分析历年真题
  • 微观经济学案例分析(七)

    千次阅读 2020-11-01 10:30:04
    案例内容 我国的电信化起步于上世纪六十年代,到八九十年代进入了大规模的尝试性 应用阶段,之后随着互联网的兴起进入了快速建设时期。2006年后由于信息化融 合,移动互联网,大数据和云计算等新技术的出现,...
  • 这篇文章将详细介绍微软证书漏洞CVE-2020-0601,并讲解ECC算法、Windows验证机制,复现可执行文件签名证书的例子。 这些基础性知识不仅和系统安全相关,同样与我们身边常用的软件、文档、操作系统紧密联系,希望这些...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 40,955
精华内容 16,382
热门标签
关键字:

企业自运行机制案例