第3章  数据挖掘建模
　　数据挖掘是从海量数据中提取隐含在其中的有用信息和知识的过程。各运营支撑系统所积累的海量历史数据是企业的一笔宝贵财富，谁能正确地挖掘与分析隐含在数据中的信息，谁就能更好地向用户提供产品与服务，从而在竞争中脱颖而出。
3.1  数据挖掘的过程
　　数据挖掘提供了从数据到价值的解决方案：
数据+工具+方法+目标+行动=价值
　　目前，数据挖掘已有一系列应用：分类分析、聚类分析、预测分析、偏差分析、关联分析和时序模式等，这些应用涉及的技术和工具各不相同，然而却可以依据统一的方法论来实行，并可以协同作战，解决许多有价值的商业问题，图3-1是进行数据挖掘的一般过程。


        
        
                
    

                    

                    

                    
                    
                    
。这是傅一平的第351篇原创
【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822701 为好友后入群。新开招聘交流群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。
正文开始
最近某数据仓库起家的A公司大幅减少了在国内的数据分析和挖掘服务团队，在业内引发不小的震荡，作为一家口碑良好的数据分析和挖掘服务提供商，在数字化的大背景下，似乎在反其道而行之。
笔者分析下来的原因大致有以下四个：
1、为客户提供定制化数据分析和挖掘服务很难规模复制，赚的是辛苦钱，跟那种边际成本极低的互联网产品完全无法比，资本市场大概不会看好这种商业模式，你看，BAT就从来不会去提供这种服务，最多卖个数据产品。
2、当前数据人才市场竞争激烈，维持一只具有一定规模的数据分析和挖掘服务团队不仅成本高，而且稳定性也差，流动成为了新常态。有一定能力的人员都想去大厂，留下来的要么是卧薪尝胆的，要么是能力不够的，要么是年纪大了的，要么是这个企业的文化足够牛逼。
3、数据领域最容易获得客户认可的其实是底层的基础设施，但数据分析和挖掘服务完全不一样，行业特性太明显，要达到及格水准，不仅要团队长期驻扎客户，还要熟悉客户的数据、平台、机制、组织、流程等等，更要能拥抱数据创新的巨大不确定性。
4、在整个数据服务价值链中，客户对在最末端的数据分析和挖掘服务的要求却是最高的：即直接帮助客户创造价值，但国内有几个数据服务商敢说基于数据能直接给客户带来收入？因此，一般数据分析和挖掘服务团队的满意度不会很好。
即使是这样，笔者仍然看好数据分析和挖掘服务提供商的前途，主要有以下三点依据：
第一、在数字经济和新基建的大背景下，产业互联网是未来，供给端改革势在必行，作为数据分析和挖掘服务提供商，一定是有“钱”途的。你看客户买了这么多基础设施，总不能闲在那里让资产贬值吧，因此，未来需要数据挖掘和分析服务的B端客户会越来越多，这是一个趋势。
第二、在数据基础设施逐步同质化的当下，其实客户不太care谁来提供云计算、hadoop、MPP、人工智能及区块链等等，在数据领域，客户更关注的是能够帮助自己直接创造价值的差异化服务能力，他们对于数据分析和挖掘服务的需求只会越来越强烈，举个例子，捆绑行业数据解决方案的私有云才更好卖。
第三、当前大多数数据分析和挖掘服务提供商都是深耕于某一个行业的，与行业客户合作的时间非常长，其对于行业的业务、技术、机制、流程有着更深入的理解，这是他们未来持续发展最大的优势，当前要做的是需要在策略上做些调整或优化。
笔者在通信行业工作，长期与数据分析和挖掘服务提供商打交道，这里也给些建议，因为只有他们发展的好，我们才能更好的实现数据驱动业务，这是一个合作共赢的事情。
首先，要选对服务的行业和大B。未来数字化转型最快的，肯定是大B，而且是跟国家新基建强相关的行业，比如通信网络、智能交通、智能能源等等，行业大B有增量才有数据服务提供商的增量。
如果你只是服务一些中小B客户，就要考虑是否去切入这些行业的头部大B，假如你现在已经身处这些行业，则更要加大投入，即使开始的时候不太赚钱。
其次，要选择能够帮到你的大B。选择都是双向的，数据服务商不仅仅是被选择，也要有选择客户的智慧。在数据服务领域，当前阶段，要尽量选择规模足够大、数据足够丰富、进取心足够强的客户进行服务。
为什么？
1、客户大了才有潜力，假如客户本身就挣扎在生存的边缘，自己家都没余粮了，给别人的空间就很小了。
2、有数据资源的大B可以提供更好的数据研发和发展环境，所谓借力。
你通过招标进入了一家拥有海量数据资源的大B，不仅仅是获得了一次销售机会，还在于获得了一个巨大的数据试验平台，这对于数据服务企业或机构非常重要，否则，很难跟数据大厂竞争。
更有重要的是，你的员工在为客户创造价值的同时，还可以依托这个平台获得更多的能力提升，这在当下激烈的数据人才争夺战中有积极意义。
3、客户自身在数据层面的进取心也很重要。一般来说只有客户才有选择合作伙伴的权利，但很多时候要反过来，有数据进取心的客户才能促进数据服务商变得更好，两者相辅相成，在传统行业，后者的制约力甚至更大一点。
如果客户只需要报表，数据服务商的天花板大概也就是报表了，如果客户没有精确营销的想法，数据服务商忽悠着客户去做，即使PPT和试验再成功，也很难获得成功，竹篮打水一场空是常有的事。
只有客户自己真的想做精确营销，才能为数据服务商提供发挥其技术所长的应用环境，这个环境不仅仅是指场景，还包括组织、机制、流程等等。
再次，在服务中孵化自己的产品。现在数据中台如火如荼，很多厂家也在卖一些数据产品，但这些标准化的产品在大B客户那里往往水土不服，这是由数据的行业特性决定的。
作为数据服务提供商，肯定希望自己的一些开发和服务能够产品化，然后规模化变现。但任何数据产品都是需要迭代的，而只有行业大B才有能力、有耐心、有资源为你的产品提供最好的迭代环境。
现在除了BAT有足够的数据滋养自己的产品外，大多真正好用的数据产品都是在某个行业深耕后的产物，先有服务，才有产品，这是当下比较靠谱的解决数据产品水土不服问题的方法。
很多行业的数据产品所以能够成功，客户有一半的功劳，其不仅提供了产品经理、首席体验官，还帮助发现了无数的BUG，更是产品口碑的传播者。
现在市面上很多牛逼的ETL、数据开发引擎等等，开始来show的时候可是一塌糊涂，但它们的成长飞快。
最后，在服务中跟上客户的节奏。前面都在讲选择一个好的“娘家”非常重要，但即使有了好的“娘家”，数据服务提供商也要有点前期投入的勇气。
因为在数据创新的初期，客户也在做尝试，失败在所难免，有时还无法为失败买单，但一旦做成了，就可以吃三年，而且还可以复制。
还有一些数据服务商安于现状，不思进取，对于客户的进步全然不知，比如就想着做做报表取数，被边缘化或淘汰也就很自然了，与我们合作过的数据分析和挖掘服务提供商不少，但能一起走到现在的还是少数。
To B行业非常深层次的一个逻辑就是很难有一棍子买卖，特别是对于数据服务商来说，扎根行业才会有竞争力，这是个渐进的过程。但一旦做成了，粘性也非常大，数据服务商跟客户往往是我中有你，你中有我。
当然现在非常大的挑战就是入门的门槛，就好比985、211的大学生总是比普通大学生在第一次招聘时有优势一样，To B的销售套路，大家都懂的。
从客户的角度来讲，考虑到数据挖掘和分析的特点，也不要有点石成金的想法，数据服务商的优势主要还在于数据技术，但最好的创新往往产生在所在行业的特定场景，这个更多靠客户自己的挖掘，当然作为基础生产资料的行业数据，这是大家都需要掌握的。
如何打造顶尖的团队协作能力？
如何有效评估数据建模师的业绩？
我如何设计数据团队的入职培训课程？
我的数据生涯没有规划
数据团队更需要一个“外交部长”
为什么PPT=自律？
数据团队演进的五个层级，你处于哪一级？
如何成为一名专家？
数据团队的构成
主动性的四个层级，你处在哪一级？
我写给组长们的2万字的绩效评估报告！
数据运营的五个层级，你到了哪一级？
直播回顾 | 傅一平：关于大数据七个问题的思考和实践（附视频和配套PPT）
                

                    
本节书摘来自华章社区《Hadoop大数据分析与挖掘实战》一书中的第1章，第1.2节从餐饮服务到数据挖掘，作者张良均　樊哲　赵云龙　李成华　，更多章节内容可以访问云栖社区“华章社区”公众号查看
1.2　从餐饮服务到数据挖掘
企业经营最大的目的就是盈利，而餐饮业企业盈利的核心就是其菜品和顾客，也就是其提供的产品和服务对象。企业经营者每天都在想推出什么样的菜系和种类会吸引更多的顾客，究竟各种顾客各自的喜好是什么，在不同的时段是不是有不同的菜品畅销，当把几种不同的菜品组合在一起推出时是不是能够得到更好的效果，未来一段时间菜品原材料应该采购多少……
T餐饮的经营者想尽快地解决这些疑问，使自己的企业更加符合现有顾客的口味，吸引更多的新顾客，又能根据不同的情况和环境转换自己的经营策略。T餐饮在经营过程中，通过分析历史数据，总结出一些行之有效的经验：
在点餐过程中，由有经验的服务员根据顾客特点进行菜品推荐，一方面可提高菜品的销量，另外一方面可减少客户点餐的时间和频率，提高用户体验；
根据菜品历史销售情况，综合考虑节假日、气候和竞争对手等影响因素，对菜品销量进行预测，以便餐饮企业提前准备原材料；
定期对菜品销售情况进行统计，分类统计出好评菜和差评菜，为促销活动和新菜品推出提供支持；
根据就餐频率和金额对顾客的就餐行为进行评分，筛选出优质客户，定期回访和送去关怀。
上述措施的实施都依赖于企业已有业务系统中保存的数据，但是目前从这些数据中获得有关产品和客户的特点以及能够产生价值的规律更多依赖于管理人员的个人经验。如果有一套工具或系统，能够从业务数据中自动或半自动地发现相关的知识和解决方案，这将极大地提高企业的决策水平和竞争能力。这种从数据中“淘金”，从大量数据（包括文本）中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程，这就是数据挖掘；它是利用各种分析工具在大量数据中寻找其规律和发现模型与数据之间关系的过程，是统计学、数据库技术和人工智能技术的综合。
这种分析方法可避免“人治”的随意性，避免企业管理仅依赖个人领导力的风险和不确定性，实现精细化营销与经营管理。

        
        
                
    

                    
本节书摘来自华章出版社《Python数据分析与挖掘实战》一书中的第1章，第1.2节，作者 张良均 王路  谭立云 苏剑林，更多章节内容可以访问云栖社区“华章计算机”公众号查看

1.2　从餐饮服务到数据挖掘
企业经营最大的目的就是盈利，而餐饮业企业盈利的核心就是其菜品和顾客，也就是其提供的产品和服务对象。企业经营者每天都在想推出什么样的菜系和种类能吸引更多的顾客，究竟顾客各自的喜好是什么，在不同的时段是不是有不同的菜品畅销，当把几种不同的菜品组合在一起推出时是不是能够得到更好的效果，未来一段时间菜品原材料应该采购多少……
T餐饮的经营者想尽快地解决这些疑问，使自己的企业更加符合现有顾客的口味，吸引更多的新顾客，又能根据不同的情况和环境转换自己的经营策略。T餐饮在经营过程中，通过分析历史数据，总结出一些行之有效的经验。
在点餐过程中，由有经验的服务员根据顾客特点进行菜品推荐，一方面可提高菜品的销量，另一方面可减少客户点餐的时间和频率，提高用户体验。
根据菜品历史销售情况，综合考虑节假日、气候和竞争对手等影响因素，对菜品销量进行预测，以便餐饮企业提前准备原材料。
定期对菜品销售情况进行统计，分类统计出好评菜和差评菜，为促销活动和新菜品推出提供支持。
根据就餐频率和金额对顾客的就餐行为进行评分，筛选出优质客户，定期回访和送去关怀。
上述措施的实施都依赖于企业已有业务系统中保存的数据，但是目前从这些数据中获得有关产品和客户的特点以及能够产生价值的规律更多依赖于管理人员的个人经验。如果有一套工具或系统，能够从业务数据中自动或半自动地发现相关的知识和解决方案，这将极大地提高企业的决策水平和竞争能力。这种从数据中“淘金”，从大量数据（包括文本）中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程，就是数据挖掘；它是利用各种分析工具在大量数据中寻找其规律和发现模型与数据之间关系的过程，是统计学、数据库技术和人工智能技术的综合。
这种分析方法可避免“人治”的随意性，避免企业管理仅依赖个人领导力的风险和不确定性，实现精细化营销与经营管理。