数据应用_数据应用场景 - CSDN
精华内容
参与话题
  • 等等,这一系列问题的背后,其实都隐藏着大数据的身影——不仅彰显着大数据的巨大价值,更直观地体现出大数据在各个行业的广阔应用。这些行业应用也都更直白地告诉人们,什么是大数据…… 其实,大数据不是突然出现...

    美国NASA如何能提前预知各种天文奇观?风力发电机和创业者开店如何选址?如何才能准确预测并对气象灾害进行预警?包括在未来的城镇化建设过程中,如何打造智能城市?等等,这一系列问题的背后,其实都隐藏着大数据的身影——不仅彰显着大数据的巨大价值,更直观地体现出大数据在各个行业的广阔应用。这些行业应用也都更直白地告诉人们,什么是大数据……

    其实,大数据不是突然出现的,在过去的几十年间,数学分析就已经涉猎金融行业了,诺贝尔经济学奖获得者哈里.马克维茨、威廉.夏普、罗伯特.恩格尔就是利用计量经济学知识和金融市场数据来建立数学模型,预测金融市场产品收益同风险波动的关系。

    大数据时代的出现简单的讲是海量数据同完美计算能力结合的结果,确切的说是移动互联网、物联网产生了海量的数据,大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。

    当我们最初谈大数据的时候,谈的最多的可能是用户行为分析,即通过各种用户行为,包括浏览记录,消费记录,交往和购物娱乐,行动轨迹等各种用户行为产生的数据。由于这些数据本身符合海量,异构的特征,同时通过分析这些数据之间的关联性容易匹配某些结果现象。即有一堆的行为因子x,同时又有一堆的结果构成y,我们找寻到了某种相关性,有利于我们调整后续的各种策略。

    为何Google能够做大数据?你思考过吗?因为搜索本身往往是用户行为的一个重要入口,即搜索引擎具备了实时采集多个用户行为的x因子的能力。而这个能力往往是单个电商门户网站无法做到的。但是搜索引擎做大数据的弱势在哪里?即前面谈到的用户和用户之间的关系较难建立,而更多是本身行为之间的相关性。从这个差异上也可以看到搜索引擎更加容易做交通,疾病,气象等方面的大数据分析和预测;而类似电商平台或类似腾讯更加容易做消费和娱乐类的大数据分析和预测。

    对于大数据的应用场景,包括各行各业对大数据处理和分析的应用,最核心的还是用户需求。接下来,本文通过梳理各个行业在大数据应用领域面临的挑战、如何寻找突破口来展示其潜在存在的大数据应用场景。欢迎加入大数据交流群:658558542 一起吹水交流学习

    一、医疗大数据看病更高效

    除了较早前就开始利用大数据的互联网公司,医疗行业是让大数据分析最先发扬光大的传统行业之一。医疗行业拥有大量的病例,病理报告,治愈方案,药物报告等等。如果这些数据可以被整理和应用将会极大地帮助医生和病人。我们面对的数目及种类众多的病菌、病毒,以及肿瘤细胞,其都处于不断的进化的过程中。在发现诊断疾病时,疾病的确诊和治疗方案的确定是最困难的。

    在未来,借助于大数据平台我们可以收集不同病例和治疗方案,以及病人的基本特征,可以建立针对疾病特点的数据库。如果未来基因技术发展成熟,可以根据病人的基因序列特点进行分类,建立医疗行业的病人分类数据库。在医生诊断病人时可以参考病人的疾病特征、化验报告和检测报告,参考疾病数据库来快速帮助病人确诊,明确定位疾病。在制定治疗方案时,医生可以依据病人的基因特点,调取相似基因、年龄、人种、身体情况相同的有效治疗方案,制定出适合病人的治疗方案,帮助更多人及时进行治疗。同时这些数据也有利于医药行业开发出更加有效的药物和医疗器械。

    医疗行业的数据应用一直在进行,但是数据没有打通,都是孤岛数据,没有办法进行大规模应用。未来需要将这些数据统一收集起来,纳入统一的大数据平台,为人类健康造福。政府和医疗行业是推动这一趋势的重要动力。

    二、生物大数据改良基因

    自人类基因组计划完成以来,以美国为代表,世界主要发达国家纷纷启动了生命科学基础研究计划,如国际千人基因组计划、DNA百科全书计划、英国十万人基因组计划等。这些计划引领生物数据呈爆炸式增长,目前每年全球产生的生物数据总量已达EB级,生命科学领域正在爆发一次数据革命,生命科学某种程度上已经成为大数据科学。

    我们来看看今天的准妈妈们,除了要准备尿布、奶瓶和婴儿装,她们还会把基因测试列入计划单。基因测试能让未来的父母对于他们未出生的baby的健康有更多的了解。对基因携带者筛查和胚胎植入前诊断,使一个家庭孕育小孩的过程产生了巨大改变。

    当下,我们所说的生物大数据技术主要是指大数据技术在基因分析上的应用,通过大数据平台人类可以将自身和生物体基因分析的结果进行记录和存储,利用建立基于大数据技术的基因数据库。大数据技术将会加速基因技术的研究,快速帮助科学家进行模型的建立和基因组合模拟计算。基因技术是人类未来战胜疾病的重要武器,借助于大数据技术的应用,人们将会加快自身基因和其它他生物的基因的研究进程。未来利用生物基因技术来改良农作物,利用基因技术来培养人类器官,利用基因技术来消灭害虫都即将实现。

    与全球蒸蒸日上的生物大数据创新发展热潮相比,中国的研发及应用才拉开帷幕。我国有四大方面非常欠缺:其一,国内现有的生物大数据分析能力虽然与欧美相差不大,但是在数据分析构架、软件系统与先进的IT技术接轨上有待提升。其二,国外在生物大数据领域的领先人才多,尽管我们也有国际顶级刊物上发表的论文和成果,总体而言,国内高水准团队还是少。其三,欧美讲求成果应用,层出不穷的分析软件可被实验室、临床、产业多方应用。其四,在生物大数据理论研究、标准制定和广泛应用上,中国都亟待全面跟进。欢迎加入大数据交流群:658558542 一起吹水交流学习

    三、金融大数据理财利器

    金融行业的大数据面临的往往是同样的问题,但是情况可能要好点,类似企业和个人的一些信用记录现在有全国性质的统一数据库能够拿到部分数据。但是对于单个银行来说,同样是无法拿到用户在其他银行的行为记录数据的,其二银行本身在做很多信贷风险分析的时候,确实需要大量数据做相关性分析,但是很多数据来源于政府各个职能部门,包括工商税务,质量监督,检察院法院等,这些数据短期仍然是无法拿到。还有就是企业或个人本事日常产生的各种行为数据更难拿到,那么对客户的风险性评估还是得借用原来的老方法而已。

    大数据在金融行业应用范围较广,典型的案例有花旗银行利用IBM沃森电脑为财富管理客户推荐产品;美国银行利用客户点击数据集为客户提供特色服务,如有竞争的信用额度;招商银行利用客户刷卡、存取款、电子银行转帐、微信评论等行为数据进行分析,每周给客户发送针对性广告信息,里面有顾客可能感兴趣的产品和优惠信息。

    可见,大数据在金融行业的应用可以总结为以下五个方面:

    精准营销:依据客户消费习惯、地理位置、消费时间进行推荐

    风险管控:依据客户消费和现金流提供信用评级或融资支持,利用客户社交行为记录实施信用卡反欺诈

    决策支持:利用抉策树技术进抵押贷款管理,利用数据分析报告实施产业信贷风险控制

    效率提升:利用金融行业全局数据了解业务运营薄弱点,利用大数据技术加快内部数据处理速度

    产品设计:利用大数据计算技术为财富客户推荐产品,利用客户行为数据设计满足客户需求的金融产品

    四、零售大数据最懂消费者

    零售行业大数据应用有两个层面,一个层面是零售行业可以了解客户消费喜好和趋势,进行商品的精准营销,降低营销成本。另一层面是依据客户购买产品,为客户提供可能购买的其它产品,扩大销售额,也属于精准营销范畴。另外零售行业可以通过大数据掌握未来消费趋势,有利于热销商品的进货管理和过季商品的处理。零售行业的数据对于产品生产厂家是非常宝贵的,零售商的数据信息将会有助于资源的有效利用,降低产能过剩,厂商依据零售商的信息按实际需求进行生产,减少不必要的生产浪费。

    未来考验零售企业的不再只是零供关系的好坏,而是要看挖掘消费者需求,以及高效整合供应链满足其需求的能力,因此信息科技技术水平的高低成为获得竞争优势的关键要素。不论是国际零售巨头,还是本土零售品牌,要想顶住日渐微薄的利润率带来的压力,在这片红海中立于不败之地,就必须思考如何拥抱新科技,并为顾客们带来更好的消费体验。

    想象一下这样的场景,当顾客在地铁候车时,墙上有某一零售商的巨幅数字屏幕广告,可以自由浏览产品信息,对感兴趣的或需要购买的商品用手机扫描下单,约定在晚些时候送到家中。而在顾客浏览商品并最终选购商品后,商家已经了解顾客的喜好及个人详细信息,按要求配货并送达顾客家中。未来,甚至顾客都不需要有任何购买动作,利用之前购买行为产生的大数据,当你的沐浴露剩下最后一滴时,你中意的沐浴露就已送到你的手上,而虽然顾客和商家从未谋面,但已如朋友般熟识。欢迎加入大数据交流群:658558542 一起吹水交流学习

    五、电商大数据精准营销法宝

    电商是最早利用大数据进行精准营销的行业,除了精准营销,电商可以依据客户消费习惯来提前为客户备货,并利用便利店作为货物中转点,在客户下单15分钟内将货物送上门,提高客户体验。马云的菜鸟网络宣称的24小时完成在中国境内的送货,以及京的刘强东宣传未来京东将在15分钟完成送货上门都是基于客户消费习惯的大数据分析和预测。

    电商可以利用其交易数据和现金流数据,为其生态圈内的商户提供基于现金流的小额贷款,电商业也可以将此数据提供给银行,同银行合作为中小企业提供信贷支持。由于电商的数据较为集中,数据量足够大,数据种类较多,因此未来电商数据应用将会有更多的想象空间,包括预测流行趋势,消费趋势、地域消费特点、客户消费习惯、各种消费行为的相关度、消费热点、影响消费的重要因素等。依托大数据分析,电商的消费报告将有利于品牌公司产品设计,生产企业的库存管理和计划生产,物流企业的资源配制,生产资料提供方产能安排等等,有利于精细化社会化大生产,有利于精细化社会的出现。欢迎加入大数据交流群:658558542 一起吹水交流学习

    六、农牧大数据量化生产

    大数据在农业应用主要是指依据未来商业需求的预测来进行农牧产品生产,降低菜贱伤农的概率。同时大数据的分析将会更见精确预测未来的天气气候,帮助农牧民做好自然灾害的预防工作。大数据同时也会帮助农民依据消费者消费习惯决定来增加哪些品种的种植,减少哪些品种农作物的生产,提高单位种植面积的产值,同时有助于快速销售农产品,完成资金回流。牧民可以通过大数据分析来安排放牧范围,有效利用牧场。渔民可以利用大数据安排休渔期、定位捕鱼范围等。

    由于农产品不容易保存,因此合理种植和养殖农产品对十分重要。如果没有规划好,容易产生菜贱伤农的悲剧。过去出现的猪肉过剩、卷心菜过剩、香蕉过剩的原因就是农牧业没有规划好。借助于大数据提供的消费趋势报告和消费习惯报告,政府将为农牧业生产提供合理引导,建议依据需求进行生产,避免产能过剩,造成不必要的资源和社会财富浪费。农业关乎到国计民生,科学的规划将有助于社会整体效率提升。大数据技术可以帮助政府实现农业的精细化管理,实现科学决策。在数据驱动下,结合无人机技术,农民可以采集农产品生长信息,病虫害信息。相对于过去雇佣飞机成本将大大降低,同时精度也将大大提高。欢迎加入大数据交流群:658558542 一起吹水交流学习

    七、交通大数据畅通出行

    交通作为人类行为的重要组成和重要条件之一,对于大数据的感知也是最急迫的。近年来,我国的智能交通已实现了快速发展,许多技术手段都达到了国际领先水平。但是,问题和困境也非常突出,从各个城市的发展状况来看,智能交通的潜在价值还没有得到有效挖掘:对交通信息的感知和收集有限,对存在于各个管理系统中的海量的数据无法共享运用、有效分析,对交通态势的研判预测乏力,对公众的交通信息服务很难满足需求。这虽然有各地在建设理念、投入上的差异,但是整体上智能交通的现状是效率不高,智能化程度不够,使得很多先进技术设备发挥不了应有的作用,也造成了大量投入上的资金浪费。这其中很重要的问题是小数据时代带来的硬伤:从模拟时代带来的管理思想和技术设备只能进行一定范围的分析,而管理系统的那些关系型数据库只能刻板的分析特定的关系,对于海量数据尤其是半结构、非结构数据无能为力。

    尽管现在已经基本实现了数字化,但是数字化和数据化还根本不是一回事,只是局部的提高了采集、存储和应用的效率,本质上并没有太大的改变。而大数据时代的到来必然带来破解难题的重大机遇。大数据必然要求我们改变小数据条件下一味的精确计算,而是更好的面对混杂,把握宏观态势;大数据必然要求我们不再热衷因果关系而是相关关系,使得处理海量非结构化数据成为可能,也必然促使我们努力把一切事物数据化,最终实现管理的便捷高效。

    目前,交通的大数据应用主要在两个方面,一方面可以利用大数据传感器数据来了解车辆通行密度,合理进行道路规划包括单行线路规划。另一方面可以利用大活数据来实现即时信号灯调度,提高已有线路运行能力。科学的安排信号灯是一个复杂的系统工程,必须利用大数据计算平台才能计算出一个较为合理的方案。科学的信号灯安排将会提高30%左右已有道路的通行能力。在美国,政府依据某一路段的交通事故信息来增设信号灯,降低了50%以上的交通事故率。机场的航班起降依靠大数据将会提高航班管理的效率,航空公司利用大数据可以提高上座率,降低运行成本。铁路利用大数据可以有效安排客运和货运列车,提高效率、降低成本。

    八、教育大数据因材施教

    随着技术的发展,信息技术已在教育领域有了越来越广泛的应用。考试、课堂、师生互动、校园设备使用、家校关系……只要技术达到的地方,各个环节都被数据包裹。

    在课堂上,数据不仅可以帮助改善教育教学,在重大教育决策制定和教育改革方面,大数据更有用武之地。美国利用数据来诊断处在辍学危险期的学生、探索教育开支与学生学习成绩提升的关系、探索学生缺课与成绩的关系。举一个比较有趣的例子,教师的高考成绩和所教学生的成绩有关吗?究竟如何,不妨借助数据来看。比如美国某州公立中小学的数据分析显示,在语文成绩上,教师高考分数和学生成绩呈现显著的正相关。也就是说,教师的高考成绩与他们现在所教语文课上的学生学习成绩有很明显的关系,教师的高考成绩越好,学生的语文成绩也越好。这个关系让我们进一步探讨其背后真正的原因。其实,教师高考成绩高低某种程度上是教师的某个特点在起作用,而正是这个特点对教好学生起着至关重要的作用,教师的高考分数可以作为挑选教师的一个指标。如果有了充分的数据,便可以发掘更多的教师特征和学生成绩之间的关系,从而为挑选教师提供更好的参考。

    大数据还可以帮助家长和教师甄别出孩子的学习差距和有效的学习方法。比如,美国的麦格劳-希尔教育出版集团就开发出了一种预测评估工具,帮助学生评估他们已有的知识和达标测验所需程度的差距,进而指出学生有待提高的地方。评估工具可以让教师跟踪学生学习情况,从而找到学生的学习特点和方法。有些学生适合按部就班,有些则更适合图式信息和整合信息的非线性学习。这些都可以通过大数据搜集和分析很快识别出来,从而为教育教学提供坚实的依据。

    在国内尤其是北京、上海、广东等城市,大数据在教育领域就已有了非常多的应用,譬如像慕课、在线课程、翻转课堂等,其中就应用了大量的大数据工具。

    毫无疑问,在不远的将来,无论是针对教育管理部门,还是校长、教师,以及学生和家长,都可以得到针对不同应用的个性化分析报告。通过大数据的分析来优化教育机制,也可以做出更科学的决策,这将带来潜在的教育革命。不久的将来个性化学习终端,将会更多的融入学习资源云平台,根据每个学生的不同兴趣爱好和特长,推送相关领域的前沿技术、资讯、资源乃至未来职业发展方向,等等,并贯穿每个人终身学习的全过程。

    九、体育大数据夺冠精灵

    从《点球成金》这部电影开始,体育界的有识之士们终于找到了向往已久的道路,那就是如何利用大数据来让团队发挥最佳水平。从足球到篮球,数据似乎成为赢得比赛甚至是奖杯的金钥匙。

    大数据对于体育的改变可以说是方方面面,从运动员本身来讲,可穿戴设备收集的数据可以让自己更了解身体状况。媒体评论员,通过大数据提供的数据更好的解说比赛,分析比赛。数据已经通过大数据分析转化成了洞察力,为体育竞技中的胜利增加筹码,也为身处世界各地的体育爱好者随时随地观赏比赛提供了个性化的体验。

    尽管鲜有职业网球选手愿意公开承认自己利用大数据来制定比赛策划和战术,但几乎每一个球员都会在比赛前后使用大数据服务。有教练表示:“在球场上,比赛的输赢取决于比赛策略和战术,以及赛场上连续对打期间的快速反应和决策,但这些细节转瞬即逝,所以数据分析成为一场比赛最关键的部分。对于那些拥护并利用大数据进行决策的选手而言,他们毋庸置疑地将赢得足够竞争优势。”欢迎加入大数据交流群:658558542 一起吹水交流学习

    十、环保大数据对抗PM2.5

    前年7月21日北京遭遇特大暴雨,在一天之内,平均降雨量达164毫米,也是北京市61年以来最大规模暴雨。此次暴雨因来势凶猛而给广大市民生活带来巨大影响。其实,摊上这种事儿,最主要的还是需要气象部门及时、准确地做出预警,并协同其他运营商部门,将这种预警信息第一时间下发到北京市民(包括在京旅行的人士)。也正是如此,前年的那场暴雨不仅暴露出了管理工作上的漏洞,也引起了业内人士关于一场“大数据”的探讨。

    气象对社会的影响涉及到方方面面。传统上依赖气象的主要是农业、林业和水运等行业部门,而如今,气象俨然成为了二十一世纪社会发展的资源,并支持定制化服务满足各行各业用户需要。借助于大数据技术,天气预报的准确性和实效性将会大大提高,预报的及时性将会大大提升,同时对于重大自然灾害,例如龙卷风,通过大数据计算平台,人们将会更加精确地了解其运动轨迹和危害的等级,有利于帮助人们提高应对自然灾害的能力。天气预报的准确度的提升和预测周期的延长将会有利于农业生产的安排。

    尤其是进入秋冬季以来,我国多个城市爆发雾霾天气,空气污染严重。随着PM2.5对于人体健康的危害日益被公众熟知,人们对于“雾霾假”的呼声也越来越高。有人调侃,重度污染天走在上班路上就是一台“人肉吸尘器”。

    由此看来,依靠大数据分析北京或其他城市空气污染的形成及对策,任重道远。一是数据的来源。高耗能企业的生产规模、排放量这些数据是否层层上报,准确统计?掌握此数据的部门是否能向社会公开?北京500万辆汽车所加汽油到底有哪些成分,产生的尾气对空气污染指数的“贡献”率到底多大?二是要冲破数据挖掘分析应用的技术壁垒,当然前提就是数据公开。

    在美国NOAA(国家海洋暨大气总署)其实早就在使用大数据业务。每天通过卫星、船只、飞机、浮标、传感器等收集超过35亿份观察数据。收集完毕后,NOAA会汇总大气数据,海洋数据,以及地质数据,进行直接测定,绘制出复杂的高保真预测模型,将其提供给NWS(国家气象局)做出气象预报的参考数据。目前,NOAA每年新增管理的数据量就高达30PB(1PB=1024TB)。由NWS生成的最终分析结果,就呈现在日常的天气预报和预警报道上。

    十一、食品大数据舌尖上的安全

    民以食为天,食品安全问题直是国家的重点关注问题,关系着人们的身体健康和国家安全。近几年,毒胶囊、镉大米、瘦肉精、洋奶粉等食品安全事件不断考验着消费者的承受力,让消费者对食品安全产生了担忧。

    近几年外国旅游者减少了到中国旅游,进口食品大幅度增加,这其中一个主要原因就是食品安全问题。随着科学技术和生活水平的不断提高,食品添加剂及食品品种越来越多,传统手段难以满足当前复杂的食品监管需求,从不断出现的食品安全问题来看,食品监管成了食品安全的棘手问题。此刻,通过大数据管理将海量数据聚合在一起,将离散的数据需求聚合能形成数据长尾,从而满足传统中难以实现的需求。在数据驱动下,采集人们在互联网上提供的举报信息,国家可以掌握部分乡村和城市的死角信息,挖出不法加工点,提高执法透明度,降低执法成本。国家可以参考医院提供的就诊信息,分析出涉及食品安全的信息,及时进行监督检查,第一时间进行处理,降低已有不安全食品的危害。参考个体在互联网的搜索信息,掌握流行疾病在某些区域和季节的爆发趋势,及时进行干预,降低其流行危害。政府可以提供不安全食品厂商信息,不安全食品信息,帮助人们提高食品安全意识。

    当然,有专业人士认为食品安全涉及到从田头到餐桌的每一个环节,需要覆盖全过程的动态监测才能保障食品安全,以稻米生产为例,产地、品种、土壤、水质、病虫害发生、农药种类与数量、化肥、收获、储藏、加工、运输、销售等环节,无一不影响稻米安全状况,通过收集、分析各环节的数据,可以预测某产地将收获的稻谷或生产的稻米是否存在安全隐患。

    大数据不仅能带来商业价值,亦能产生社会价值。随着信息技术的发展,食品监管也面临着众多的各种类型的海量数据,如何从中提取有效数据成为关键所在。可见,大数据管理是一项巨大挑战,一方面要及时提取数据以满足食品安全监管需求;另一方面需在数据的潜在价值与个人隐私之间进行平衡。相信大数据管理在食品监管方面的应用,可以为食品安全撑起一把有力的保护伞。

    十二、政府调控和财政支出大数据令其有条不紊

    政府利用大数据技术可以了解各地区的经济发展情况,各产业发展情况,消费支出和产品销售情况,依据数据分析结果,科学地制定宏观政策,平衡各产业发展,避免产能过剩,有效利用自然资源和社会资源,提高社会生产效率。大数据还还可以帮助政府进行监控自然资源的管理,无论是国土资源、水资源、矿产资源、能源等,大数据通过各种传感器来提高其管理的精准度。同时大数据技术也能帮助政府进行支出管理,透明合理的财政支出将有利于提高公信力和监督财政支出。

    大数据及大数据技术带给政府的不仅仅是效率提升、科学决策、精细管理,更重要的是数据治国、科学管理的意识改变,未来大数据将会从各个方面来帮助政府实施高效和精细化管理。政府运作效率的提升,决策的科学客观,财政支出合理透明都将大大提升国家整体实力,成为国家竞争优势。大数据带个国家和社会的益处将会具有极大的想象空间。

    十三、舆情监控大数据名探柯南

    《黑猫警长》大家都很熟悉,它讲述的是“黑猫警长”如何精明能干、对坏人穷追不舍、跌宕起伏的故事情节。拿到大数据时代背景下的话,虽然它也能体现“黑猫警长”的尽职尽责、聪明能干,但更多的会归结到一个问题:为何还是如此的被动、低效?疾病可以预防,难道犯罪不能预防么?

    答案是肯定的。美国密歇根大学研究人员就设计出一种利用“超级计算机以及大量数据”来帮助警方定位那些最易受到不法份子侵扰片区的方法。具体做法是,研究人员通过大量的多类型数据(从人口统计数据到毒品犯罪数据到各区域所出售酒的种类、治安状况、流动人口数据等等),创建一张波士顿犯罪高发地区热点图。同时,还将相邻片区等各种因素加入到数据模型中,并根据历史犯罪记录和地点统计并不断修正所得出的预测数据。

    国家正在将大数据技术用于舆情监控,其收集到的数据除了解民众诉求,降低群体事件之外,还可以用于犯罪管理。大量的社会行为正逐步走向互联网,人们更愿意借助于互联网平台来表述自己的想法和宣泄情绪。社交媒体和朋友圈正成为追踪人们社会行为的平台,正能量的东西有,负能量的东西也不少。一些好心人通过微博来帮助别人寻找走失的亲人或提供可能被拐卖人口的信息,这些都是社会群体互助的例子。国家可以利用社交媒体分享的图片和交流信息,来收集个体情绪信息,预防个体犯罪行为和反社会行为。最近警方通过微搏信息抓获了聚众吸毒的人,处罚了虐待小孩的家长。

    大数据技术的发展带来企业经营决策模式的转变,驱动着行业变革,衍生出新的商机和发展契机。驾驭大数据的能力已被证实为领军企业的核心竞争力,这种能力能够帮助企业打破数据边界,绘制企业运营全景视图,做出最优的商业决策和发展战略。其实,不论是哪个行业的大数据分析和应用场景,可以看到一个典型的特点还是无法离开以人为中心所产生的各种用户行为数据,用户业务活动和交易记录,用户社交数据,这些核心数据的相关性再加上可感知设备的智能数据采集就构成一个完整的大数据生态环境。
      为了帮助大家让学习变得轻松、高效,给大家免费分享一大批资料,帮助大家在成为大数据工程师,乃至架构师的路上披荆斩棘。在这里给大家推荐一个大数据学习交流圈:658558542 欢迎大家进群交流讨论,学习交流,共同进步。

    当真正开始学习的时候难免不知道从哪入手,导致效率低下影响继续学习的信心。

    但最重要的是不知道哪些技术需要重点掌握,学习时频繁踩坑,最终浪费大量时间,所以有有效资源还是很有必要的。

    最后祝福所有遇到瓶疾且不知道怎么办的大数据程序员们,祝福大家在往后的工作与面试中一切顺利。

    展开全文
  • 如果提到“大数据”时,你会想到什么?也许大部分人会联想到庞大的服务器集群;...很多企业热衷于社交媒体数据、浏览器日志、文本挖掘等各类数据集,通过大数据技术创建预测模型,从而更全面地了解客户以及...

    如果提到“大数据”时,你会想到什么?也许大部分人会联想到庞大的服务器集群;或者联想到销售商提供的一些个性化的推荐和建议。

    如今大数据的深度和广度远不止这些,大数据已经在人类社会实践中发挥着巨大的优势,其利用价值也超出我们的想像。

    1.了解和定位客户

    这是大数据目前最广为人知的应用领域。很多企业热衷于社交媒体数据、浏览器日志、文本挖掘等各类数据集,通过大数据技术创建预测模型,从而更全面地了解客户以及他们的行为、喜好。

    利用大数据,美国零售商Target公司甚至能推测出客户何时会有Baby;电信公司可以更好地预测客户流失;沃尔玛可以更准确的预测产品销售情况;汽车保险公司能更真实的了解客户实际驾驶情况。

    滑雪场利用大数据来追踪和锁定客户。如果你是一名狂热的滑雪者,想象一下,你会收到最喜欢的度假胜地的邀请;或者收到定制化服务的短信提醒;或者告知你最合适的滑行线路。。。。。。同时提供互动平台(网站、手机APP)记录每天的数据——多少次滑坡,多少次翻越等等,在社交媒体上分享这些信息,与家人和朋友相互评比和竞争。

    除此之外,政府竞选活动也引入了大数据分析技术。一些人认为,奥巴马在2012年总统大选中获胜,归功于他们团队的大数据分析能力更加出众。

    2.了解和优化业务流程

    大数据也越来越多地应用于优化业务流程,比如供应链或配送路径优化。通过定位和识别系统来跟踪货物或运输车辆,并根据实时交通路况数据优化运输路线。

    人力资源业务流程也在使用大数据进行优化。Sociometric Solutions公司通过在员工工牌里植入传感器,检测其工作场所及社交活动——员工在哪些工作场所走动,与谁交谈,甚至交流时的语气如何。美国银行在使用中发现呼叫中心表现最好的员工——他们制定了小组轮流休息制度,平均业绩提高了23%。

    如果在手机、钥匙、眼镜等随身物品上粘贴RFID标签,万一不小心丢失就能迅速定位它们。假想一下未来可能创造出贴在任何东西上的智能标签。它们能告诉你的不仅是物体在哪里,还可以反馈温度,湿度,运动状态等等。这将打开一个全新的大数据时代,“大数据”领域寻求共性的信息和模式,那么孕育其中的“小数据”着重关注单个产品。

    3.提供个性化服务

    大数据不仅适用于公司和政府,也适用于我们每个人,比如从智能手表或智能手环等可穿戴设备采集的数据中获益。Jawbone的智能手环可以分析人们的卡路里消耗、活动量和睡眠质量等。Jawbone公司已经能够收集长达60年的睡眠数据,从中分析出一些独到的见解反馈给每个用户。从中受益的还有网络平台“寻找真爱”,大多数婚恋网站都使用大数据分析工具和算法为用户匹配最合适的对象。

    4.改善医疗保健和公共卫生

    大数据分析的能力可以在几分钟内解码整个DNA序列,有助于我们找到新的治疗方法,更好地理解和预测疾病模式。试想一下,当来自所有智能手表等可穿戴设备的数据,都可以应用于数百万人及其各种疾病时,未来的临床试验将不再局限于小样本,而是包括所有人!

    苹果公司的一款健康APP ResearchKit有效将手机变成医学研究设备。通过收集用户的相关数据,可以追踪你一天走了多少步,或者提示你化疗后感觉如何,帕金森病进展如何等问题。研究人员希望这一过程变得更容易、更自动化,吸引更多的参与者,并提高数据的准确度。

    大数据技术也开始用于监测早产儿和患病婴儿的身体状况。通过记录和分析每个婴儿的每一次心跳和呼吸模式,提前24小时预测出身体感染的症状,从而及早干预,拯救那些脆弱的随时可能生命危险的婴儿。

    更重要的是,大数据分析有助于我们监测和预测流行性或传染性疾病的暴发时期,可以将医疗记录的数据与有些社交媒体的数据结合起来分析。比如,谷歌基于搜索流量预测流感爆发,尽管该预测模型在2014年并未奏效——因为你搜索“流感症状”并不意味着真正生病了,但是这种大数据分析的影响力越来越为人所知。

    5.提高体育运动技能

    如今大多数顶尖的体育赛事都采用了大数据分析技术。用于网球比赛的IBM SlamTracker工具,通过视频分析跟踪足球落点或者棒球比赛中每个球员的表现。许多优秀的运动队也在训练之外跟踪运动员的营养和睡眠情况。NFL开发了专门的应用平台,帮助所有球队根据球场上的草地状况、天气状况、以及学习期间球员的个人表现做出最佳决策,以减少球员不必要的受伤。

    还有一件非常酷的事情是智能瑜伽垫:嵌入在瑜伽垫中的传感器能对你的姿势进行反馈,为你的练习打分,甚至指导你在家如何练习。
    人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
    1.大数据时代,主要需要什么类型的人才?
    http://www.duozhishidai.com/article-1554-1.html
    2.对于大数据开发的学习,最经典的学习路线是什么?
    http://www.duozhishidai.com/article-1544-1.html
    3.Hadoop是什么,主要有哪几部分组成和Hadoop的影响力
    http://www.duozhishidai.com/article-1152-1.html
    4.大数据在各行业的应用和趋势
    http://www.duozhishidai.com/article-477-1.html
    5.大数据人才定义和分类
    http://www.duozhishidai.com/article-405-1.html


    多智时代-人工智能大数据学习入门网站|人工智能、大数据、物联网云计算的学习交流网站

    多智时代-人工智能大数据学习入门网站|人工智能、大数据、云计算、物联网的学习服务的好平台
    展开全文
  • 10大行业大数据应用痛点及解决策略

    千次阅读 2019-05-05 13:58:20
    大数据已经成为这几年中大部分行业的游戏规则,行业领袖,学者和其他知名的利益相关者都同意这一点,随着大数据继续渗透到我们的日常生活中,围绕大数据的炒作正在转向实际使用中的真正价值。 ...

    大数据已经成为这几年中大部分行业的游戏规则,行业领袖,学者和其他知名的利益相关者都同意这一点,随着大数据继续渗透到我们的日常生活中,围绕大数据的炒作正在转向实际使用中的真正价值。

     

      虽然了解大数据的价值仍然是一个挑战,但其他实践中的挑战包括资金投入和投资回报率以及相关技能仍然是大数据行业排名前列。Gartner调查显示,75%以上的公司正在投资或计划在未来两年投资大数据。

     

      一般来说,大多数公司都希望有几个大数据项目,公司的主要目标是增强客户体验,但其他目标包括降低成本,更有针对性地进行营销,并使现有流程更有效率。近来,数据泄露也使安全性成为大数据项目需要解决的重要问题。

     

      然而,更重要的是,当涉及到大数据时,你所在的位置是在哪里,你很可能会发现你处于以下几种情况之一:

     

      1、想要弄清楚大数据中是否存在真正的价值;

     

      2、评估市场机会的规模;

     

      3、开发使用大数据的新服务和产品;

     

      4、已经使用大数据解决方案重新定位现有的服务和产品以利用大数据;

     

      5、已经使用大数据解决方案;

    在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取
     

     

      考虑到这一点,了解大数据的全景及其在不同行业的应用,将有助于更好地了解你的角色和未来不同行业的发展。本文分析10个使用大数据的垂直行业,这些行业面临的挑战以及大数据如何解决这些问题。

     

      1、银行业与证券业

     

      一项研究对10个顶级投资和零售业务银行的16个项目进行了调查,结果显示:行业的挑战包括:证券欺诈预警,超高频金融数据分析,信用卡欺诈检测,审计跟踪归档,企业信用风险报告,贸易可见度,客户数据转换, 交易的社会分析,IT运营分析和IT策略合规性分析等。


    \

     

      大数据在银行业和证券业的应用 证券交易委员会(SEC)正在使用大数据来监控金融市场活动。他们目前正在使用网络分析和自然语言处理器来捕捉金融市场的非法交易活动。金融市场的零售商,大银行,对冲基金和其他所谓的“大男孩”使用大数据进行高频交易,交易前决策支持分析,情绪测量,预测分析等方面的交易分析。该行业还严重依赖大数据进行风险分析,包括反洗钱,企业风险管理,“了解你的客户”和减少欺诈。

     

      2、通讯、媒体和娱乐

     

      由于消费者期望有不同格式和各种设备的多媒体需求,通信,媒体和娱乐行业的一些重大数据挑战包括:

     

      1、收集,分析和利用消费者洞察;

     

      2、利用移动和社交媒体内容;

     

      3、了解实时,媒体内容使用情况;


    \

     

      大数据在通信,媒体和娱乐行业的应用 该行业的企业同时分析客户数据以及行为数据,以创建详细的客户资料,可用于:

     

      1、为不同的目标受众创建内容;

     

      2、根据需要推荐内容;

     

      3、衡量内容效果;

     

      一个例子是温布尔登网球锦标赛,利用大数据实时对电视,移动和网络用户观看网球比赛的详细情绪分析。Spotify是按需音乐服务,使用hadoop大数据分析,从全球数百万用户收集数据,然后使用分析的数据向个人用户提供个性化的音乐推荐。亚马逊Prime通过在一站式商店中提供,视频,音乐和Kindle书籍提供良好的客户体验,也大量利用大数据。

     

      3、医疗保健

     

      医疗保健部门获得了大量的数据,但一直没能使用数据来遏制医疗保健成本上升,提高医疗保健收益,提高系统效率。这主要是因为电子数据不足或不可用。 另外,保存健康相关信息的医疗保健数据库很难与医疗领域有用模式的数据链接起来。


    \

     

      其他与大数据相关的挑战包括:将患者排除在决策过程之外,以及使用来自不同渠道的容易获得的传感器的数据。以色列贝斯的一些医院正在使用数百万病人从手机应用收集的数据,让医生可以使用循证医学,而不是像传统医院一样,对病人进行医疗/实验室检测。有些测试是有效的,但大部分是昂贵的并且通常是低效的。

     

      佛罗里达大学使用免费公共卫生数据和Google地图创建视觉数据,可以更快速地识别和有效分析医疗信息,用于跟踪慢性病的传播。奥巴马医保方案也以多种方式利用了大量数据。

     

      4、教育行业

     

      从技术角度来看,教育行业面临的一个重大挑战是将来自不同来源和供应商的大数据整合其中,并将其用于一个数据的平台。从实践的角度来看,教育从业者和机构必须学习新的数据管理和分析工具。 在技术方面,整合来自不同来源的数据,不同平台和原本不相互合作的不同供应商都面临挑战。

     

      在政治上,与用于教育目的的大数据相关的隐私和个人数据保护问题是一个挑战。大数据在高等教育中的应用相当显着。例如,塔斯马尼亚大学。一个拥有26000多名学生的澳大利亚大学,部署了一个学习和管理系统,学生登录系统,系统追踪学生花费的时间以及学生的整体进度等。在教育中使用大数据的不同用例中,它也用于衡量教师教学的有效性,以确保学生和教师的良好体验。教师的表现可以根据学生人数,学科人数,学生期望,行为分类和其他几个变量进行微调和衡量。

     

      在政府层面上,美国教育部的教育技术办公室正在使用大数据来开发分析数据,以帮助纠正选错在线课程的学生,点击模式也被用来检测学生学习时的无聊程度。

     

      5、制造业和自然资源开采业

     

      对石油,农产品,矿产,天然气,金属等自然资源的需求日益增加,导致数据量的增加,复杂性和提高速度是一个挑战。同样,来自制造业的大量数据尚未得到开发。 这种信息的利用不足阻碍了产品质量提高,能源效率和可靠性的提升,以及更好的利润率。


    \

     

      在自然资源行业,通过大数据可以利用地理空间数据,图形数据,文本和时间数据中摄取和整合大量数据建立预测模型,帮助做出决策,应用的领域包括:地震解释和油藏表征。大数据也被用于解决当今制造业所面临的挑战,懿获得竞争优势。

     

      6、政府

     

      在政府中,最大的挑战是不同政府部门和附属机构大数据的整合和互操作性。 大数据在政府中的应用 在公共服务方面,大数据应用范围非常广泛,包括能源勘探,金融市场分析,欺诈检测,健康相关研究和环境保护。


    \

     

      一些更具体的例子如下:

     

      1、大数据用于分析社会保障局(SSA)提供的非结构化数据的大量社会残疾索赔。用于分析快速有效地处理医疗信息,以加快决策速度,并检测可疑或欺诈性声明。

     

      2、食品和药物管理局(FDA)正在使用大量数据来检测和研究食物相关疾病和疾病的模式。从而做出更快的反应,提供更快的治疗,减少死亡。

     

      3、国土安全部使用大数据分为几种不同的用例。 大数据来自不同政府机构的分析,以及用于保护国家安全的数据。

     

      7、保险业

     

      主要挑战包括缺乏个性化服务,缺乏个性化定价和缺乏针对新细分市场和特定细分市场的有针对性的服务。在由Marketforce进行的调查中,保险业专业人士确定的挑战包括数据不足带来的利润损失,以及渴望更好的洞察力。业界已经在使用大数据,通过从社交媒体,支持GPS的设备和监控录像中得到的数据分析和预测客户行为,为透明和简单的产品提供客户洞察。大数据还可以保护公司更好的提高客户留存。

     

      在索赔管理方面,大数据的预测分析已被用于提供更快的服务,因为大量的数据可以在承保阶段进行特别分析。 欺诈检测也得到了加强。通过数字渠道和社交媒体的大量数据,索赔周期的索赔实时监控已被用于为保险公司提供见解。

     

      8、零售和批发贸易

     

      从传统的实体零售商和批发商到现在的电子商务,行业已经收集了大量的数据。来自客户会员卡,POS扫描仪,RFID等的这些数据并没有被用于整体上改善客户体验。所有改变和改进都相当缓慢。来自客户忠诚度数据,POS,商店库存,本地人口统计数据的大数据将继续由零售和批发商店收集。

     

      在纽约大展零售贸易大会上,像微软,思科和IBM这样的公司表示,零售行业需要利用大数据进行分析和其他用途,包括:

     

      1、通过购物模式,本地活动等数据优化员工配置

     

      2、减少欺诈

     

      3、及时分析库存

     

      社交媒体的使用也具有很大的潜在用途,并且将以缓慢的速度地被实体店采用。社交媒体用于客户探索,客户保留,产品推广等。

     

      9、交通行业

     

      政府,私人机构和个人的一些大数据应用包括:

     

      1、政府使用大数据:交通管制,路线规划,智能交通系统,拥堵管理(预测交通状况)

     

      2、私营部门在运输中使用大数据:收入管理,技术改进,物流和竞争优势(通过整合出货量和优化货运)

     

      3、个人使用大数据包括:路线规划节省燃料和时间,旅游安排等。

     

      10、能源与公用事业

     

      1、电网资产的60%将在十年内需要更换

     

      2、全球风电装机容量同比增长12.4%

     

      3、智能电表成为主流,而消费者要求更多的控制和了解能源消耗。

     

      智能电表读取器允许几乎每15分钟收集数据,而不是每天用旧的读表器收集数据。这种细粒度数据被用于更好地分析实用程序的消耗,这允许改进客户反馈和更好地控制公用事业的使用。在公用事业公司,使用大数据还可以提供更好的资产和人力资源管理,这对于识别错误和在完成失败之前尽快进行纠正是有用的。

     

      总结

     

      本文总共梳理了10个垂直行业中大数据的重要作用,以下是几个关键要点:

     

      1 在大数据领域有大量支出;

     

      2 要利用大数据机会,你需要:熟悉并了解行业特定的挑战、了解每个行业的数据特征、了解支出在哪里发生、通过自己的能力和解决方案来满足市场需求;

     

      3 垂直行业的专业知识是有效和高效地利用大数据的关键。

    展开全文
  • 大数据在互联网行业的应用

    万次阅读 2019-07-05 20:59:57
    互联网企业拥有大量的线上数据,而且数据量还在快速增长,除了利用大数据提升自己的业务之外,互联网企业已经开始实现数据业务化,利用大数据发现新的商业价值。 以阿里巴巴为例,它不仅在不断加强个性化推荐、“千...

    互联网企业拥有大量的线上数据,而且数据量还在快速增长,除了利用大数据提升自己的业务之外,互联网企业已经开始实现数据业务化,利用大数据发现新的商业价值。

    以阿里巴巴为例,它不仅在不断加强个性化推荐、“千人千面”这种面向消费者的大数据应用,并且还在尝试利用大数据进行智能客户服务,这种应用场景会逐渐从内部应用延展到外部很多企业的呼叫中心之中。

    在面向商家的大数据应用中,以“生意参谋”为例,超过 600 万商家在利用“生意参谋”提升自己的电商店面运营水平。除了面向自己的生态之外,阿里巴巴数据业务化也在不断加速,“芝麻信用”这种基于收集的个人数据进行个人信用评估的应用获得了长足发展,应用场景从阿里巴巴的内部延展到越来越多的外部场景,如租车、酒店、签证等。

    因为客户的所有行为都会在互联网平台上留下痕迹,所以互联网企业可以方便地获取大量的客户行为信息。由互联网商务平台产生的信息一般具有真实性和确定性,通过运用大数据技术对这些数据进行分析,可以帮助企业制定出具有针对性的服务策略,从而获取更大的效益。近年来的实践证明,合理地运用大数据技术能够将电子商务的营业效率提高 60% 以上。

    大数据在过去几年中已经改变了电子商务的面貌,具体来讲,电子商务行业的大数据应用有以下几个方面:精准营销、个性化服务、商品个性化推荐。

    1. 精准营销

    互联网企业使用大数据技术采集有关客户的各类数据,并通过大数据分析建立“用户画像”来抽象地描述一个用户的信息全貌,从而可以对用户进行个性化推荐、精准营销和广告投放等。

    当用户登录网站的瞬间,系统就能预测出该用户今天为何而来,然后从商品库中把合适的商品找出来,并推荐给他。图 1 显示了用户画像会包括哪些用户基本信息和特性。

    用户画像
    图 1  用户画像

    大数据支持下的营销核心在于,让企业的业务在合适的时间,通过合适的载体,以合适的方式,推送给最需要此业务的用户。

    首先,大数据营销具有很强的时效性。在互联网时代,用户的消费行为极易在短时间内发生变化,大数据营销可以在用户需求最旺盛时及时进行营销策略实施。

    其次,可以实施个性化、差异化营销。大数据营销可以根据用户的兴趣爱好、在某一时间点的需求,做到对细分用户的一对一的营销,让业务的营销做到有的放矢,并可以根据实时性的效果反馈,及时调整营销策略。

    最后,大数据营销对目标用户的信息可以进行关联性分析。大数据可以对用户的各种信息进行多维度的关联分析,从大量数据中发现数据项集之间有趣的关联和相关联系。

    例如,通过发现用户购物篮中的不同商品之间的联系,分析出用户的其他消费习惯。通过了解哪些商品频繁地被用户同时购买,帮助营销人员从用户的一种商品消费习惯,发现用户另外的商品消费规律,从而针对此用户制定出相关商品的营销策略。图 2 显示了网站会根据用户画像为不同客户推荐不同商品。

    精准营销
    图 2  精准营销

    例如,某电子商务平台通过客户的网络浏览记录和购买记录等掌握客户的消费模式,从而分析并分类客户的消费相关特性。如收入、家庭特征、购买习惯等,最终掌握客户特征,并基于这些特征判断其可能关注的产品与服务。

    从消费者进入网站开始,网站在列表页、单品页、购物车页等 4 个页面,部署了 5 种应用不同算法的推荐栏为其推荐感兴趣的商品,从而提高商品曝光率,促进交叉和向上销售。从多个角度对网站进行全面优化后,商城下定订单转化率增长了 66.7%,下定商品转化率增长了 18%,总销量增长了 46%。

    在美国的沃尔玛大卖场,当收银员扫描完顾客所选购的商品后,POS 机上会显示出一些附加信息,然后售货员会根据这些信息提醒顾客还可以购买哪些商品。沃尔玛在大数据系统支持下实现的“顾问式营销”系统能够建立预测模型,例如,如果顾客的购物车中有不少啤酒、红酒和沙拉,则有 80% 的可能需要买配酒小菜、作料。

    2. 个性化服务

    电子商务具有提供个性化服务的先天优势,可以通过技术支持实时获得用户的在线记录,并及时为他们提供定制化服务。

    许多电商都已经尝试了依靠数据分析,在首页为用户提供全面的个性化的商品推荐。海尔和天猫提供了让用户在网上定制电视的功能,顾客可以在电视机生产以前选择尺寸、边框、清晰度、能耗、颜色、接口等属性,再由厂商组织生产并送货到顾客家中。这样的个性化服务受到了广泛欢迎。

    类似的定制服务还岀现在空调、服装等行业。这些行业通过满足个性化需求使顾客得到更满意的产品和服务,进而缩短设计、生产、运输、销售等周期,提升商业运转效率。

    企业要为用户提供理想的个性化服务,首先必须通过数据充分了解用户的个性,其次是合理地掌控和设计服务的个性。了解用户个性是为用户提供他们想要的产品和服务的基础。企业需要在庞大的数据库中,找出最具有含金量的数据,然后,通过数据挖掘方法对用户进行聚类,再依据用户类型的特征设计针对性的服务。

    个性化分散的单位可大可小,大到一个有同样需求的客户群体,小到每一个用户都是一个个性化需求单位。企业必须掌握好个性化服务的粒度,过于分散的个性化服务,会增加企业的服务成本和管理的复杂程度,所增加的个性化成本和实际收益需要成正比。

    提供个性化旅游服务
    图 3  提供个性化旅游服务

    携程的大数据应用从用户的角度岀发,分析基于携程所有用户的数据,包括用户在查询、浏览、预订、出行、评论等一系列旅行前后行为中所产生的数据。携程在剔除无效数据的同时,保证用户所留下的数据的真实性,然后将大量的数据进行实时筛选、分拣与重新组织并应用到用户的出行前、出行中、出行后的个性化需求中,如图 3 所示。

    要做到个性化,明确用户的目标需求是至关重要的,不仅要看订单,还要关心用户所关心的内容。例如,同样是预订五星级酒店,有些用户对酒店设施十分敏感,有些看重酒店位置,有些则更在意酒店服务,对此,携程会根据用户的需求推荐不同的酒店。

    美国塔吉特(Target)百货设立了一个迎婴聚会登记表,并对登记表中顾客的消费数据进行建模分析。他们发现,许多孕妇在第二个妊娠期的开始会买许多大包装的无香味护手霜,在怀孕的最初 20 周会大量购买补充钙、锌之类的保健品。

    塔吉特最终选出了 25 种典型商品的消费数据,构建了“怀孕预测指数”。通过这个预测指数,塔吉特能够在很小的误差范围内预测到顾客的怀孕情况,从而就能在合适的时间把孕妇优惠广告寄发给顾客。

    “Nike 跑鞋或腕带传感器”使耐克逐渐成为大数据营销的创新公司。运动者只要穿着 Nike 的跑鞋运动,与之关联的 iPod 就可以存储并显示运动日期、时间、距离、热量消耗值等数据。

    Nike 通过跑步者上传的跑步路线掌握了主要城市最佳跑步路线的数据库,而且组织城市的跑步活动效果更好。目前,Nike 的运动网上社区有超过 500 万名活跃用户每天不停地上传数据,Nike 借此与消费者建立了前所未有的牢固关系。同时,海量的数据对于 Nike 了解用户习惯、改进产品、精准投放和精准营销也起到了不可替代的作用,Nike 甚至掌握了跑步者最喜欢听的歌是哪些。个性化服务离不开顾客的主动参与和分享,来源于客户的数据也能更精准地服务于客户。

    “三只松鼠”近几年的快速发展,一方面是依靠品牌推广,另一方面是在数据分析的基础上不断完善细节,包括个性化的称呼、“三只松鼠”的卡通形象、赠品的差别化、不同的顾客标签分类以及用户体验等。“三只松鼠”通过 ERP 系统能够了解所有顾客在商城的购买记录,通过 CRM 系统能够准确抓取用户的评价,一些不经意的留言和评级会反映出他们的需求。

    通过分析顾客过去在商城的购买习惯,用户的购买评价,来判断哪种口味的产品在哪个地区卖得最好,哪种产品是消费者最乐于接受的,从而进行更有针对性的产品首页推荐。同时,他们会对顾客进行个性化、人性化的标签分类和细化分析,从而根据这些分类,推送不同的产品类型。例如,爱老婆型顾客购买的产品主要是以老婆食用为主的,“三只松鼠”会在包裹里放上书信,以“松鼠”的口吻代替顾客给他老婆写一封信。

    3. 商品个性化推荐

    随着电子商务规模的不断扩大,商品数量和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。

    个性化推荐系统通过分析用户的行为,包括反馈意见、购买记录和社交数据等,以分析和挖掘顾客与商品之间的相关性,从而发现用户的个性化需求、兴趣等,然后将用户感兴趣的信息、产品推荐给用户。

    个性化推荐系统针对用户特点及兴趣爱好进行商品推荐,能有效地提高电子商务系统的服务能力,从而保留客户。

    1)电子商务网站

    随着电子商务的蓬勃发展,推荐系统在互联网中的优势地位也越来越明显。

    在国际方面,Amazon 平台中采用的推荐算法被认为是非常成功的。在国内,比较大型的电子商务平台网站有淘宝网(包括天猫商城)、京东商城、当当网、苏宁易购等。

    在这些电子商务平台中,网站提供的商品数量不计其数,网站中的用户规模也非常巨大。据不完全统计,天猫商城中的商品数量已经超过了 4 000 万。

    在如此庞大的电商网站中,用户根据自己的购买意图输入关键字查询后,会得到很多相似的结果。用户在这些结果中也很难区分异同,难于选择合适的物品,推荐系统能够根据用户兴趣为用户推荐一些用户感兴趣的商品。电子商务网站利用推荐系统为用户推荐商品,方便了用户,从而也提高了网站的销售额。

    2)电影视频网站

    个性化推荐系统在电影和视频网站中的应用也很广泛,能够帮助用户在浩瀚的视频库中找到令他们感兴趣的视频。在该领域成功使用推荐系统的一家公司就是 Netflix。

    Netflix 原先是一家 DVD 租赁网站,后来开始涉足在线视频业务。Netflix 非常重视个性化推荐技术,并且在 2006 年开始举办著名的 Netflix Prize 推荐系统比赛,希望研究人员能够将 Netflix 的推荐算法的预测准确度提升 10%。

    该比赛对推荐系统的发展起到了重要的推动作用:一方面该比赛给学术界提供了一个实际系统中的大规模用户行为数据集(40 万用户对 2 万部电影的上亿条评分记录);另一方面,在 3 年的比赛中,参赛者提出了很多推荐算法,大大降低了推荐系统的预测误差。

    图 4 是 Netflix 的电影推荐界面,包含了电影的标题和海报、用户反馈和推荐理由三部分。Netflix 使用的是基于物品的推荐算法,即给用户推荐和他们曾经喜欢的电影相似的电影。Netflix 宣称有 60% 的用户是通过其推荐系统找到感兴趣的电影和视频的。

    Netflix电影推荐
    图 4  Netflix 电影推荐

    YouTube 作为美国最大的视频网站,拥有大量用户上传的视频内容。为了解决视频库的信息过载问题,YouTube 在个性化推荐领域也进行了深入研究,现在使用的也是基于物品的推荐算法。实验证明,YouTube 个性化推荐的点击率是热门视频点击率的两倍。

    3)网络电台

    个性化网络电台也很适合进行个性化推荐。首先,音乐很多,用户不可能听完所有的音乐再决定自己喜欢听什么,而且每年新的歌曲在以很快的速度增加,因此用户无疑面临着信息过载的问题。其次,人们听音乐时,一般都是把音乐作为一种背景乐来听,很少有人必须听某首特定的歌。对于普通用户来说,听什么歌都可以,只要能够符合他们当时的心情就可以了。因此,个性化音乐网络电台是非常符合个性化推荐技术的产品。

    目前有很多知名的个性化音乐网络电台。国际上著名的有 Pandora 和 Last.fm,国内的代表则是豆瓣电台。这 3 个个性化网络电台都不允许用户点歌,而是给用户几种反馈方式:喜欢、不喜欢和跳过。经过用户一定时间的反馈,电台就可以从用户的历史行为中获得用户的兴趣模型,从而使用户的播放列表越来越符合用户对歌曲的兴趣。

    Pandora 的算法主要是基于内容的,其音乐家和研究人员亲自听了上万首来自不同歌手的歌,然后对歌曲的不同特性(如旋律、节奏、编曲和歌词等)进行标注,这些标注被称为音乐的基因。然后,Pandora 会根据专家标注的基因计算歌曲的相似度,并给用户推荐和他之前喜欢的音乐在基因上相似的其他音乐。

    Last.fm 记录了所有用户的听歌记录及用户对歌曲的反馈,在这一基础上计算出不同用户在歌曲上的喜好相似度,从而给用户推荐和他有相似听歌爱好的其他用户喜欢的歌曲。同时,Last.fm 也建立了一个社交网络,来让用户能够和其他用户建立联系,以及让用户给好友推荐自己喜欢的歌曲。Last.fm 没有使用专家标注,而是主要利用用户行为计算歌曲的相似度。

    4)社交网络

    社交网络中的个性化推荐技术主要应用在 3 个方面:利用用户的社交网络信息对用户进行个性化的物品推荐,信息流的会话推荐和给用户推荐好友。

    Facebook 保存着两类最宝贵的数据:一类是用户之间的社交网络关系,另一类是用户的偏好信息。

    Facebook 推出了一个称为 Instant Personalization 的推荐 API,它能根据用户好友喜欢的信息,给用户推荐他们的好友最喜欢的物品。很多网站都使用了 Facebook 的推荐 API 来实现网站的个性化。

    著名的电视剧推荐网站 Clicker 使用 Instant Personalization 给用户进行个性化视频推荐。Clicker 现在可以利用 Facebook 的用户行为数据来提供个性化的、用户可能感兴趣的内容“’流”了,而更重要的是,用户无须在 Clicker 网站上输入太多数据(通过评分、评论或观看 Clicker.com 上的视频等方式),Clicker 就能提供这样的服务。

    除了利用用户在社交网站的社交网络信息给用户推荐本站的各种物品外,社交网站本身也会利用社交网络给用户推荐其他用户在社交网站的会话。每个用户在 Facebook 的个人首页都能看到好友的各种分享,并且能对这些分享进行评论。每个分享和它的所有评论被称为一个会话,Facebook 开发了 EdgeRank 算法对这些会话排序,使用户能够尽量看到熟悉的好友的最新会话。

    除了根据用户的社交网络及用户行为给用户推荐内容,社交网站还通过个性化推荐服务给用户推荐好友。

    5)其他应用

    因为电子商务企业基本上实现了业务流程的各个环节的数据化,所以可以充分利用大数据技术对这些数据进行挖掘分析来优化其业务流程,提高业务利润。除了前面介绍的几个应用之外,大数据在电子商务行业还可以应用在其他许多方面。

    ① 动态定价和特价优惠

    电子商务企业可以通过使用数据构建客户资料,并发现用户喜欢花费多少费用和喜欢购买什么产品,从而通过跟踪客户的消费行为,使用大数据分析来开发灵活的定价和折扣政策。例如,如果分析显示用户对特定类别商品的兴趣飙升,则电子商务企业可以提供打折或买一送一优惠。

    ② 定制优惠

    电子商务企业可以通过使用数据来确定客户的购买习惯,并根据以前的购买方式向他们发送有针对性的特价优惠和折扣代码。数据也可以用于在客户中止购买或只看不买时重新吸引客户,例如,通过发送电子邮件提醒客户他们查看过的产品或邀请他们完成购买。

    ③ 供应链管理

    电子商务企业可以使用大数据更有效地管理供应链。数据分析可以揭示供应链中的任何延迟或潜在的库存问题。如果某个项目存在问题,则可以立即将其从销售中删除,以免破坏客户服务问题。

    ④ 预测分析

    预测分析是指利用大数据技术分析电子商务业务的各种渠道,帮助企业制定未来运营的业务计划。数据分析可能会显示电商企业在线商店部门的新购买趋势或销售减缓的商品。

    使用这些信息就可以帮助规划下一阶段的库存,并制定新的市场目标。随时了解电子商务的最新趋势具有一定的挑战性,但是利用大数据技术可以大大提高企业的利润,并帮助企业建立一个成功的前瞻性思维业务。如果不利用挖掘大数据的力量,就可能会错过市场成功的机遇。

    推荐学习目录:大数据在互联网行业的应用

    展开全文
  • 数据治理、共享和应用

    千次阅读 2019-07-23 11:47:31
    如何让数据资产工具更好的用户体验,实现数据“好找、好用、好看、实时和共享”,需借助大数据、云搜索、微应用等先进技术,搭建企业数据资产管理体系,推动企业数据资产管理规范和创新,丰富数据应用与消费工具,...
  • 大数据在时代下的应用前景

    万次阅读 2018-10-14 22:47:56
    版权声明:本文为博主原创文章,未经博主允许不得转载。... 1....近年来,随着大数据、云计算、区块链、人工智能等新技术的快速发展,这些新技术与金融业务深度融...
  • 大数据应用及其解决方案

    万次阅读 2018-09-17 08:53:50
    未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟,移动带宽迅速提升、云计算、物联网应用更加丰富、更多的传感设备、移动终端接入到网络,由此而产生的数据及增长速度将...
  • 13个大数据应用案例,告诉你最真实的大数据故事

    万次阅读 多人点赞 2018-03-15 10:27:48
    现在就让我们从下面十三个大数据应用案例来了解下最真实的大数据故事把,并鲜明得了解大数据在生活当中实际应用的情况。大数据应用案例之电视媒体 对于体育爱好者,追踪电视播放的最新运动赛事几乎是一件不...
  • 大数据应用及未来展望

    千次阅读 2018-04-20 16:05:31
    大数据应用及未来展望,紧跟互联网+,便捷未来人们的生活,方便用户。畅想未来人与人之间的联系,从社交网络、社区文化,到“六度空间”;展望教育对于国家的希望,大数据和教育整合、合理的早教,对个人的帮助,对...
  • 这个“我的应用数据”应该是在手机端同步后自动产生的,并且手机端和网页以及PC端都不能删除,默认放在第一位,太碍眼了。 方法:手机上,通过ES file expolorer登陆百度云盘,然后删除apps这个文件夹。 1. 下载ES...
  • 百度网盘里有“我的应用数据”文件夹,用不到,而本人又有强迫症,不删掉极度不爽。 需要用到ES file explorer,可以直接去官网下载。 1、点击左上角 2、点击网络->网盘 3、点击百度网盘 4、点击...
  • Android应用程序的数据存放目录解说

    万次阅读 2011-09-04 00:52:03
    原创文章,如有转载,请注明出处:http://blog.csdn.net/yihui823/article/details/6722456   Android的每个应用程序,都有自己的可控的目录。 在Setting/Application info里面,可以看到每个应用程序
  • 架构可细分为业务架构、应用架构、技术架构, 业务架构是战略,应用架构是战术,技术架构是装备。 应用架构承上启下: 1、一方面承接业务架构的落地, 2、一方面影响技术选型  应用架构类型:单体式...
  • 各种系统架构图与详细说明

    万次阅读 多人点赞 2020-04-19 18:26:04
    本次项目的一项重点就是实现原有应用系统的全面升级以及新的应用系统的开发,从而建立行业的全面的应用系统架构群。整体应用系统通过SOA面向服务管理架构模式实现应用组件的有效整合,完成应用系统的统一化管理与...
  • 之前一直不知道 sdcard/Android目录什么作用,我做的项目里面缓存数据到本地一般都是在sdcard上面建一个文件,然后把数据放在这个文件夹下面的子文件夹下。下面介绍一种更好的解决方法。 应用程序在运行的过程中...
  • adb 备份和还原apk应用数据

    万次阅读 2018-05-31 02:48:05
    ' 备份应用数据 adbCom = “adb pull /data/data/org.telegram.messenger/ C:\1” ' 备份apk数据 adbCom = “adb pull /data/app/org.telegram.messenger-1 C:\1.apk” ' 还原应用数据 adbCom = “adb -s ...
  • 数据分析应用的九大领域

    万次阅读 2018-04-05 10:18:04
    随着大数据的应用越来越广泛,应用的行业也越来越低,我们每天都可以看到大数据的一些新奇的应用,从而帮助人们从中获取到真正有用的价值。很多组织或者个人都会受到大数据的分析影响,但是大数据是如何帮助人们挖掘...
  • 大数据平台解决方案

    万次阅读 2018-02-14 00:07:54
    第1章 华数大数据分析平台方案介绍 1.1 华数大数据平台总体架构 1.1.1 华数大数据平台应用架构  应用架构图 基于华数多年来的开发经验,并借鉴行业大数据分析平台的实施、管理和应用方面的成功...
  • Context.getExternalFilesDir()和Context.getExternalCacheDir()方法

    万次阅读 多人点赞 2014-03-13 00:15:31
    应用程序在运行的过程中如果需要向手机上保存数据,一般是把数据保存在SDcard中的。 大部分应用是直接在SDCard的根目录下创建一个文件夹,然后把数据保存在该文件夹中。 这样当该应用被卸载后,这些数据还保留在...
  • 用adb shell 调试程序删除缓存时遇到命令失效的现象: 1.目录结构如下: 1|shell@android:/data/data/...drwxrwxrwx root root 2014-02-18 13:00 cache drwxr-xr-x system system
1 2 3 4 5 ... 20
收藏数 4,383,553
精华内容 1,753,421
关键字:

数据应用