精华内容
下载资源
问答
  • 使用sparkR和sparklyr进行大数据建模案例文档,其中包括了对飞机航班、出租车等数据的建模分析与可视化,具有非常好的参考意义。数据和源码可以通过文档中的链接很方便的下载。
  • 大数据建模应用案例

    2021-02-23 22:57:34
    随着新能源汽车的发展,汽车新产品推向市场的速度越来越快,对汽车厂商的开发周期和设计方案快速验证的要求越来越高。汽车电子控制器嵌入式软件开发也需要在研发早期阶段开展更充分的验证与测试,以便达到一次设计...
  • 大数据建模

    千次阅读 2016-09-27 14:27:22
    干货丨大数据建模实操案例分析 在大数据的时代,企业和消费者的接触点变得越来越多,企业要实现它的业务需求,首先要从接触点上采集消费者的数据,然后去进行分析和挖掘,以满足不同业务部门的需求,这个...

    干货丨大数据建模实操案例分析


    在大数据的时代,企业和消费者的接触点变得越来越多,企业要实现它的业务需求,首先要从接触点上采集消费者的数据,然后去进行分析和挖掘,以满足不同业务部门的需求,这个是业务层或者说需求层要解决的一些问题。给大家分享一个案例,看看大数据建模在解决这些问题上起到的作用:


    这个案例是某品牌手机新品上市营销的业务方案,我们帮它做了两件事情,第一件事情是老用户的营销,通过建模找到新品手机的目标人群。第二件事情是微博营销,对于这一点我们又做了三件事:1)帮它甄别这个行业比较有话语权的微博;2)帮它识别了网友中的意见领袖;3)帮它找到想买手机的用户。


    这个项目的关键点,其实就是定义清楚业务问题。我们定义清楚一系列业务问题之后,选取一些建模的方法去实现,帮助它解决这些业务问题。例如如何通过老用户建模分析找到新品手机的目标人群?

    提取原始数据

    我们首先提取了这个品牌手机的电商旗舰平台及线下门店的用户历史交易数据,作为原始数据,去做一些清洗和预处理。然后提取了用户的行为特征,去识别这个终端消费用户的购买频次,消费的品类,价格承受度等。然后运用协同过滤模型,去做度量这个新品手机和其他品类的相似性。

    当然,我们也使用了其他的模型预测,例如购买概率的预测,产品生命周期的推测等等。之后,去建立用户特征的过滤,最后锁定目标的人群,输出目标群体的营销列表,找到整个老用户群体里有可能去购买新品手机的用户群体,并做了基于购买概率的排序。对于新品手机的微博营销方案,首先我们爬取了在新浪微博上行业相关的微博,通过关键词提取了所有博文的内容,包括评论内容、转发内容、用户信息等。

    构建模型

    进一步我们构建了三个模型,筛选出来用于微博营销新品手机的潜在目标用户。这三个模型分别是通过构建影响力指数模型去找到具有行业话语权的行业公众号、通过社会网络模型识别微博中的意见领袖,以及通过语义分析模型找到想买手机的人群,从而实施新品手机广告的转发和推荐。下面我具体介绍一下这三个模型:

    1、做微博公众号影响力指数的编制

    首先我们做了微博公众号影响力指数的编制。基于这个分类下的蓝V用户的微博影响力数据,综合利用AHP方法计算出不同行业在微博平台影响力的指标,然后我们找到这些最具有影响力的微博公众号或者蓝V的用户去做新品手机广告的触达。第二是运用社会网络模型去找到这款手机的意见领袖。

    社会网络分析模型广泛地运用在这种具有网络特征的大数据分析中,例如通过计算节点的连接数去找到一个社交群体中的意见领袖和活跃分子等。

    2、微博中意见领袖带动关注

    同时SNA模型还可以用来计算社交网络的密度,监控这个网络的健康度等,目前在舆情监控领域、电信网络的数据分析等都有比较广泛的应用。我们利用SNA模型,去找到微博中和手机相关的意见领袖,进行新品手机营销文章的推送,引发这个意见领袖的关注和讨论,从而带动大多数跟随者对某品牌新品手机的一个关注,这是第二个模型。

    3、文本挖掘

    在文本挖掘模型中,我们首先建立了一系列的规则,例如在微博正文中含有“想买手机”、“挑选手机”等关键词的微博,我们针对规则对抓取的博文进行了标注和过滤,经过SVM分类模型的训练,我们把微博进行分类,最后筛选出可能会对某品牌手机感兴趣,或者近期有购买手机意愿的人群,由营销人员进行触达,推广这个新品的手机。

    模型应用效果

    我们看一下这几个模型一些应用的效果。

    首先第一部分,在老用户营销中,我们经过建模加权之后的结果,找到不同等级的目标,用户群体超过10万人。通过筛选之后进行短期的推送,效果比盲投广告提升了三倍。在微博营销中,通过三个模型,我们获取了超过10万人的目标用户群,经过运营人员进行触达,有超过1万人响应了新品手机微博的营销信息,最终通过这些大数据建模的方式找到这个营销的短名单,然后帮助这个品牌成功实现新品上市的营销推广方案。

    注意事项

    最后想跟大家分享的是,在大数据时代的商业建模要做到以下三点:

    第一、好数据胜过复杂的模型

    不用去太刻意追求模型的复杂度,往往线性回归和逻辑回归就能解释大部分的问题了。我深深记得当年在学校时,一位计量经济学教授说过的话:如果你不知道该用简单模型还是复杂模型,为什么不从简单的开始呢?

    第二、要做好充分的数据预处理

    做好数据的清洗、融合、集成、规约等,去了解业务,理解数据,切忌Garbage In,Garbage Out。所谓磨刀不误砍柴工,如果数据预处理准备的充分,接下来的数据挖掘也会非常地流畅。反之,如果没有做充分的数据预处理和描述性分析就会对建模的结果产生怀疑,进而返工,浪费更多的时间。

    第三,组建大数据建模团队


    我们认为需要大数据建模分析去解决业务问题的企业应该组建一个功能比较全面的数据科学团队。我们之前也讲过,在大数据时代,建模已经演化成一个体系问题,基本不能由一个人来承担了,或者说,一个人需要掌握太多种技能才能应付整个建模流程。通常来说数据科学团队里会有大数据提取工程师、建模算法工程师、数据可视化工程师、业务数据分析师、优化工程师等,是一个集团军作业、流水线作业的情况,而不是像小数据时代,通过一个人就能解决从数据的提取、加工、建模,到最后数据的分析结果展示这一系列的问题了。


    我们认为,如果一个人能解决大数据建模这一系列的问题,能够和数据库进行底层的交互,又能去做建模算法的挖掘,能做数据的优化,能做数据可视化,集这些功能为一身的人才配称之为数据科学家,真正的数据科学家是非常稀有的。


    而当我们没有集这些功能于一身的人的情况下,通常可以用群体的力量去解决我们在大数据时代遇到的数据挖掘问题。所以我们认为,企业去招一个全面的数据科学家,不如去组建一个功能比较全面的数据科学团队,大家各有所长,数据提取工程师去做和数据库的交互,算法的工程师去做数据的挖掘,可视化做可视化的展现,调优的去做运营调优等,以集体的力量去解决企业在大数据时代遇到的商业建模的一些问题。



    展开全文
  • 如何用开源组件“攒”出一个大数据建模平台?

    千次阅读 多人点赞 2020-08-29 00:46:03
    本文关键字:开源组件、大数据建模、项目架构、技术栈。整个产品的核心功能就是为了实现:数据采集、数据源管理、数据清洗、统计分析、机器学习、数据可视化的完整流程,难点在于形成数据流,流程可控,易被管理。

    写在前面:博主是一只经过实战开发历练后投身培训事业的“小山猪”,昵称取自动画片《狮子王》中的“彭彭”,总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域,如今终有小成,愿将昔日所获与大家交流一二,希望对学习路上的你有所助益。同时,博主也想通过此次尝试打造一个完善的技术图书馆,任何与文章技术点有关的异常、错误、注意事项均会在末尾列出,欢迎大家通过各种方式提供素材。

    • 对于文章中出现的任何错误请大家批评指出,一定及时修改。
    • 有任何想要讨论和学习的问题可联系我:zhuyc@vip.163.com。
    • 发布文章的风格因专栏而异,均自成体系,不足之处请大家指正。

    如何用开源组件“攒”出一个大数据建模平台?

    本文关键字:开源组件、大数据建模、项目架构、技术栈

    一、食用须知

    终于又可以名正言顺的发一篇聊天吹水。。。哦不是,是技术杂谈类的文章了,官方有活动?那必须跟上啊!咳~那么闲言少叙,下面是食用须知:

    1. 本文并非标题党,将介绍构建一个基于Web界面可操作的大数据建模平台相关的技术,以及各组件之间的关系。这是一个企业中真实存在的项目,并已实现商用,本人作为核心开发者之一,也是见证了整个平台的成长。
    2. 由于篇幅有限,不会涉及到特别具体的代码,但会尽量说明各组件与业务场景、数据处理流程的关系,其中也会穿插大数据领域相关的知识。
    3. 由于在培训领域深耕多年,如有废话和浅陋之处还请多多包涵。如果你还是一个学习者或者是一位刚刚踏入大数据领域的开发者,那么这篇文章很值得你收藏。

    二、项目背景

    项目的诞生可以追溯到三四年以前,在阿里巴巴的数加平台还在免费试用的时候,我们所做的大数据建模平台就已经实现商用并成单,并且曾经与华为联通达成合作并进入联通沃创空间,先来一张图感受一下:

    那么,此时应有路人甲站出来说一句:你们能实现商用完全是因为大厂还没有打造好能碾压你们的产品而已~对此我只能说:emmm,你。。。说的对!
    但是其实一款产品是否能够实现商用有多方面的原因,大厂在各方面的优势十分明显,但是这并不代表其他产品没有机会,除了技术实力、团队规模、项目资金外,产品定位、市场环境等同样重要。
    我在接手项目的时候已经是一个半成品了,所谓大数据建模平台其实是一个通用型的产品定位,更多的是功能的整合,可以说是标准的大数据开发,团队的主要构成都是开发者,当然也会包含数据分析师。

    整个产品的核心功能就是为了实现:数据采集、数据源管理、数据清洗、统计分析、机器学习、数据可视化的完整流程,难点在于形成数据流,流程可控,易被管理。即使是在多年以后,我也依然觉得这个项目虽然没有涉及到复杂的场景和各种数据分析优化解决方案,但是对我的帮助绝对是最大的,它让我真实了解并操作了数据分析的每一个流程,也可以说打通了任督二脉,以后做的任何东西其实只不过是其中某个环节的优化或者是在某一特定场景下固定的数据流程,毕竟通用的东西都做出来了,某个固定指标的指标计算或是模型训练还会是问题吗?
    以后每次谈起这段项目去面试,对方都会说:这个小伙子赶上了好项目。当然,项目本身是一方面,自己的总结归纳同时重要,借着当时临近毕业,也是逼着自己去彻底的吃透这个项目,不仅仅是技术方面,同时还有产品、设计等等方面,于是乎我把他变成了我的硕士论文,当然是获得了软件著作权之后(后来发现只是毕业论文的话好像并没有什么相关)。

    背景介绍到此为止,下面正片开始,如果你确定这就是你想要的,请在阅读完成之后点赞、关注,略表支持,也欢迎收藏和在评论区说出你的想法。

    三、遇见技术栈

    为了方便场景介绍和相关技术的处理,将会按照不同的功能模块来进行划分,首先给出完整的项目架构图。

    现在看这张图,架构不免有些陈旧,但是我想历史就应该被真实的还原,当时大前端相关技术才刚刚起爆,而且这个项目在我接手之前就已经被开发了一段时间了,所以这就是它当时应有的样子,也代表了那一段艰辛打拼的岁月。
    回想起那个时候大数据方面的资料和落地的项目案例真的少之又少,大部分都是拿着PPT吹牛皮,大厂中的一些和大数据相关的核心技术又不是我等草民可以接触到的,所以也算是在摸索中前进。

    1. 功能模块框架

    由于文章篇幅有限,只会介绍大数据建模平台的部分功能,如果你对某些环节的处理技术感兴趣,可以扫描文章底部的二维码加入微信群(CSDN官方为内容合伙人提供的正经微信群),会定期面向粉丝直播互动。

    在真实的项目中,由于是企业级应用,必然会存在部门、员工等一系列的权限管理功能,本文只是侧重介绍大数据处理相关流程,所以删去了部分不太重要的部分。

    2. 数据源管理

    对于数据源的管理部分,要分析的数据全部存储在HDFS上,同时由于主要是进行统计分析,所以处理的数据全部是结构化的离线数据:可以从关系数据库中拉取、也可以用户自行上传,在上传完成后都是以Hive表的形式存在,在平台中只记录数据源的名称、所属、以及对应的Hive表的信息,而且后续的数据流程不会对原始数据做修改,所以同一份数据有可能被应用在多个数据流程中,所以已存在的Hive表可以声明为多个数据源,其实就是建立了多个关联关系,在建模平台中展现给用户的都是一个一个的数据源节点。
    在这里插入图片描述
    在进行关系型数据库拉取时使用了Sqoop组件,根据用户填写的数据库连接参数拼接为一个完整的命令,在服务器上执行。对于用户上传的数据文件,需要指定列名、列的类型、列与行的分隔符,根据信息自动建立对应结构的Hive表,这样导入数据以后才能够保证数据能够被正常识别。

    3. 数据处理流程

    对于建模平台,一个最基本的功能就是能够让用户自定义数据流程,可以应用在企业或者高校教学。我们采取的办法是将常见的一些统计分析功能和完善的机器学习库进行封装,变成一个一个的功能节点(主要通过Hive QL、Spark的Mllib,RHive实现),每一个节点都会有对应的配置参数,用户需要做的就是拖拽、组合,配置,运行。
    对于前端的流程设计UI组件,我们选用的是GooFlow,数据流程可以进行保存和修改,体现在数据库中其实就是一个大JSON,里面记录了线的指向,节点的配置等等,再次打开流程的时候画布将得以还原,同时要保存整个流程各个节点的配置信息等等。

    在项目流程开始以后,每一步都会生成一个结果表,作为下一步操作的数据源,最终的运行结果会生成一个结果表,可以直接以表格显示,下载结果数据,也可以拖拽一个可视化组件,配置后显示。
    这里需要注意的是,GooFlow是一个需要授权使用的组件,大家也可以选择其他的组件来替代,目前网络上公开的只是试用版,要么就是带有挖矿程序的防盗版,所以大家想使用的话还是联系作者大大吧。
    在这里插入图片描述

    4. 其他功能模块

    对于一些其他的功能,都是比较常规的Web应用开发。比如可视化展示的部分,就是基于对Echarts的option配置的封装,让用户可以通过界面的方式来配置图表的效果。要展示的数据从Hive当中查询,比较简单的方式就是HiveJDBC
    前后端的数据交互,使用的是基于JSP标签和Ajax结合的方式,比较古老了。持久层使用的是Hibernate,虽然我个人更偏爱MyBatis,但是凭我一己之力也不可能实现重构,踏踏实实干活儿就好。
    因为是介绍技术栈的文章,我没有用过多的文字,觉得用架构图、流程图来展现会更加的清晰和直接。大家有想要继续讨论的内容,可以在评论区留言~

    扫描下方二维码,加入官方粉丝微信群,可以与我直接交流,还有更多福利哦~

    在这里插入图片描述

    展开全文
  • 上一篇文章我们简单阐述了,大多数研究者在进行大数据分析时,所存在的逻辑问题,并简明扼要的对大数据建模流程进行了说明,那么为了使大家更加清晰每一个步骤的具体内容,我们将每一个模块展开分析。详细阐述流程中...

    上一篇文章我们简单阐述了,大多数研究者在进行大数据分析时,所存在的逻辑问题,并简明扼要的对大数据建模流程进行了说明,那么为了使大家更加清晰每一个步骤的具体内容,我们将每一个模块展开分析。详细阐述流程中具体要做的工作内容?
    一.宏观角度
    无论是大数据还是人工智能技术,其实都是需求或者项目主题的实现手段,商业上希望技术能够将产品向商品转化,或者对市场进行科学的分析,从而引导公司决策更符合市场需求;科研上希望技术能够进行多学课融合,使得科研结果更具有说服力,亦或者是技术本身的创新与变革,使得科技文明不断发展。由此看来,无论是商业界还是科研界,技术的核心作用是更为科学合理的解决实际问题。所以科研主题和业务需求是决定宏观方向和最终结果的地基。所以,需求的重要性决定了产品的价值。
    下图清晰的阐述了目前流行的相关数据职业与需求的关系。
    在这里插入图片描述
    二.微观角度
    当一个主题或者业务需求确定之后,我们需要做的第一个工作是尽可能的全面的去解析业务需求(主题),也就是大数据建模的第一步任务分析。Madge老师将从以下几个方面为大家一一说明:
    1.准备工作
    对于不同的主题或者业务需求所属的行业环境是不一样的,很多数据研究者是需要对业务所需要的环境有所了解的。但是,要是为了一次业务去学习一个行业这是不现实的,所以从以往文献中快速提取可用信息便是数据建模师必备的能力。除此之外,一个资深的数据建模师,有非常强的数据敏感度,当大量的数据出现在面前时候,凭借这种超强的数据敏感度和知识提取能力,是完全可以看出数据所呈现的就基本特征和可能的潜在关系。所以,资深的大数据建模师或者AI能够涉猎的领域非常广泛。
    所以,当拿一个主题,首要的第一个任务就是通过各种方式了解行业背景,以及业务常识,方法有很多,如果具备我上述的能力的话,直接通过文献提取重要信息结合市场需求扩展即可。
    2.任务分析
    当行业背景或者主题的环境了解全面之后,就进入了最为重要的一步,就是任务分析,小编之前说过,任务分析越全面整体脉络也就越清晰,从而架构越完整,模型更容易搭建。那么任务分析对的内容是什么呢?我们用一张图说明。
    在这里插入图片描述
    根据上图我们能够观察到,任务分析大致分为了五个部分,至于第一部分任务描述,小编这里就不详细描述了。我们详细阐述一下:任务拆分,任务定类,确定任务环境。
    为了能够更直观的反应各个步骤我们设立这样一个简单的项目场景,
    例:已知过去20年某一个GDP,我们来预测未来五年该城市GDP的走向。
    (当然,这里我们只是用这个例子做一步骤引导。切不可当成一个完整的项目去看。)
    首先,我们知道这是一个研究一个城市经济发展状况的案例,所以要进行经济环境的基本描述,另外补充国民经济的相关常识,这些我们就不在赘述。
    2.1任务拆分
    当一个任务被指定或者一个主题被提出,我们不难发现他们所需要处理的问题并不只是一个。我们需要考虑该任务所包含的子问题的需要解决。当然,这就去取决于建模师对问题的认知和业务常识了,所以这一步份往往需要参考文献,或者同专业领域的专家进行合作。
    例如:就研究GDP而言,就有可能存在以下子问题。
    A.整体市场大环境的评估,属于稳定期,飞速发展时期,还是动荡时期等。
    B.该城市的人口结构以及人口增长进行预测分析。
    C.该城市的产业结构变动
    D.该城市的GDP的变化
    以上我们只是简单的罗列出几条,当然任务拆分由于角度不同会长产生很多子问题,有很多时候我们只选择我们需求的角度详细分析即可。但是,一定要能够说明单个子问题产生的原因。
    例如,一个城市的GDP一定是受市场经济状况,社会是否稳定,或者是否出现不可抗因素等影响的。因此,对大环境的评估将是一个很重要的问题。当然有些时候我们也可以假定是稳定期,这取决于你自己的需求和所处的环境。
    2.2任务定类
    当子问题确定之后,对问题进行定类是十分重要的。定类主要考虑的是子问题的类别,是分类,回归,关联关系等?当然还要分析是有监督还是无监督?至于问题的类别,有时间我们会详细阐述。
    例如:在上述例子中,我们的子问题对应的类别可以这样评定。
    在这里插入图片描述
    2.3 确定任务环境
    确定任务环境主要是指数据环境。
    第一:要先确定你所选择的子任务是作为假设还是具体的分析对象;
    第二:确定你的数据集是文本,语音,图像还是数值;
    第三:对单个子问题进行背景描述。
    2.4 梳理逻辑
    将以上任务分析总结一个逻辑框架,进行整理。

    推荐大家关注公众号,有很多有意思的的知识,可免费领取学习资料哦
    在这里插入图片描述

    展开全文
  • 近年来运营商精准大数据的神秘色彩总是被越描越浓,它的魅力在全部范畴全部作业都得到了快速地延伸。但怎样快速精确地从数据的大海洋中获取到所需数据仍然是企业的短板地址,不过在了解了网页抓取东西之后,这个问题...

    近年来运营商精准大数据的神秘色彩总是被越描越浓,它的魅力在全部范畴全部作业都得到了快速地延伸。但怎样快速精确地从数据的大海洋中获取到所需数据仍然是企业的短板地址,不过在了解了网页抓取东西之后,这个问题如同就没那么让人苦恼了 中原大数据(V:jycg789 )

    三网运营商大数据是近两年来职业营销的有用方法。它主要是依据运营商的终端用户数据和企业的一些特征,抵达精确获取客户、精准营销的目的。在我国,移动、联通和电信具有逾越10亿的用户。现在,三网运营商大数据的事务需求实名认证。每个用户都是一个活生生的人,每个人都有凌乱的社会关系和需求。这些用户的日常上网行为和通话记录将由运营商以大数据的方法实时记录下来,进行存储。

    1、运营商大数据运用有哪些?

    单域运用案例

    O域数据:网优,经过剖析用户上网区域方位,依据用户方位信息,总结分类用户方位特征,并剖析区域网络流量状况,定位网络流量的瓶颈,有力支撑用户运营服务和网络优化。;车辆、人员定位事务;

    B域数据:宝马新品上市电话营销,方针用户能够从宝马4S店通话记录中选择;调取接连三月套餐内流量耗费90%以上的用户进行流量包短彩营销。

    M域数据:云化经分

    V域数据:3元包看世界杯活动营销,取画像途径中体育偏好用户,选择已设备客户端用户进行客户端内提示,手机装有证券APP的用户供应证券类相关服务。

    域组合运用案例

    整合B域O域数据完结追(电视)剧用户提取:ARPU值500M以上且长时间拜访指定视频APP的用户推送相关流量包或多次拜访过指定金融类APP供应相应金融服务;

    整合B域O域V域数据剖析用户终端:精确掌握用户终端信息和换机行为,并挖掘用户终端偏好,能够及时的依据用户终端信息进行装备辅导和适配事务举荐。

    2、那么常见的抓取的方法有哪些

    三网大数据获客途径

    1.指定网址/网站,获取拜访过的用户团体。

    2.400、固话,获取400、固话的进电数据。

    3.指定APP,拜访过APP的用户,或许APP的新注册用户。

    4.指定接纳106短信抓取。

    在市面上,大数据获客的方法不乏就这几种。咱们能够把拜访过网站的客户定义为有意向的客户,再有针对性的进行推行,将会大大的降低的本钱,前进利润,一起前进自己品牌的影响力。中原大数据(V:jycg789 )

    展开全文
  • 大数据在日常的应用也越来越广泛,尤其以企业为主,企业成为大数据应用的主题,大数据逐渐改变企业的运作方式,并从中受益,本文将以大数据应用案例为主,带你走进大数据的世界。 一、制造业的设备故障预测,降低...
  • 大数据不仅将改变生产方式、生活方式,社会组织方式尤其是政府治理也将因之发生深刻变革。以大数据提升政府治理能力是大势所趋。科技革命的加速推进特别是大数据时代的到来,迫切要求政府治理加快。大数据将成为...
  • 我们将迎来一个“大数据时代”。与变化相始终的中国企业,距离这场革命还有多远?而追上领先者又需要多快的步伐?   {研究结论}   怎样才能用起来大数据?障碍如何解决?中国企业家研究院对10多家在大数据...
  • 全球十大农业大数据经典案例

    千次阅读 2018-11-16 17:04:05
    基于物联网等技术的应用,农业领域积累了大量的数据,为大数据应用于农业奠定了基础。从国内国际的发展来看,大数据正在驱动农业发展路径发生变化,以提高农业效率,保障食品安全,实...
  • 大数据实际案例系列一

    千次阅读 2013-12-22 10:26:57
    大数据几个实际案例大数据”的经典定义是可以归纳为4个V:海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。  大数据首先要...
  • 大数据价值链中最重要的一个环节就是数据分析,其目标是提取数据中隐藏的数据,提供有意义的建议以辅助制定正确的决策。通过数据分析,人们可以从杂乱无章的数据中萃取和提炼有价值的信息,进而找出研究对象的内在规律。...
  • 基于分布式架构的大数据商业建模

    千次阅读 2016-05-03 16:42:25
    第一个部分会给大家介绍一下百分点基于分布式架构的大数据建模实践。在这一部分我会主要讲一下建模的技术架构、一些技术、工具以及大数据建模的流程9宫格。 第二个部分我会给大家介绍一下大数据建模的应用场景,...
  • 本文为银行大数据研讨会。探讨以银行客户为切入点,大数据在金融行业的应用。大致内容整理: 一、 业务驱动 银行应用大数据,主要是由其业务驱动。应用大数据的业务驱动主要由精准营销、风险控制、改善经营和服务...
  • 2 数据建模 3 构建用户画像 4 数据可视化分析 五. 用户标签体系 1 结构化标签体系 2 半结构化标签体系 3 非结构化标签体系 一. 用户画像与精准营销前言 大数据并不是一种全新的技术,它更多的是...
  • 感谢关注天善智能,走好数据之路↑↑↑欢迎关注天善智能,我们是专注...Hadoop体系大数据开发案例实战 友情提示: 课程链接 https://edu.hellobi.com/course/242(长按复制到浏览器)请添加客服微信:tianshans...
  • 大数据风控案例(总结他人)

    千次阅读 2017-11-22 13:54:59
    多维度数据分析、数学建模、 机器学习 算法 、 云计算 。 二、YUNRISK风控在线介绍 2.1数据来源:华中大数据交易中心、万德 数据库 、金融界、中国人民银行、世界银行等。 2.2基于大数据进行分析 多渠道...
  • 大数据巨大的魅力,是用大量看起来毫无相关的数据,去解决一个更不相关的问题,简而言之,就是要充分利用与本业务看起来无关的数据来解决业务中遇到的问题,并把自身业务产生的数据拿出去,解决外面广袤天地中和本...
  • 当前,金融市场活跃度不断提升,业务模式不断创新,金融领域数据量呈爆炸式增长,蓬勃发展的大数据产业给金融业的发展带来了新机遇,也提出了新的挑战。6 月 29 日, 「数据猿...
  • 基于分布式架构的大数据商业建模;目录;大数据的核心 预测;数据应用演进路线;全球大数据生态格局;中国大数据生态的六大趋势;目录;统计模型;大数据应用;数据管理层说明;模型层说明;R接口层交互方式总结;目录;真实用户...
  • 大数据数据分析案例

    2018-12-23 20:13:17
    titanic大数据数据分析案例,jupyter notebook 原码说明非常详细,带有数据集,代码,分析图表,特征工程分析
  • 我现在只做数据分析,我想了解多一些模型的、自然语言的内容,有没有资料给我看一下?好的,马上整理一份大数据建模百科资料!FAL独家原创资料共337页,整理了8大板块的大数据建模资料。有些...
  • 能源大数据理念是将电力、石油、燃气等能源领域数据进行综合采集、处理、分析与应用的相关技术与思想。能源大数据不仅是大数据技术在能源领域的深入应用,也是能源生产、消费及相关技术革命与大数据理念的深度融合,...
  • 大数据案例分析

    千次阅读 2018-12-08 23:57:00
    一、大数据分析在商业上的应用 1、体育赛事预测 世界杯期间,谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台。...现在互联网公司取代章鱼保罗试水赛事预测也意味着未来的体育赛事会被大数据预测所掌控。...
  • 牛琨著的《纵观大数据(建模分析及应用)》以大数据分析为主线,以电信行业应用为背景,以一线操作者为对象,系统阐述了大数据分析的理论、方法和实践。 从思维创新开始,依次介绍了大数据挖掘、经营分析 和营销策划三...
  • 数据仓库建模方法与建模案例

    千次阅读 2020-07-28 09:51:57
    大数据的数仓建模是通过建模的方法更好的组织、存储数据,以便在 性能、成本、效率和数据质量之间找到最佳平衡点。一般主要从下面四点考虑 访问性能:能够快速查询所需的数据,减少数据I/O 数据成本:减少不必要...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 13,357
精华内容 5,342
关键字:

大数据建模案例