精华内容
下载资源
问答
  • 环境保护大数据应用系统建设方案
  • 司法大数据应用系统综合解决方案.
  • 铁路机务大数据应用系统设计研究.pdf
  • 铁路机务大数据应用系统设计研究
  • 大数据应用系统监控与日志分析.pptx
  • 车辆全程监管大数据应用系统技术方案.zip
  • 车辆全程监管大数据应用系统技术方案.docx
  • 关于XXX高层次人才大数据应用系统建设项目立项的请示.docx
  • 车辆全程监管大数据应用系统技术方案 (1).zip
  • 关于XX高层次人才大数据应用系统建设项目立项的请示.zip
  • 电力调度大数据应用平台系统技术研究.pdf
  • 大数据应用

    万次阅读 2017-10-05 11:46:31
    大数据应用 随着web4.0时代的到来,数据将成为企业的最大资产。运营商所含有的数据是不可限量的,同时其带来的价值也是无法估量的。充分利用运营商的数据以及互联网大数据技术,能够为企业带来意想不到的效果。 ...

    欢迎关注“程序杂货铺”公众号,里面有精彩内容,欢迎大家收看^_^

    大数据应用

    随着web4.0时代的到来,数据将成为企业的最大资产。运营商所含有的数据是不可限量的,同时其带来的价值也是无法估量的。充分利用运营商的数据以及互联网大数据技术,能够为企业带来意想不到的效果。

    1.应用

        对内:网络优化、异常检测、大数据报表、用户轨迹、协同警方监控及判案、智慧城市

    对外:用户画像、客户细分、精准营销、追踪用户、产品推荐

    1.1对内

    1).网络优化:

    方案:通过分析用户行为日志,统计哪一时间段用户流量高峰,进行早期预测,合理分配流量,从而使资源利用最大化。

    2).异常检测(用户信用、机器节点监测/预测):分类、预测

    方案:通过对用户的信用数据以及用户的消费日志,使用朴素贝叶斯或逻辑回归模型进行分类计算,从而预测出不良用户,此时,我们可以对这类低信誉用户加以防范或采取限购措施。对机器进行异常检测,通过统计分析机器运行日志,使用逻辑回归模型或SVM模型进行二值分类计算(正常、异常),从而提前预测故障机器,不必等机器真正宕机后进行修复操作。

    3).大数据报表:日志统计

    方案:对流量日志及用户的定位日志进行统计分析,按季度产出用户流量报告,类似滴滴出行报告、高德地图城市交通分析/交通拥堵报告。同时对用户的行为日志、公司的业绩日志及相关日志进行关联分析生成大数据报表,充分利用大数据报表可令决策者更清晰了解公司走向,及时制定相应决策,令决策者更有效地管理公司。

    4).用户移动轨迹:位置定位、定位信息

    方案:统计分析用户行为数据,识别出其常住地,以及通过点位数据将用户的行为轨迹打印出来。例如,通过用户在哪儿经常打电话,可以识别出其常驻地,判断家、工作单位、以及其他常驻地。例如,通过分析用户的地理位置,构建模型,使用逻辑回归模型,预测用户五一期间去迪士尼旅游的概率,及用户出行的概率。

    5).协同警方监控及判案:

    方案:利用通话记录及移动规矩定位罪犯常驻点,同时构建模型预测罪犯活动地点。

    6).智慧城市:日志分析、流量监控

    方案:利用用户移动轨迹,可以识别人口流量走势,制定相应流量疏导及交通方案。

    1.2对外

    1).用户画像:统计

    方案:收集数据,ETL数据预处理,模型计算,给用户打标签,以及对标签进行组合;利用用户行为数据计算用户画像。将用户所有的标签综合起来,勾勒出该用户的整体特征与轮廓。可充分构建用户的全量数据,并将数据打通,形成拓扑关联。

    例如:用户画像数据主要包括五大部分:基础数据、终端数据、消费数据、活跃数据、单一用户画像的数据。

    注:

    1、 用户画像要建立在真实的数据之上;
    2、 当有多个用户画像的时候,需要考虑用户画像的优先级,通常建议不能为超过三个以上的persona 设计产品,这样容易产生需求冲突;

    3、 用户画像是处在不断修正中的。

    2).客户细分:聚类

    方案:利用运营商客户消费数据及其订单数据,使用机器学习中的聚类算法,可将用户数据聚类为多个簇,而每一簇代表一类用户,我们变可以有针对性的对这类用户投放相应的产品。例如:我们可将用户细分为A、B、C,分别代表VIP用户、普通用户、游客用户,因此我们可以有针对性地对他们投放个性化产品,令资源最优分配。

    3).精准营销、个性化营销:统计+聚类+分析

    方案:通过对检索日志进行统计分析,了解用户的潜在需求,实现针对用户需求的广告进行精准投放。利用之前做好的用户画像实现精准营销。

    4).追踪用户:预测、召回

    通过逻辑回归模型对用户进行预测,识别哪些用户是忠实用户,哪些用户将要离开,对将要离开的用户制定策略进行召回,同时对忠实用户给予优惠以防止竞争者将用户拉走,并充分利用忠实用户,以该用户为中心点带动其周边人群使用产品,此时需借助相似度计算方法,计算出其周边用户并给予相应引导令其加入。

    5).产品推荐、个性化营销:推荐算法、关联算法/规则

    利用用户行为数据计算出用户画像,结合关联规则及推荐算法(这里主要使用协同过滤算法,因为主要涉及用户及其周边人群)对用户进行个性化推荐;联合常驻位置信息,有针对性服务推荐,在不同位置给予不同的信息推送,此时需借助客户细分及用户移动轨迹。

    当前的推荐算法大都基于数据挖掘技术,通过对大量的用户行为数据进行分析及挖掘来发现相关的用户行为模式。

    2.系统架构

    系统的整体架构如下图1所示。

    图1系统架构

    实现步骤:

    1.数据采集:采集多维数据抽取数据结构,使用Hadoop构建全量数据集;

    2.数据预处理:基于采集回来的多维度数据,采用ETL方法对其各类数据进行结构化处理及加载,构建数据特征;

    3.数据存储对于ETL处理后的标准化结构数据,建立数据存储管理子系统,归集到底层数据仓库(Hive),这一步很关键,基于数据仓库,对其内部数据分解成基础的同类数据集市;

    4.数据建模:基于归集分解的不同数据集市,利用各类算法对数据集进行数据建模以及相应的算法设计;

    5.模型计算:使用构建好的模型对数据预处理后的特征数据进行计算;

    6.数据展现:最后根据建立的各类数据模型及算法,结合前端不同渠道不同业务特征,根据渠道触点自动匹配后端模型自动展现用户个性化产品和服务。

    欢迎关注“程序杂货铺”公众号,里面有精彩内容,欢迎大家收看^_^

    展开全文
  • 大数据系统运维(大数据应用人才培养系列教材).ppt
  • 电力调度大数据应用平台系统技术研究
  • 商业地产大数据应用智能化系统建设方案
  • 大数据+总部基地大数据应用智能化系统管控平台建设方案
  • 大数据+智慧楼宇大数据应用智能化系统管控平台建设方案
  • 大数据应用-系统监控与日志分析.pptx
  • 基于大数据应用管理系统的高品质供电服务研究.pdf
  • 针对煤矿安全生产信息化应用中存在的问题,提出了煤矿安全生产大数据应用管理系统,介绍了该系统的整体数据架构,详细阐述了煤矿安全生产数据采集子系统、安全生产风险评估与决策支持子系统以及安全生产舆情互动子系统...
  • 大数据+智慧办公大楼大数据应用智能化系统管控平台建设方案
  • 智能交通系统大数据应用.pdf
  • 大数据应用于智能医疗系统建设.pdf
  • 品质服务 大数据应用系统建设舰划带 目录 系统简介 系统应用 中系统组成现场示图 应用内容 中系统目标中产品展示 应用模块 应用实例 功能架构 功能拓展 单位产品工况参数模型 环境保护主管部门业务职能辅助 污染处理...
  • 智慧机场大数据应用信息化系统平台建设综合解决方案
  • 基于大数据应用管理系统的高品质供电服务研究
  • 大数据应用于智能医疗系统建设.rar
  • 互联网征信 第四章 互联网征信技术 主讲教师XXX 知识点4 征信大数据应用流程 目录 大数据分析和挖掘 4 大数据服务 大数据采集 征信数据规模变大更新加快类型复杂需要有别于传统工具的新技术方案来完成数据处理和分析...
  • 铁路新一代客票系统大数据应用创新研究.pdf

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 307,503
精华内容 123,001
关键字:

大数据应用系统